尊敬的各位領(lǐng)導(dǎo)，各位專家、朋友們，大家好，我是清華大學(xué)鄭緯民，非常高興來參加“2021中國數(shù)據(jù)與存儲峰會”。

大數(shù)據(jù)誕生以來，各種各樣的數(shù)據(jù)越來越多，數(shù)字化、數(shù)字經(jīng)濟時代，數(shù)據(jù)按照指數(shù)形式增加，這么多數(shù)據(jù)都放在存儲器里，對存儲器提出了越來越高的要求，如功能強、容量大、性能好、安全，還有很重要一點：自主可控。

去年，習(xí)總書記跟科學(xué)家座談會上談到，要盡可能地做從0到1的創(chuàng)新。我一直在想，我們存儲系統(tǒng)，我們數(shù)字這方面能不能做從0~1的創(chuàng)新？

我想應(yīng)該是可以的。下面舉兩個例子來說說這件事。

第一個，我們做了一個大容量、高可靠、自維護的存儲系統(tǒng)。大家都都知道，硬盤它有一定的出錯率，也有可能要壞掉，但是硬盤壞了以后呢，如何挽救其中存儲的數(shù)據(jù)不要丟，現(xiàn)在常用的兩種辦法。

一是把文件往磁盤寫的時候，寫三份在不同盤里，因此，有一份壞了，還有兩份是好的，我們說多備份技術(shù)。它的缺點是要多買200%的硬盤。

還有一個常用辦法呢，就磁盤陣列，如RAID 5，RAID 6。

以RAID 5為例，一個文件來了后記在五塊磁盤里，其中四塊記數(shù)據(jù)，還一塊記校驗碼，一塊盤壞了以后呢，能把數(shù)據(jù)恢復(fù)出來。

但是有兩個不好的地方。一是磁盤壞了，得趕快把這個壞盤拔出來，換一塊新盤，如果忘了，有可能第二塊盤故障后那就數(shù)據(jù)全丟了。

第二個呢，新盤存進去以后要做數(shù)據(jù)的恢復(fù)，這個過程非常慢。

針對兩種常用辦法，我們基于糾刪碼的高可靠采取了新的對策。

舉個簡單例子。

一個文件來了，我把它分成32段，每段放在一個磁盤里頭，往磁盤寫的時候呢同時做運算，把糾刪碼算出來記到16塊硬盤里頭，最后32塊是實際的真正的數(shù)據(jù)，還有16塊是糾刪碼，一共48個盤，這個系統(tǒng)允許小于等于16塊盤壞的情況下自動把數(shù)據(jù)呢恢復(fù)出來。我們就是基于這個原理做了一個存儲器，一個高可靠、自維護的一個存儲器。

什么意思呢？就是說，這個系統(tǒng)大概是一個大冰箱這么大，42U的里邊192塊硬盤，我們要在生命周期內(nèi)，就是五年，或者六年或者七年，這個系統(tǒng)可能要淘汰了，磁盤本身是有可能要出錯的，但是里面存的數(shù)據(jù)肯定不會丟，我們覺得高可靠又大容量（大概1.5個PB），又做到了自維護，數(shù)據(jù)不會丟。

我們采取兩個辦法實現(xiàn)上述目標(biāo)。

一是把計算的方程盡可能簡單，那計算量就小了，另外一個，真正算的時候，我們把多核的、并行的、分布的、流水的手段都把它采用上。

第二個例子。

我們最近做了一個分布式文件系統(tǒng)，是為鵬城實驗室“鵬城云腦”這臺機器做的，參加“世界IO 500比賽”的時候，去年6月我們得到冠軍，去年11月份我們也是冠軍，今年11月又得到冠軍，連續(xù)三次得到冠軍，而且，我們第一名的成績比第二名要快很多很多。

你可能要問了，你的文件系統(tǒng)有什么最大的特點？大概有三個關(guān)鍵技術(shù)。

第一個，過去的文件系統(tǒng)有很多元數(shù)據(jù)，元數(shù)據(jù)服務(wù)器只有一臺，或者兩臺，因此要成為瓶頸了。我們?nèi)∠械姆?wù)器，既是存數(shù)據(jù)又存元數(shù)據(jù)，因此這么多機器都是元數(shù)據(jù)服務(wù)器了，瓶頸就沒有了。

第二個呢，過去大家用的分布式文件系統(tǒng)呢就調(diào)用操作系統(tǒng)，一調(diào)用，要進到內(nèi)部去了，要進保護現(xiàn)場，因此開銷比較大，我們這一次就不調(diào)用操作系統(tǒng)，因此性能有很大的提高。

第三個，我們說有Cache，Cache的好處是下一次訪問的時候不要再到硬盤去取數(shù)據(jù)，但是它的問題是要做一致性，因此開銷很大，我們這次取消Cache，直接做。

這三個關(guān)鍵技術(shù)使得我們分布的文件系統(tǒng)性能非常高，我相信，可能最近一兩年我們一直會是冠軍。

因此我在想，我們在數(shù)據(jù)跟存儲系統(tǒng)方面，我們能夠做從0~1的創(chuàng)新工作，希望我們做數(shù)據(jù)和存儲方面的人一起努力做從0~1的工作，做到先進的系統(tǒng)出來。

最后呢，再次預(yù)祝我們“2021中國數(shù)據(jù)與存儲峰會”圓滿舉行，謝謝大家！

（根據(jù)速記整理，未經(jīng)本人審定）

xiesc