Facebook公司已經(jīng)在其近線存儲體系當中徹底棄用RAID與復制機制，轉而采用分布式擦除編碼以隔離其所謂的“暖性BLOB”。

暖性？BLOB？這都是些什么東西？大家別急，馬上為您講解：

• BLOB——也就是二進制大對象，包括Facebook用戶的圖片以及視頻等等。
• 暖性——是指那些必須進行保存，訪問頻率低于熱門數(shù)據(jù)但卻又高于歸檔或者冷門數(shù)據(jù)的信息。通常情況下，這些數(shù)據(jù)已經(jīng)產(chǎn)生了一周以上。當然，熱門BLOB的訪問頻率仍然較高。
• 擦除編碼——向一條字節(jié)串中添加經(jīng)過計算的奇偶校驗值（即里德所羅門碼，簡稱RS），這樣由于錯誤刪除或者損壞了完整內(nèi)容之后、該字符串仍能被恢復為原樣。一般來講，這種機制能夠比RAID更為有效地對數(shù)據(jù)加以保護、并且無需占用太多存儲空間。

Facebook公司面臨的一大特殊問題在于，其擁有三種主要用戶數(shù)據(jù)類型外加與之相關的元數(shù)據(jù)，而且這三種類型都要求 擁有龐大的存儲空間作為支撐。Facebook最為主要且訪問頻率最高的數(shù)據(jù)集是那些生成時間不長，且在用戶時間表中留存時間不足一周的發(fā)布信息。這些內(nèi) 容往往會受到該用戶“好友”們的大量訪問。

Facebook利用其Haystack存儲系統(tǒng)處理這些數(shù)據(jù)，這套方案采用三級復制機制對數(shù)據(jù)中以保護、確保這部分數(shù)據(jù)能夠始終接受訪問且具備快速的響應能力，同時盡可能將訪問指向單一磁盤（當元數(shù)據(jù)計算開始運行之后）。

當這部分數(shù)據(jù)逐漸陳舊之后，其訪問頻率通常也會有所降低——也就是前面提到的由熱門轉向“暖性”，但我們?nèi)匀恍枰獮槠涮?供較快的訪問速度、從而切實滿足調(diào)用需求。這就產(chǎn)生了新的問題，數(shù)據(jù)總量一直處于規(guī)模膨脹態(tài)勢當中。舉例來說，截至今年一月份，F(xiàn)acebook所保存的 照片總數(shù)已經(jīng)超過4000億張。

根據(jù)時間推移，請求的相對頻率也如圖示發(fā)生衰減。每一條只對應單獨一類存儲對象，圖中取其絕對值以增加易讀性。另外圓點部分代表著訪問請求頻率降低至下一數(shù)量級的轉折位置。

在對每TB數(shù)據(jù)IO次數(shù)進行計算之后，我們可以看到這種暖性型數(shù)據(jù)的IO密度要遠低于熱門數(shù)據(jù)，這意味著此類數(shù)據(jù)已經(jīng)不再需要利用三級復制機制加以保存，但卻仍然需要具備可以接受的訪問速度，同時擁有必要的保護手段以避免遭受磁盤、主機以及機架故障的影響。

Facebook公司的工程師們已經(jīng)打造出一款新型存儲系統(tǒng)，也就是f4，專門用于保存這些暖性BLOB。工程師們在一篇論文中解釋道：“f4是一款新型系統(tǒng)，能夠在降低暖性BLOB有效復制因素的同時保持其容錯性以及對較低數(shù)據(jù)吞需求的支持能力。”

Facebook的工程師們指出：

f4采用里德所羅門編碼機制并將數(shù)據(jù)塊排布在多臺不同機架之上，從 而確保單一數(shù)據(jù)中心內(nèi)部的磁盤、主機以及機架故障不會對數(shù)據(jù)可用性造成影響。它還在廣域層面利用XOR編碼機制以確保數(shù)據(jù)中心的故障彈性。f4已經(jīng)在 Facebook的生產(chǎn)環(huán)境之下運行了超過19個月。f4目前保存的邏輯數(shù)據(jù)超過65PB，幫助公司節(jié)約的存儲空間則超過53PB。

BLOB與聚合文件系統(tǒng)元數(shù)據(jù)共同被匯聚在以100GB為單位的邏輯分卷當中。這類邏輯分卷由數(shù)據(jù)文件、索引文件以及日志文件共同構成。其中索引文件其實是一套針對內(nèi)存內(nèi)存儲主機查找結構的快照。當所有分卷都被鎖定時，則不允許再創(chuàng)建新的分卷。

這些分卷構成多個cell單元并被保存在數(shù)據(jù)中心內(nèi)部，其中每個單元由包含15臺主機的14套機架構成、每臺主機配備 30塊4TB磁盤驅動器。每個分卷/字符串/數(shù)據(jù)塊都擁有一個位于其它不同地理位置的對應分卷/字符串/數(shù)據(jù)塊。Facebook公司還會在獨立的第三個 區(qū)域另行保存一套XOR數(shù)據(jù)內(nèi)容。這套體系能夠保證任意區(qū)域出現(xiàn)故障時，用戶仍能順利訪問所需數(shù)據(jù)信息。

那么一般性企業(yè)用戶是否需要建立這樣一套存儲體系來打理自己的近線數(shù)據(jù)呢？基本上用不著，畢竟大部分企業(yè)用戶根本不需要像Facebook那樣面對如此龐大的數(shù)據(jù)總量，也不可能遇到同等規(guī)模的數(shù)據(jù)增長速度或者信息不變性。