糾刪碼:確保RAID失效后的存儲(chǔ)耐用性
IT168 發(fā)表于:11年08月19日 09:15 [轉(zhuǎn)載] IT168
糾刪碼是一種前向糾錯(cuò)技術(shù),幾十年來(lái)一直以多種方式被使用,現(xiàn)在這項(xiàng)技術(shù)正逐漸興起于一種新的高容量存儲(chǔ)系統(tǒng)中,用以解決RAID的局限性。
RAID在保護(hù)大容量驅(qū)動(dòng)中的數(shù)據(jù)時(shí)有一些后繼無(wú)力,因?yàn)镽AID技術(shù)是在1GB驅(qū)動(dòng)器出現(xiàn)前發(fā)明的。其基本理念是將數(shù)據(jù)分散在這些小的驅(qū)動(dòng)器上,因此單個(gè)硬盤故障不會(huì)導(dǎo)致數(shù)據(jù)丟失。
當(dāng)今的高密度磁盤驅(qū)動(dòng)器讓數(shù)據(jù)保護(hù)變得更加復(fù)雜了過去的20年間,驅(qū)動(dòng)器的密度增加了兩萬(wàn)多倍。企業(yè)級(jí)存儲(chǔ)系統(tǒng)裝有的單個(gè)驅(qū)動(dòng)器容量就達(dá)2TB或3TB。此外,存儲(chǔ)容量成本也很大程度地降低了:一個(gè)2TB的SATA驅(qū)動(dòng)成本約為0。
分析:用更大的磁盤改變RAID的施展空間
這些新的高密度驅(qū)動(dòng)的成本/容量使以比過去更具吸引力的價(jià)格將大量數(shù)據(jù)存儲(chǔ)到旋轉(zhuǎn)存儲(chǔ)介質(zhì)中提供了可能。那么,將大規(guī)模的數(shù)據(jù)保存到高密度驅(qū)動(dòng)上,比如說P級(jí)別甚至更大量的數(shù)據(jù)會(huì)出現(xiàn)什么問題呢?
目前的1TB 和 2TB磁盤驅(qū)動(dòng)器中,RAID很容易導(dǎo)致數(shù)據(jù)丟失,因?yàn)镽AID的重建過程很長(zhǎng),需要一天或者更長(zhǎng)的時(shí)間來(lái)完成某些安裝啟用。.如果任務(wù)的優(yōu)先級(jí)較低,保證正常I/O性能時(shí),重建過程甚至?xí)L(zhǎng)。
如果磁盤驅(qū)動(dòng)器密度繼續(xù)增加,重建時(shí)間會(huì)長(zhǎng)達(dá)數(shù)周也是不足為奇的。隨著驅(qū)動(dòng)器數(shù)量在可控范圍內(nèi)不斷的增加,根據(jù)磁盤驅(qū)動(dòng)標(biāo)準(zhǔn)年故障率不高于3%的行業(yè)標(biāo)準(zhǔn),一些用戶將必須不斷地進(jìn)行RAID重建。
在RAID-5上增加第二層保護(hù),也就是現(xiàn)在的RAID-6,這個(gè)方法保護(hù)數(shù)據(jù)不受兩個(gè)同時(shí)發(fā)生的磁盤驅(qū)動(dòng)故障而不是單個(gè)故障的影響。這是為了應(yīng)對(duì)驅(qū)動(dòng)密度增加到幾萬(wàn)兆字節(jié)出現(xiàn)的技術(shù)。
處理大量磁盤驅(qū)動(dòng)器尤其是長(zhǎng)時(shí)間重建的時(shí)候,第二個(gè)驅(qū)動(dòng)器故障(RAID-5組中),或第三個(gè)驅(qū)動(dòng)器故障(RAID-6組中)出現(xiàn)的可能性會(huì)大大增加。此外,重建RAID組的時(shí)候,如果系統(tǒng)碰到一個(gè)不可恢復(fù)的讀錯(cuò)誤(URE)將導(dǎo)致數(shù)據(jù)丟失。丟失6個(gè)或以上的磁盤驅(qū)動(dòng)器,并且每個(gè)上面存有1T容量或更多的數(shù)據(jù)的話,將對(duì)一些企業(yè)造成災(zāi)難性打擊。
糾刪碼工作原理解析與實(shí)現(xiàn)效果
糾刪碼能站在接受者的角度,將數(shù)據(jù)變成多個(gè)數(shù)據(jù)包,編入額外的信息,發(fā)送給接受者,然后解碼并重新組成原始數(shù)據(jù)。關(guān)鍵是接受者能重組數(shù)據(jù),即使是在某些數(shù)據(jù)包在傳送過程中丟失的情況下(也就是說,接受者有原始數(shù)據(jù)包的子集)。
糾刪碼是伴隨這CD,DVD和藍(lán)光光碟的出現(xiàn)而興起的一種數(shù)據(jù)保護(hù)方式,這些光碟即使出現(xiàn)了劃痕或者光盤表面出現(xiàn)嚴(yán)重?fù)p壞,仍然可從中讀取數(shù)據(jù)。應(yīng)用程序中最常見的糾刪碼算法就是大家所熟知的里德所羅門碼,它是上世紀(jì)60年代在麻省理工學(xué)院的林肯實(shí)驗(yàn)室開發(fā)出來(lái)的。
純糾刪碼算法的使用可以實(shí)現(xiàn)RAID-6中雙驅(qū)動(dòng)器故障下的數(shù)據(jù)保護(hù)。某些安裝程序?qū)崿F(xiàn)了針對(duì)故障的多重?cái)?shù)據(jù)保護(hù),還有一小部分甚至能夠允許用戶(或存儲(chǔ)管理者)將保護(hù)水平細(xì)化成具體策略。
比如,管理者可以選擇數(shù)據(jù)可用度是在16個(gè)磁盤中出現(xiàn)4次故障的時(shí)候仍繼續(xù)可用呢,還是16張磁盤出現(xiàn)6次故障的時(shí)候,或是30張磁盤出現(xiàn)10次故障的時(shí)候仍可用。這就解決了傳統(tǒng)的RAID不能兩個(gè)硬盤同時(shí)出現(xiàn)故障的關(guān)鍵性問題。
存儲(chǔ)數(shù)據(jù)可用性可通過數(shù)據(jù)編碼和分布來(lái)實(shí)現(xiàn)。寫入的數(shù)據(jù)(例如文件、視頻或圖像數(shù)據(jù))先分解成一系列的數(shù)據(jù)塊。然后通過適用于這些數(shù)據(jù)塊的糾刪碼機(jī)制進(jìn)行改造,并生產(chǎn)較大的糾刪碼驗(yàn)證塊。
公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶寄語(yǔ) | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.