2006年Amazon發(fā)布AWS①, S3 服務(wù)及其使用的REST、SOAP訪問接口成為對象存儲的事實標(biāo)準(zhǔn)。Amazon S3成功為對象存儲注入云服務(wù)基因。
(備注:①Amazon的主營業(yè)務(wù)是B2C電子商務(wù),其用戶流量分布不均勻,某些特定的時段(比如圣誕節(jié)),流量會急劇攀升,亞馬遜在IT資源的投資非常尷尬–花大價錢購置的服務(wù)器、存儲、帶寬只是為了應(yīng)對突發(fā)的高峰流量,而在其他大部分時間里,這些資源利用率可能都不到一半。在這種情況下,Amazon 通過AWS服務(wù)Amazon把平時閑置的IT資源出租給其他用戶使用。)
2 對象存儲的關(guān)鍵特性與價值
對象存儲是一種基于對象的存儲設(shè)備,具備智能、自我管理能力,通過web服務(wù)協(xié)議(如:REST、SOAP)實現(xiàn)對象的讀寫和存儲資源的訪問。
對象存儲系統(tǒng)包含兩種數(shù)據(jù)描述:容器(Bucket)、對象(Object)。容器和對象都有一個全局唯一的ID。對象存儲采用扁平化結(jié)構(gòu)管理所有數(shù)據(jù),用戶/應(yīng)用通過接入碼(AccessKey)認(rèn)證后,只需要根據(jù)ID就可以訪問容器/對象及相關(guān)的數(shù)據(jù)(Data)、元數(shù)據(jù)(metadata)和對象屬性(Attribute)。
Figure 2-1 對象存儲數(shù)據(jù)組織示意圖
對象存儲對外提供更抽象的對象接口,而不是SCSI或文件接口。與SAN存儲以邏輯扇區(qū)為單位的較細(xì)粒度的固定IO(512B~4KB)不同,對象存儲IO粒度更有彈性,支持幾個字節(jié)(B)到數(shù)萬億字節(jié)(TB)范圍內(nèi)的任意對象大小,使得業(yè)務(wù)可根據(jù)需要靈活的分割數(shù)據(jù)。
對象存儲以對象ID為基礎(chǔ),扁平化的管理所有對象和桶,根據(jù)對象ID便可直接訪問數(shù)據(jù),解決了NAS復(fù)雜的目錄樹結(jié)構(gòu)在海量數(shù)據(jù)情況下的數(shù)據(jù)查找耗時長的問題,這使得對象存儲具備極強(qiáng)的擴(kuò)展性,能夠輕松實現(xiàn)單一名字空間內(nèi)支持百億級文件的存儲。
在重復(fù)數(shù)據(jù)刪除,綠色節(jié)能等特性基礎(chǔ)上,為了更好的滿足海量數(shù)據(jù)存儲和公眾云服務(wù)需求,對象存儲系統(tǒng)還包括如下一些關(guān)鍵特性:
超強(qiáng)的擴(kuò)展性
扁平化的數(shù)據(jù)結(jié)構(gòu)允許對象存儲容量從TB級擴(kuò)展到EB級,管理數(shù)十個到百億個存儲對象,支持從數(shù)字節(jié)(Byte)到數(shù)萬億字節(jié)(TB)范圍內(nèi)的任意大小對象,解決了文件系統(tǒng)復(fù)雜的iNode的機(jī)制帶來的擴(kuò)展性瓶頸,并使得對象存儲無需像SAN存儲那樣管理數(shù)量龐大的邏輯單元號(LUN)。對象存儲系統(tǒng)通常在一個橫向擴(kuò)展(或網(wǎng)格硬件)架構(gòu)上構(gòu)建一個全局的命名空間,這使得對象存儲非常適用在云計算環(huán)境中使用。某些對象存儲系統(tǒng)還可支持升級、擴(kuò)容過程中業(yè)務(wù)零中斷。
基于策略的自動化管理
由于云環(huán)境中的數(shù)據(jù)往往是動態(tài)、快速增長的,所以基于策略的自動化將變得非常重要。對象存儲支持從應(yīng)用角度基于業(yè)務(wù)需求設(shè)置對象/容器的屬性(元數(shù)據(jù))策略,如數(shù)據(jù)保護(hù)級別,保留期限,合規(guī)狀況,遠(yuǎn)程復(fù)制的份數(shù)等。這使得對象存儲具備云的自服務(wù)特征同時,有效的降低運(yùn)維管理的成本,使得客戶在存儲容量從TB增長到ZB時,運(yùn)維管理成本不會隨之飆升。
多租戶
多租戶特性可以使用同一種架構(gòu),同一套系統(tǒng)為不同用戶和應(yīng)用提供存儲服務(wù),并分別為這些用戶和應(yīng)用設(shè)置數(shù)據(jù)保護(hù)、數(shù)據(jù)存儲策略,并確保這些數(shù)據(jù)之間相互隔離。
數(shù)據(jù)完整性和安全性
對象存儲系統(tǒng)一般通過連續(xù)后臺數(shù)據(jù)掃描、數(shù)據(jù)完整性校驗、自動化對象修復(fù)等技術(shù),新型的技術(shù)應(yīng)用大大提高數(shù)據(jù)的完整性和安全性。某些對象存儲產(chǎn)品還引入了一些先進(jìn)的算法(如:擦除碼Erasure Code )和技術(shù)將數(shù)據(jù)切分為多個分片,然后將這些分片存儲到不同的設(shè)備/站點(diǎn),在確保數(shù)據(jù)的完整性的同時獲取最高的存儲利用率。
3 對象存儲的主要應(yīng)用場景
對象存儲系統(tǒng)的出現(xiàn)主要是為了滿足數(shù)據(jù)歸檔和云服務(wù)兩大需求,我們對這兩種場景可進(jìn)行進(jìn)一步的細(xì)化:
存儲資源池(空間租賃)
使用對象存儲構(gòu)建類似Amazon S3的存儲空間租賃服務(wù),向個人、企業(yè)或應(yīng)用提供按需擴(kuò)展的彈性存儲服務(wù)。用戶向資源池運(yùn)營商按需購買存儲資源后,通過基于web協(xié)議訪問和使用存儲資源, 而無需采購和運(yùn)維存儲設(shè)備。多租戶模型將不同的用戶的數(shù)據(jù)隔離開來,確保用戶的數(shù)據(jù)安全。
網(wǎng)盤應(yīng)用
在海量存儲資源池基礎(chǔ)上,使用圖形用戶界面(GUI)實現(xiàn)對象存儲資源的封裝,向用戶提供類似Drop Box的網(wǎng)盤業(yè)務(wù)。用戶可通過PC客戶端、手機(jī)客戶端、Web頁面完成數(shù)據(jù)的上傳、下載、管理與分享。在網(wǎng)盤幫助下個人和家庭用戶能夠?qū)崿F(xiàn)數(shù)據(jù)安全、持久的保存和不同終端之間的數(shù)據(jù)同步;企業(yè)客戶通過網(wǎng)盤應(yīng)用可實現(xiàn)更高效的信息分享、協(xié)同辦公和非結(jié)構(gòu)化數(shù)據(jù)管理,同時企業(yè)網(wǎng)盤還可用于實現(xiàn)低成本的Windows遠(yuǎn)程備份,確保企業(yè)數(shù)據(jù)安全。
集中備份
在大型企業(yè)或科研機(jī)構(gòu)中,對象存儲通過與Comvault Simpana、Symantec NBU等主流備份軟件結(jié)合,可向用戶提供更具成本效益、更低TCO的集中備份方案。相對原有的磁帶庫或虛擬磁帶庫等
備份方案:重復(fù)數(shù)據(jù)刪除特性能夠幫助用戶減少低設(shè)備采購,智能管理特性使得備份系統(tǒng)無需即時維護(hù),從而降低CAPEX和OPEX;分布式并行讀寫帶來的巨大吞吐量和在線/近線的存儲模式有效降低RTO和RPO。
歸檔和分級存儲
對象存儲通過與歸檔軟件、分級存儲軟件結(jié)合,將在線系統(tǒng)中的數(shù)據(jù)無縫歸檔/分級存儲到對象存儲,釋放在線系統(tǒng)存儲資源。對象存儲提供幾乎可無限擴(kuò)展的容量,智能管理能力,幫助用戶降低海量數(shù)據(jù)歸檔的TCO;對象歸檔采用主動歸檔模式使得歸檔數(shù)據(jù)能夠被按需訪問,而無需長時間的等待和延遲。
4華為UDS海量存儲系統(tǒng)
UDS海量存儲系統(tǒng)是華為基于對運(yùn)營商、互聯(lián)網(wǎng)等行業(yè)的深刻理解,憑借深厚的技術(shù)積累和行業(yè)服務(wù)經(jīng)驗,通過不斷創(chuàng)新開發(fā)出的原生支持對象存儲協(xié)議的海量數(shù)據(jù)存儲系統(tǒng)。它兼容Amazon S3對象存儲協(xié)議,具備對象存儲擁有的主要技術(shù)特征,致力于將企業(yè)的IT數(shù)據(jù)資源轉(zhuǎn)化為客戶價值。
‘EB級擴(kuò)展’、‘安全可靠’、‘高效融合’是華為UDS海量存儲系統(tǒng)的三大特色。該系統(tǒng)已成功進(jìn)入大型運(yùn)營商、知名互聯(lián)網(wǎng)公司及世界頂尖的科研機(jī)構(gòu),經(jīng)過長期穩(wěn)定運(yùn)行表現(xiàn)出卓越的讀寫性能和極佳的擴(kuò)展性,得到客戶一致好評。