通常一個對象的訪問包括對元數(shù)據(jù)和數(shù)據(jù)的訪問。對象數(shù)據(jù)容量越小,元數(shù)據(jù)訪問在整個對象訪問中的占比就越高。所以對于海量小文件管理,元數(shù)據(jù)訪問的高效性非常關(guān)鍵。

XEOS V6 引入了分布式統(tǒng)一元數(shù)據(jù)集群,采用少量的 SSD盤部署元數(shù)據(jù)分區(qū),不僅能夠提供海量對象元數(shù)據(jù)信息的存儲,而且元數(shù)據(jù)存儲性能大幅提升。下圖為同等硬件情況下,XEOS V6 版本相較于V5 版本的 OPS 請求情況,小文件寫入性能平均提升了 65%。

靈活數(shù)據(jù)布局

擁有高效的元數(shù)據(jù)管理機(jī)制能夠有效提升小文件的存儲性能,但是低效的數(shù)據(jù)布局仍然會造成訪問性能的下降,并且導(dǎo)致大量的磁盤空間被浪費(fèi)。隨著 XEOS V6 版本的發(fā)布,小文件歸并機(jī)制也迎來了重磅升級。

在線歸并

首先,以往的異步歸并方式升級為了在線實(shí)時歸并。在線歸并更為及時,且不再需要從緩存池中讀取數(shù)據(jù),減小了緩存池的壓力,同時歸并性能不受集群規(guī)模影響,并且由于在線歸并直接在前端 IO 上下文進(jìn)行處理,因此可以對前端 IO 起到很好的反饋?zhàn)饔?,防止前端業(yè)務(wù)壓力太大導(dǎo)致業(yè)務(wù)不可寫。

多級緩存

其次,XEOS V6 實(shí)現(xiàn)了中速緩存策略。用戶可以復(fù)用數(shù)據(jù)池中 HDD 硬件資源,部署中速緩存副本池,將 1~4MB(可配)文件寫入中速緩存池,減少此范圍大小的文件對于高速緩存空間的占用,降低成本。同時它可以應(yīng)對突發(fā)小文件流量帶來的壓力,在高速緩存池寫滿后,自動啟用中速緩存池繼續(xù)寫入小文件數(shù)據(jù),提高緩存池的可靠性,保證業(yè)務(wù)的連續(xù)性。

空洞回收

面對小文件頻繁刪除,歸并對象產(chǎn)生大量空洞的場景,XEOS V6 支持二次歸并機(jī)制,將空洞率超過回收閾值的歸并對象重新歸并,使得磁盤空間得以釋放。
總結(jié)
XEOS V6 的小文件管理機(jī)制能夠加快小文件的存儲效率,將不同大小的數(shù)據(jù)寫入合適的資源池中,發(fā)揮各類硬件優(yōu)勢,數(shù)據(jù)布局靈活。同時,借助 EC 冗余機(jī)制、空洞回收能力,可以進(jìn)一步提高存儲空間利用率,節(jié)省存儲成本!

了解更多軟件定義存儲及對象存儲知識,請?jiān)L問www.xsky.com,或者撥打電話:400-016-6101

分享到

崔歡歡

相關(guān)推薦