2018年,清華大學研制出新型超寬視場高分辨率實時顯微成像儀器(RUSH)實現(xiàn)了重大突破,將活體動物腦神經(jīng)觀測數(shù)據(jù)通量由1000萬像素/秒提升至50億像素/秒,數(shù)據(jù)通量是全球第二大高通量顯微儀器2p-RAM的500多倍,對提升人類認知水平、腦疾病診治和人工智能技術發(fā)展具有重大戰(zhàn)略意義。
FAST和RUSH面臨一個共同的問題:海量數(shù)據(jù)的爆炸式增長。以中國天眼為例,每秒采集的數(shù)據(jù)量高達38GB,每年新增數(shù)據(jù)量達到數(shù)十PB。
所幸,他們都遇到了浪潮存儲、化解了PB級存儲困擾——繼2019年采用了浪潮存儲的高性能和高密度兩種分布式存儲節(jié)點之后,2021年中國天眼再次采用浪潮存儲分布式存儲高密度節(jié)點,采用業(yè)界首個“多合一”極簡架構,在4U空間內(nèi)承載最高1PB數(shù)據(jù),可靈活、在線擴展容量和性能,最高可擴展至5120節(jié)點,滿足中國天眼未來幾年乃至十幾年的天文大數(shù)據(jù)存儲和處理需求;而中標清華大學高分辨率計算攝像儀器高通量在線采集存儲系統(tǒng)采購項目后,浪潮存儲也為這一最新研制成功的光學顯微儀器提供40個節(jié)點的存儲服務,應用于控制28臺高靈敏度相機進行高通量數(shù)據(jù)的并發(fā)采集和存儲,滿足了用戶每臺相機每秒30張,每張1200萬像素,最長拍攝72小時的連續(xù)拍攝需求。
這背后,浪潮的分布式存儲平臺AS13000發(fā)揮了極大的作用。
為什么不約而同選擇了浪潮存儲AS13000?
AS13000是浪潮存儲推出的一款面向超大數(shù)據(jù)中心級打造的分布式存儲平臺,擁有低中高端多種機型,所有機型均適配英特爾最新的Purley平臺,兼容Cascade Lake新一代CPU,可滿足人工智能與超算融合的新應用在不同場景的數(shù)據(jù)需求。目前AS13000已經(jīng)發(fā)展到了第五代產(chǎn)品AS13000 G5。
在硬件層面,AS13000以一個架構支持 5 種不同形態(tài)(機架、高密、多節(jié)點、異構、機柜)和多種硬件配置(即以“5+X”架構),適配客戶多種數(shù)據(jù)存儲需求,從材料到整機全棧硬件能力,讓存儲更加穩(wěn)定、安全、可靠。
在軟件層面,AS13000一套架構支持文件、塊、對象、大數(shù)據(jù)、數(shù)據(jù)庫5 種協(xié)議,同時聯(lián)合合作伙伴打造多種融合解決方案,提供契合客戶業(yè)務需求的存儲服務。AS13000G5對性能指標進行了全面優(yōu)化,實現(xiàn)了小文件性能、空間利用率、單設備帶寬、智能運維等指標的翻倍升級,最大化挖掘、共享和管理數(shù)據(jù),實現(xiàn)數(shù)據(jù)的全生命化管理和價值最大化。
可以說,AS13000是軟件結(jié)合、軟件定義存儲的佼佼者,也是浪潮存儲極致特征的代表作。
上述說法都是來自浪潮存儲官方。這些優(yōu)勢如何驗證?如何讓市場和用戶信服?
以下這組數(shù)據(jù)具備足夠的說服力:
美國時間6月25日,存儲性能委員會(Storage Performance Council,簡稱SPC)公布了最新的SPC-1基準評測報告,浪潮分布式存儲AS13000G5獲得6,300,529 IOPS(每秒讀寫操作次數(shù))、0.781ms時延的評測值,刷新了分布式存儲性能全球最高成績。至此,浪潮存儲五年五次霸榜,成為全球唯一在分布式存儲和集中式全閃兩大賽道領跑的存儲廠商。
為什么一致青睞SPC的SPC-1?
SPC是1999年成立的存儲專業(yè)評測機構,是業(yè)界最活躍、最有影響力的國際存儲性能評測,堪稱存儲性能界的“奧林匹克”。
20多年來,SPC定期發(fā)布性能基準測試與廠商報告,吸引Dell EMC、Fujitsu、HPE、浪潮、HDS、IBM、NetApp等全球主流存儲廠商積極參與。同時SPC定期更新存儲規(guī)范和測試工具,分區(qū)并發(fā)IO流全程數(shù)據(jù)一致性,5階段數(shù)據(jù)處理全場景模擬。SPC還建立了嚴格的審核機制,不僅會進行多輪測試,而且測試過程全球公開,讓存儲界的技術開發(fā)者、用戶監(jiān)督,并運用先進技術對現(xiàn)場實勘結(jié)果與測試日志進行自動分析,是公認的權威、專業(yè)的測試組織。
SPC-1從2001年初發(fā)布了第一版負載的模擬測試工具等,到2014年緩慢升級到3.0版本。之后增加了一致性校驗、單點故障、驗證流程等可靠性測試,2018年刷新到3.6版本,最新的是2020年11月份出版的3.1版,豐富了數(shù)據(jù)服務測試指標,包括重刪、壓縮、快照、節(jié)能等。
SPC-1基準評測涵蓋矩陣(metrics)、重復性(repeat)、耐久性(persistence)三大標準評測流程,能夠?qū)Υ鎯ο到y(tǒng)處理復雜請求和大規(guī)模數(shù)據(jù)的能力進行精準評估,部分I/O規(guī)格指標包括IOPS、滿負載響應時間、多負載均方差響應時間、每GB美元、每KIOPS美元、價格以及不同負載下小于5%的IOPS浮動范圍、5%的響應時間、兩個9到五個9的尾延遲等等。
相對而言,金融、通信、AI領域?qū)T基礎設施的需求規(guī)模和應用較大較嚴格,浪潮存儲對比發(fā)現(xiàn),無論是基準模型、彈性能力還是數(shù)據(jù)服務疊加方面,SPEC-1所提供的指標都滿足對這些行業(yè)頂級客戶的標準,尤其是基準模型方面的表現(xiàn)更加系統(tǒng)、完整,因此,滿足SPEC-1技術和測試規(guī)范的產(chǎn)品更受青睞。
為了做好第五次測試,浪潮存儲做了充分的準備,前后花費了兩年半的時間,提供了30個設備節(jié)點再加一臺機柜。浪潮存儲首席架構師孫斌在梳理SPC-1測試20多年的演進歷程和回顧五次參與測試過程時說。
“打榜只是為了給市場和用戶提供一個量化的指標?!贬槍θ蚴杖肱琶傲械拇鎯S商的產(chǎn)品性能都在不斷提升、但不是所有廠商都選擇在SPC-1上進行測試這一現(xiàn)象,孫斌回應說,只要公司常設架構師團隊,持續(xù)不斷加強研發(fā),提供滿足客戶不斷攀升的應用需求,就足夠了。不過,如果浪潮存儲持續(xù)第六次打榜成功,想必不是一件令人意外的事情。
什么技術能讓浪潮存儲一次接一次打榜?
此次打榜SPC-1,AS13000不同于全閃盤陣的三項技術創(chuàng)新脫穎而出:
一是在二次寫數(shù)據(jù)和寫產(chǎn)生原數(shù)據(jù)兩個維度實現(xiàn)了本地化,極大地降低了網(wǎng)絡以及節(jié)點計算方面的資源占用;
二是面向多個CPU核以及NVMeSSD這兩個特征增強并發(fā),對讀寫放大進行了優(yōu)化控制,并針對集群中的節(jié)點及SSD之間做到低損、采用metric這樣自研的多流技術從全局進行數(shù)據(jù)分流,讓SSD效能具備更好的表現(xiàn);
三是與傳統(tǒng)掛榜友商采用光纖通道的方式不同,AS13000采用的突破了網(wǎng)口跟不同CPU Core的綁定、從中斷到允許,對IP包拆解、識別和組包等軟硬件協(xié)同技術后的百G以太網(wǎng),構筑起一個高性能表現(xiàn)環(huán)境。
實際上,登頂SPC-1,與浪潮存儲的智能加速引擎iTurbo技術也密不可分。iTurbo是浪潮存儲2019年面向新一代G5存儲平臺研發(fā)的一項硬核技術,是I/O軟件棧的一套完整的智能加速算法,目前已經(jīng)升級到了2.0版。
iTurbo智能引擎為浪潮存儲系統(tǒng)提供前端應用自適應和調(diào)配不同數(shù)據(jù)處理策略,實現(xiàn)了智能的IO感知、路徑選擇、數(shù)據(jù)組織和資源調(diào)度,為浪潮存儲在性能上贏得業(yè)界的認可帶來創(chuàng)新的存儲加速方案,在同等控制器配置、同等IT建設成本下支撐更多的數(shù)據(jù)并發(fā)訪問。
以智能IO感知技術為例,iTurbo通過自適應緩存預讀算法對歷史數(shù)據(jù)I/O模式進行分析、判斷識別,對其提前讀取到緩存,從而達到緩存最高命中率:當緩存寫滿時,通過獨特的替換算法淘汰使用率最低的數(shù)據(jù),使緩存發(fā)揮出最大的價值,與此同時,通過特征數(shù)據(jù)識別和逐字節(jié)的比較,在確保數(shù)據(jù)安全的前提下減少數(shù)據(jù)落盤,提高存儲性能及空間使用率。
浪潮存儲產(chǎn)品線總經(jīng)理李輝道出了關鍵:浪潮存儲的技術優(yōu)勢,在于長期的投入。據(jù)悉,從2015年到現(xiàn)在,累計研發(fā)投入接近30億元,研發(fā)人數(shù)的規(guī)模也在逐年增長。
登榜之后,浪潮存儲還要面對哪些挑戰(zhàn)?
AS13000的性能已經(jīng)雄踞市場之首,但是,作為分布式存儲解決方案的代表作,浪潮還在不斷努力,以應對市場和客戶的需求。
一方面,SPC-1指標還在不斷完善和升級,如最新的測試版本增加了能耗方面的測評指標。
對此,浪潮存儲除了在產(chǎn)品研發(fā)層面積極應對,還致力于參加相關政府和機構組織的“綠色存儲企業(yè)領跑者標準”的制訂工作,通過量化的指標規(guī)范存儲產(chǎn)品的能耗確保產(chǎn)品永遠立于領導者地位。
在今年9月將要頒布、由國內(nèi)主流廠商參與的一項領跑者標準的驗測標準中,浪潮存儲是重要的貢獻者之一。
另一方面,技術在不斷升級,雖然浪潮存儲在產(chǎn)品和技術層面持續(xù)發(fā)力,包括近期將加強對極致安全方面以及在平臺化和極致云化方面展開更多工作,但要在基礎研究層面繼續(xù)做到七大極致,浪潮存儲也在密切關注中。李輝告訴記者,存儲技術的突破性領域集中在介質(zhì)、期間和協(xié)議層面。雖然當前技術研究不一定會取得重大的突破、也未必對未來兩三年帶來重大的影響,但確實到了考慮問題的時候。例如,雖然硅介質(zhì)在存儲領域還將繼續(xù)主導市場很長一段時間,社會各界已經(jīng)開始關注光全息化學材料和激光結(jié)合、乃至在玻璃上存儲展開深入探索,浪潮存儲也拉開了與清華大學在光介質(zhì)層面技術交流的步伐。
那么,如何有效拓展市場?在企業(yè)級存儲打拼了20年的孫斌表示,浪潮存儲將從3個維度發(fā)力:一是讓更多的企業(yè)客戶加強基于公有云的應用,二是提升存儲解決方案的智能化能力,讓客戶實時掌握系統(tǒng)運行的狀態(tài),并將潛在的事故隱患提前消滅在萌芽狀態(tài),三是防止單點失敗,確保核心業(yè)務健康運行。