在中科院計(jì)算所國家高性能計(jì)算機(jī)工程技術(shù)研究中心(以下簡稱“工程中心”)的機(jī)房,記者看到一排排嗡嗡作響的機(jī)柜和顯示著數(shù)據(jù)的屏幕正在高速地運(yùn)轉(zhuǎn)。正是這些存儲(chǔ)數(shù)量達(dá)幾十個(gè)TB的“黑匣子”???網(wǎng)絡(luò)存儲(chǔ)支持著遙感測算、石油勘探等行業(yè)對海量數(shù)據(jù)的大規(guī)模、分布式、并行訪問的需求。在863計(jì)劃的支持下,工程中心相繼研發(fā)出適合我國國情的藍(lán)鯨系列網(wǎng)絡(luò)存儲(chǔ)產(chǎn)品,并已廣泛應(yīng)用于國防、軍隊(duì)、科研、教育等眾多領(lǐng)域。
推進(jìn)我國信息化深度
網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)到底是什么?中國科學(xué)院計(jì)算技術(shù)研究所總工程師徐志偉解釋說,網(wǎng)絡(luò)存儲(chǔ)就是將存儲(chǔ)設(shè)備直接連接到網(wǎng)絡(luò)上,網(wǎng)絡(luò)存儲(chǔ)技術(shù)就是對這種直接連接到網(wǎng)上的存儲(chǔ)設(shè)備進(jìn)行組織與管理,形成網(wǎng)絡(luò)存儲(chǔ)系統(tǒng),并管理和控制網(wǎng)絡(luò)硬盤的使用。
他介紹說,網(wǎng)絡(luò)計(jì)算機(jī)平臺有4類系統(tǒng)???服務(wù)器、存儲(chǔ)系統(tǒng)、路由器等網(wǎng)絡(luò)設(shè)備以及微機(jī)等客戶端設(shè)備。其中,存儲(chǔ)系統(tǒng)不是通常所說的微機(jī)和服務(wù)器中的硬盤,而是盤陣和網(wǎng)絡(luò)存儲(chǔ)之類的系統(tǒng)。服務(wù)器和存儲(chǔ)系統(tǒng)通常又被稱為服務(wù)器端系統(tǒng),它們通過網(wǎng)絡(luò)與微機(jī)等客戶端設(shè)備互聯(lián)起來。
存儲(chǔ)系統(tǒng)是近年來增長最快的網(wǎng)絡(luò)計(jì)算技術(shù),其全球市場銷售額已經(jīng)超過了服務(wù)器市場,尤其在北美和日本等發(fā)達(dá)地區(qū)更是如此。這種趨勢在今后還會(huì)繼續(xù),因?yàn)椴徽撌蔷钟蚓W(wǎng)還是廣域網(wǎng)系統(tǒng)中,數(shù)據(jù)量增長都還在提速。
“一個(gè)國家的信息化廣度可以粗略地用客戶端設(shè)備量來表示,客戶端設(shè)備越多,在一定程度上也反映了用戶越多;一個(gè)國家的信息化深度則可用服務(wù)器端設(shè)備量來表示,這是因?yàn)橐粋€(gè)國家的信息化程度越深,聯(lián)網(wǎng)程度就越高,服務(wù)器端的應(yīng)用數(shù)據(jù)和應(yīng)用程序就越多,應(yīng)用水平也就越先進(jìn)?!?nbsp;
來自IDC的一組數(shù)據(jù)顯示,中國在信息化廣度方面已經(jīng)有了長足的進(jìn)步,微機(jī)市場銷售額已經(jīng)超過了日本。但是,我國信息化的深度不僅與發(fā)達(dá)國家有較大的差距,甚至低于世界平均水平。我國在存儲(chǔ)系統(tǒng)的銷售額只占全球市場的1.5%,比近鄰韓國還低許多?!凹涌齑鎯?chǔ)市場的高速發(fā)展是推進(jìn)信息化深度的前提和要求。”徐志偉如是說。
為此,2001年,計(jì)算所面向網(wǎng)絡(luò)計(jì)算的發(fā)展趨勢,通過中科院“百人計(jì)劃”引進(jìn)了國外優(yōu)秀人才許魯博士,開始了網(wǎng)絡(luò)存儲(chǔ)技術(shù)及其產(chǎn)品的研究工作,工程中心成為當(dāng)時(shí)國內(nèi)進(jìn)行僅有的幾家國產(chǎn)存儲(chǔ)技術(shù)研究的機(jī)構(gòu)之一。
力挺自主創(chuàng)新存儲(chǔ)產(chǎn)品
數(shù)據(jù)表明,今天我國的存儲(chǔ)市場,僅占全球的1.5%,而服務(wù)器市場占到了4%,網(wǎng)絡(luò)和通訊設(shè)備市場也在4%以上,存儲(chǔ)行業(yè)發(fā)展嚴(yán)重失衡。
徐志偉分析說,造成我國存儲(chǔ)系統(tǒng)落后的主要原因是國產(chǎn)化程度很低,因而成本仍然很高。過去幾年里,我國的微機(jī)產(chǎn)業(yè)和服務(wù)器產(chǎn)業(yè)有了很大的發(fā)展。但是,我國幾乎還沒有存儲(chǔ)系統(tǒng)的品牌產(chǎn)品,更缺乏自主創(chuàng)新的存儲(chǔ)系統(tǒng)技術(shù)。
深諳信息技術(shù)發(fā)展之道的許魯告訴記者,從歷史上來講,信息技術(shù)有三個(gè)大的技術(shù)發(fā)展階段,分別是計(jì)算技術(shù)浪潮,網(wǎng)絡(luò)技術(shù)浪潮和存儲(chǔ)技術(shù)浪潮。計(jì)算技術(shù)浪潮發(fā)生在上世紀(jì)80年代中期,以CPU為主要目標(biāo),包括PC和服務(wù)器方面的發(fā)展。在國際上,形成了英特爾和AMD兩大巨頭。同時(shí),中國本土產(chǎn)業(yè)也形成了聯(lián)想和浪潮等廠商。網(wǎng)絡(luò)技術(shù)浪潮形成于90年代中期,它提供一般的PC機(jī)與服務(wù)器之間的通路。在國際上形成了思科等國際巨頭,與之相應(yīng)國內(nèi)形成了中興、華為等廠商。在2000年后形成的存儲(chǔ)技術(shù)浪潮,其主要目標(biāo)是提供數(shù)據(jù)內(nèi)容。在國際上造就了EMC等廠商,而在國內(nèi)其產(chǎn)業(yè)幾乎還是一片空白。
目前,我國的存儲(chǔ)市場多數(shù)集中在IBM、惠普、EMC這些國際知名品牌手里。國內(nèi)自主品牌在存儲(chǔ)領(lǐng)域,只占8.7%的市場份額。其中有80%以上為國外貼牌加工或生產(chǎn)瀕臨淘汰的低端產(chǎn)品。
“如果把8.7%與20%這兩個(gè)數(shù)字相乘的話,你可以發(fā)現(xiàn)真正的自有技術(shù)的產(chǎn)品,只占到不足2%的市場份額。在這不足2%的市場份額內(nèi),具有市場競爭力的核心存儲(chǔ)產(chǎn)品幾乎是少之又少。”許魯痛心地說,我們可以一輩子用國外的舶來品,但是不僅要為之付出高額的成本,更重要的是用戶在需求上沒有任何發(fā)言權(quán)。
許魯?shù)挠^點(diǎn)在市場上得到印證。據(jù)有關(guān)機(jī)構(gòu)預(yù)測,5年內(nèi)我國網(wǎng)絡(luò)存儲(chǔ)市場規(guī)模將達(dá)到近100億人民幣。從市場需求角度,對于國有品牌及自主技術(shù),用戶需求強(qiáng)烈,渴望得到符合國情的產(chǎn)品、解決方案和專業(yè)化服務(wù)。這無疑為自主創(chuàng)新的存儲(chǔ)產(chǎn)品在中國的應(yīng)用和發(fā)展提供了重要的契機(jī)。
藍(lán)鯨做到4個(gè)“最”
“存儲(chǔ)系統(tǒng)不是我們?nèi)粘J褂玫腢盤或電子盤,更不是人們常見的磁盤陣列,而是由多個(gè)網(wǎng)絡(luò)智能化的存儲(chǔ)控制器/設(shè)備和管理系統(tǒng)構(gòu)成的?!痹S魯打比喻說,如果把U盤和電子盤作為PC,磁盤陣列則相當(dāng)于我們計(jì)算角度上的服務(wù)器,那么存儲(chǔ)系統(tǒng)就是高性能的計(jì)算機(jī)。由此可見,存儲(chǔ)是計(jì)算機(jī)系統(tǒng)中比較難的領(lǐng)域,技術(shù)門檻高,屬于計(jì)算機(jī)的核心技術(shù)。
網(wǎng)絡(luò)存儲(chǔ)難在既要存儲(chǔ)數(shù)據(jù),又要有效管理和調(diào)度數(shù)據(jù)的使用。幾年來,許魯帶領(lǐng)他的團(tuán)隊(duì)開展了網(wǎng)絡(luò)存儲(chǔ)研究、開發(fā)和產(chǎn)品化等一系列的工作,解決了包括以存儲(chǔ)為核心的系統(tǒng)管理,計(jì)算資源、存儲(chǔ)資源和數(shù)據(jù)資源的按需部署,數(shù)據(jù)資源的備份、恢復(fù)、容災(zāi)和共享等關(guān)鍵技術(shù)。
在863計(jì)劃“海量存儲(chǔ)系統(tǒng)技術(shù)與集成???以海量存儲(chǔ)為核心的網(wǎng)絡(luò)服務(wù)器系統(tǒng)”和“虛擬化網(wǎng)絡(luò)存儲(chǔ)功能軟件”等課題的大力支持,工程中心已經(jīng)設(shè)計(jì)并實(shí)現(xiàn)了四個(gè)以網(wǎng)絡(luò)存儲(chǔ)為核心的大型系統(tǒng)平臺。這四個(gè)系統(tǒng)包括藍(lán)鯨虛擬存儲(chǔ)系統(tǒng)、藍(lán)鯨服務(wù)部署系統(tǒng)、藍(lán)鯨集群存儲(chǔ)系統(tǒng)和藍(lán)鯨數(shù)據(jù)備份系統(tǒng)。其中,藍(lán)鯨虛擬存儲(chǔ)系統(tǒng)為資源的分離提供了基礎(chǔ)平臺;在分離的基礎(chǔ)上,藍(lán)鯨服務(wù)部署系統(tǒng)可以將計(jì)算資源和系統(tǒng)數(shù)據(jù)動(dòng)態(tài)合成,按需構(gòu)成用戶所需的計(jì)算環(huán)境;而多計(jì)算機(jī)間的數(shù)據(jù)共享則由藍(lán)鯨集群存儲(chǔ)系統(tǒng)支持。這幾個(gè)系統(tǒng)數(shù)據(jù)都可由藍(lán)鯨數(shù)據(jù)備份系統(tǒng)來提供數(shù)據(jù)備份支持,共同構(gòu)成大型存儲(chǔ)系統(tǒng)。
在這四大系統(tǒng)的基礎(chǔ)上,工程中心成功開發(fā)出藍(lán)鯨網(wǎng)絡(luò)存儲(chǔ)系列產(chǎn)品。這些產(chǎn)品填補(bǔ)了國內(nèi)在網(wǎng)絡(luò)存儲(chǔ)行業(yè)的產(chǎn)品空白,實(shí)現(xiàn)了具有自主特色的虛擬化和按需服務(wù)等先進(jìn)技術(shù),不僅在性能、可靠性、可擴(kuò)展性、可管理性達(dá)到了國際同類產(chǎn)品的先進(jìn)水平,而且成本降到了1/3。藍(lán)鯨存儲(chǔ)系統(tǒng)能夠有效地管理512TB的存儲(chǔ)資源,并能按照用戶的需求動(dòng)態(tài)劃分資源,藍(lán)鯨服務(wù)部署系統(tǒng)能夠在1分鐘之內(nèi)提供用戶所需要的操作系統(tǒng)和應(yīng)用軟件服務(wù)。
更令人欣喜的是,藍(lán)鯨存儲(chǔ)產(chǎn)品投入應(yīng)用到國防、軍隊(duì)、教育、政府、科研、能源、遙感、旅游、廣電、視頻監(jiān)控等多個(gè)行業(yè)和領(lǐng)域使用后,得到了國內(nèi)外同行和用戶的認(rèn)可與好評,在大型存儲(chǔ)系統(tǒng)的應(yīng)用中成為國內(nèi)產(chǎn)品系統(tǒng)規(guī)模最大、產(chǎn)品技術(shù)成熟度最高、實(shí)際應(yīng)用領(lǐng)域是最寬、潛在覆蓋領(lǐng)域最廣泛的國內(nèi)網(wǎng)絡(luò)存儲(chǔ)產(chǎn)品。
2006年9月,全球最具權(quán)威的IT研究與咨詢機(jī)構(gòu)Gartner對藍(lán)鯨集群存儲(chǔ)系統(tǒng)在石油物探領(lǐng)域的應(yīng)用情況進(jìn)行研究。這是該機(jī)構(gòu)首次對中國國產(chǎn)存儲(chǔ)產(chǎn)品做出客觀的評價(jià)。報(bào)告稱,用戶非常滿意藍(lán)鯨集群存儲(chǔ)的使用,它支持4個(gè)主要的計(jì)算工作,甚至可支持4個(gè)工作同時(shí)運(yùn)行。到目前為止,系統(tǒng)還未遇到任何系統(tǒng)性能瓶頸問題。
“明年我們將要研發(fā)出PB(1PB相當(dāng)于1024TB)級存儲(chǔ)容量的產(chǎn)品,把相應(yīng)的應(yīng)用成功移植上去。”展望未來,許魯充滿希望地說。
數(shù)字863
藍(lán)鯨網(wǎng)絡(luò)存儲(chǔ)產(chǎn)品的應(yīng)用
藍(lán)鯨部署系統(tǒng)應(yīng)用在政府、科研和軍隊(duì)等領(lǐng)域,如肇慶市人民政府信息中心、深圳先進(jìn)技術(shù)研究院、總裝某部、海軍某部等單位,主要用于普通和保密辦公環(huán)境,方便了辦公環(huán)境中的計(jì)算機(jī)系統(tǒng)維護(hù),使系統(tǒng)管理員對計(jì)算機(jī)的管理能力由之前平均每人50?100臺計(jì)算機(jī)增長到200臺,另一方面是通過基于PCSAN的保密辦公環(huán)境解決方案,有效地防止了網(wǎng)絡(luò)泄密事件的發(fā)生。
藍(lán)鯨部署系統(tǒng)在能源領(lǐng)域里,如新疆油田公司勘探開發(fā)研究院,主要用于大型計(jì)算機(jī)集群的系統(tǒng)部署,目前最大支持計(jì)算節(jié)點(diǎn)達(dá)到260個(gè)。同時(shí)部署190個(gè)計(jì)算節(jié)點(diǎn)時(shí),部署時(shí)間從之前使用傳統(tǒng)的網(wǎng)絡(luò)分發(fā)方式時(shí)所需的6?12小時(shí)縮短為不到1個(gè)小時(shí),大大提高了集群系統(tǒng)的部署效率,也方便了計(jì)算資源的靈活調(diào)度。
藍(lán)鯨集群存儲(chǔ)系統(tǒng)在軍隊(duì)和國防領(lǐng)域,主要應(yīng)用在核模擬、數(shù)字風(fēng)洞、文獻(xiàn)檢索、遙感數(shù)據(jù)處理等應(yīng)用中。在國防領(lǐng)域某研究所的數(shù)字風(fēng)洞應(yīng)用中,該系統(tǒng)已經(jīng)穩(wěn)定運(yùn)行一年半,其表現(xiàn)出的性能是傳統(tǒng)網(wǎng)絡(luò)文件系統(tǒng)的10倍。
藍(lán)鯨集群存儲(chǔ)系統(tǒng)在科研和能源等領(lǐng)域,如深圳先進(jìn)技術(shù)研究院、新疆油田公司等應(yīng)用單位,主要應(yīng)用在集群計(jì)算方面,最長應(yīng)用時(shí)間已經(jīng)超過兩年半。目前該系統(tǒng)在新疆油田的地震數(shù)據(jù)處理中,最大支持計(jì)算節(jié)點(diǎn)已達(dá)到289個(gè),計(jì)算效率提高了1?3倍。