SGI中國區(qū)總經(jīng)理梁巖

那么,SGI將如何切入到大數(shù)據(jù)的市場?又如何借助自身在高性能計算領(lǐng)域的優(yōu)勢在競爭激烈的大數(shù)據(jù)市場中爭奪一席之地? 近日,筆者采訪了SGI中國區(qū)總經(jīng)理梁巖。采訪中,梁巖分享了他對于高性能計算市場趨勢的理解,以及SGI如何將高性能計算領(lǐng)域的優(yōu)勢和積累切入到大數(shù)據(jù)領(lǐng)域。

高性能計算市場和技術(shù)走向

談到高性能計算,這位高性能計算領(lǐng)域的老兵顯得頗為激動,他談到,隨著人們生活、國家安全、自然環(huán)境的探索等方面對于計算能力的需求不斷增大,高性能計算未來的市場需求是非常大的。

從技術(shù)角度而言,梁巖認為,高性能計算未來幾年的發(fā)展趨勢也將表現(xiàn)出一些特點,SGI公司未來也會針對這些方向不斷推出自己的產(chǎn)品和方案。梁巖主要介紹了四個方面的技術(shù)方向:

首先,單個處理器的核數(shù)將會不斷增加,最近幾年CPU的核數(shù)已經(jīng)從2核、4核到6核到8核,現(xiàn)在也有12核16核的產(chǎn)品,在未來2年左右的時間里,單個處理器的核數(shù)可能會超過20核。

第二點,由于核數(shù)的增加,每個核分配到的I/O能力以及系統(tǒng)其他的資源,包括網(wǎng)絡(luò)能力、內(nèi)存等等,都會受到非常大的制約。因為核數(shù)發(fā)展太快,I/O能力和其他相關(guān)資源的發(fā)展沒有那么快的時候,就會對機器均衡的能力的產(chǎn)生影響。

第三點,由于系統(tǒng)核數(shù)、計算能力的增加,引發(fā)的功耗問題,對于一個規(guī)模非常大的高性能計算系統(tǒng),每個機器的功耗上升一點點,整個大的系統(tǒng)功耗就會增加非常多。

還有一點,混合編程的模式,也就是GPGPU的編程方式逐漸會進入到高性能計算領(lǐng)域。今年開始,我們看到Intel公司也推出了一個類似于GPGPU的一個模式加入到混合計算的領(lǐng)域,這樣的話,通過NVIDIA、AMD和Intel這三家大的公司積極地推動的混合編程模式肯定是未來比較熱的一個方向。

不同類型的應(yīng)用需要不同的系統(tǒng)架構(gòu)

SGI在高性能計算領(lǐng)域最牛的一點是它的NUMA架構(gòu),基于NUMA架構(gòu)SGI可以在一個系統(tǒng)中將512個連在CPU連接在一起,相比集群架構(gòu)而言,這種架構(gòu)能夠大大提升I/O密集型應(yīng)用的運行效率,這也是許多其他的高性能計算解決方案提供商難以企及的。

梁巖介紹到,大部分高性能計算應(yīng)用可以分為兩類,一類是計算密集型的應(yīng)用,另一類是I/O密集型應(yīng)用,也就是通訊密集型的應(yīng)用。

他舉例介紹道,假如要在一堆稻草里面找兩根針,這個算法就是要拿起一根稻草看如果不是針就放一邊去,直到找到針。我們可以用一個更簡單的方法,把稻草分成兩堆,讓兩個人來數(shù),這樣可以節(jié)省一半的時間,進一步,還有更簡單的方法,可以把這兩堆稻草中的每一堆再分成兩堆,性能就可以提升四倍。當然,這一切的前提都是在數(shù)稻草的時候不用和其他數(shù)稻草的人說話,每個人只要埋頭數(shù)好自己的稻草,最后把所有人的加在一起就可以了。這種就是純粹計算密集型的,這種并行計算非常好,適合今天的集群應(yīng)用架構(gòu),每臺機器的處理性能不是很強,但可以用很多機器一起計算。

但還有另外一種可能,做一件事情的時候需要和另外一個人說一句話。例如SGI曾經(jīng)承接過美國國防的一個項目,要找全世界各個地方10年以內(nèi)大城市出現(xiàn)的一些恐怖分子的蹤跡。如果要搜尋10年的情況,首先會想到按照城市來分和計算,但這里會遇到一個問題,每次算這個城市的時候,他可能在這個城市給另一個城市打電話,這時就要算另一個城市,所以如果劃分的越細,所產(chǎn)生的交差通訊就會越多,這就屬于I/O密集型的應(yīng)用。I/O密集型應(yīng)用在超大集群上實現(xiàn)是一個非常難的事情,而恰恰今天大量的應(yīng)用都是I/O密集型的計算,機器之間的通訊太多會大幅度降低效率。

梁巖強調(diào),針對IO密集型的應(yīng)用,采用集群是非常不適合的,SGI的方案是UV系列的產(chǎn)品。UV是一個基于SGI獨有的NUMA架構(gòu),可以把很多的CPU通過NUMA架構(gòu)連接到一起,在一個操作系統(tǒng)下去運行,也就是說你可以看到一臺超大的機器,一個操作系統(tǒng),所有的通訊都在內(nèi)部完成,而不需要通過外面的網(wǎng)絡(luò)完成,這樣整個性能大幅提高,目前,可以做到一臺機器中將512個CPU在一起,如果使用Intel的8核CPU的話,一個機器中就可以有4096個核,并且可以放64TB的內(nèi)存,在一個操縱系統(tǒng)下去跑這個機器,這樣的話遍歷所有的數(shù)據(jù)就會非???。

當然,針對計算密集型的應(yīng)用,SGI也提供了相應(yīng)的解決方案——基于SGI的刀片服務(wù)器集群。例如全球排名第11位的美國政府的NASA合作的系統(tǒng),以及今年2月份SGI為法國道達爾石油提供的系統(tǒng)都是基于SGI刀片集群的。

尋求高性能計算與大數(shù)據(jù)的結(jié)合點

梁巖表示,大數(shù)據(jù)將會帶來文件系統(tǒng)的基礎(chǔ)架構(gòu)的改變,以及數(shù)據(jù)處理方式的改變。SGI相信,未來高性能計算與大數(shù)據(jù)領(lǐng)域會有一定的融合,SGI將把高性能計算領(lǐng)域的積累和沉淀轉(zhuǎn)化到大數(shù)據(jù)領(lǐng)域來。

回到稻草里找針這個例子,如果把這個稻草分成分成非常細的小堆的話,那么可能就不需要那么高性能的存儲了,因為每臺機器的性能都很差的話就沒有必要配一個高性能的存儲了,在機器里塞幾個硬盤就可以了。并且,如果這個機器壞了也不影響,因為它是一個非常小的一堆稻草,我們還可以在其他機器上做一個容錯的處理。

這種思想的出現(xiàn)就帶來了我們經(jīng)常談?wù)摰?,關(guān)于文件系統(tǒng)的基礎(chǔ)架構(gòu)的改變,也就是現(xiàn)在的基于Lustre的高性能文件系統(tǒng)慢慢變成了hadoop的文件系統(tǒng)。

還有一點就是處理數(shù)據(jù)方面,需要一種處理非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)在一起的一種方式。比如在做風險分析的時候,像證券行業(yè)、金融行業(yè)、保險行業(yè)等,傳統(tǒng)的是看這個人的家庭收入、學歷背景、現(xiàn)在有多少貸款等,但是未來會考慮到其他的因素,例如這個人所處的行業(yè)、國家的政策、這個行業(yè)薪金的發(fā)展趨勢等,所有這些信息都來自外界的新聞、國家政策、網(wǎng)絡(luò)消息、微博等,這些信息全是非結(jié)構(gòu)化的,如何把這些數(shù)據(jù)進行處理并作為判斷依據(jù),就需要一種能夠處理非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)在一起的方式。

國內(nèi)這方面的需求是非常大的,例如電信行業(yè),現(xiàn)在只是一些漫游費、手機費,但未來3G業(yè)務(wù)、基于微博等對客戶行為進行分析等,遠遠不是一個關(guān)系型數(shù)據(jù)庫能處理的,需要一個大數(shù)據(jù)的方案。

梁巖表示,SGI做的很多高性能計算的應(yīng)用其實就是一種大數(shù)據(jù),只是涉及到的領(lǐng)域都太專業(yè)了,例如石油圖像勘探方面的應(yīng)用中大量的地圖和油層數(shù)據(jù)、氣象方面的數(shù)據(jù)、工廠CAD的數(shù)據(jù)等等。

SGI正在把傳統(tǒng)高性能領(lǐng)域的積累轉(zhuǎn)化到大數(shù)據(jù)領(lǐng)域來。SGI今年基于Hadoop推出了一個StartKit,如果客戶想在hadoop上面做一些轉(zhuǎn)變,SGI會給客戶提供一整套的軟件、硬件安裝方案,并且所有的系統(tǒng)安裝都在SGI的工廠里完成。與此同時,SGI還提供6個基于hadoop上開發(fā)的應(yīng)用,客戶可以利用這些應(yīng)用做一些開發(fā)、測試、評估等工作。

事實上,SGI在全球已經(jīng)提供了超過2萬臺hadoop系統(tǒng),為美國的政府、軍方、ebay、amazon等很多客戶提供了基于hadoop的系統(tǒng)。

“SGI相信,在高性能計算方面的積累會慢慢進入到大數(shù)據(jù)領(lǐng)域,從今年到未來的一段時間里大家會看到,SGI公司在大數(shù)據(jù)方面的方案出現(xiàn),我們也相信,未來的某個時間高性能計算和大數(shù)據(jù)會有一定的融合。”

分享到

tangrong

相關(guān)推薦