由IBM公司打造的Sequoia BlueGene/Q超級計算機(jī)正在莫爾國家實驗室中進(jìn)行組裝

當(dāng)然，沒人能準(zhǔn)確預(yù)測未來。不過我們確實在莫爾國家實驗室中看到了由IBM打造的這頭名為“Sequoia”的性能巨獸。在Linpack基礎(chǔ)測試中，這套由157萬個PowerPC核心構(gòu)成的龐大設(shè)備跑出了穩(wěn)定運(yùn)算量16.32千萬億次的驚人成績。

Sequoia的理論運(yùn)算峰值高達(dá)20.1千萬億次，也就是說在此次基準(zhǔn)測試過程中，這套設(shè)備在線性系統(tǒng)軟件包的運(yùn)算工作上調(diào)用了81.1%的整體處理性能。莫爾國家實驗室正是將BlueGene/L原型超級計算機(jī)推向商業(yè)化應(yīng)用的溫床，因此這個隸屬于美國能源部的核技術(shù)實驗室非常清楚如何充分調(diào)動大型并行計算設(shè)備的能效，也就是說在技術(shù)人員的努力調(diào)整下，跑出這樣的成績當(dāng)屬意料之中。而在莫爾國家實驗室的精心優(yōu)化下，Sequoia超級計算機(jī)的功耗被調(diào)試到非常理想的狀態(tài)——這臺運(yùn)算巨獸在提供16.32千萬億次處理能力的同時，功耗僅為7.89兆瓦。

另一臺位居超級計算機(jī)榜單前列的設(shè)備——名為K的大規(guī)模并行Sparc64-VIIIfx計算機(jī)由富士通公司為日本政府所打造，目前已失去冠軍寶座 ——在Linpack基準(zhǔn)測試中交出了峰值運(yùn)算量11.3千萬億次、持續(xù)運(yùn)算量10.5千萬億次的答卷，其穩(wěn)定執(zhí)行效率達(dá)到了令人印象深刻的93.2%。但這臺Sparc怪獸的功耗高達(dá)12.7兆瓦，也就是說每瓦特僅能提供830百萬次運(yùn)算量。這意味在功耗方面，Sequoia的能源利用效率達(dá)到了K的 2.5倍——至少在運(yùn)行Linpack基準(zhǔn)測試時是如此。

到目前為止，五百強(qiáng)榜單上排名最靠前的CPU-GPU混合型超級計算機(jī)是由位于天津的中國國家超級計算機(jī)中心所打造的天河-1A——這套設(shè)備采用了英特爾至強(qiáng) X5760與英偉達(dá)Tesla More050 GPU處理器的組合——由于混合編程模式以及CPU與GPU間數(shù)據(jù)傳遞速度的限制，它只發(fā)揮出了理論運(yùn)算性能總值的45.4%。在測試中跑出2.57千萬億次成績的天河-1A超級計算機(jī)，其每瓦特運(yùn)算量只有635百萬次。相比之下，Sequoia設(shè)備的單位能源利用率是天河-1A的3.25倍——再次強(qiáng)調(diào)，這只是根據(jù)Linkpack基準(zhǔn)測試得出的結(jié)論。

不過超級計算機(jī)五百強(qiáng)榜單只談性能、不考慮設(shè)備構(gòu)建成本，這也是考量設(shè)備強(qiáng)弱的重要因素之一。BlueGene/Q 機(jī)型中的每個機(jī)架都要花費(fèi)數(shù)百萬美元——IBM公司并沒有透露具體數(shù)目，因為從本質(zhì)上來說這是一款定制型產(chǎn)品——最多可擴(kuò)展到512個機(jī)架且峰值運(yùn)算能力可達(dá)100千萬億次。但問題在于，什么樣的家伙會瘋狂到花10億美元來打造這樣一個龐然大物?說實話，就連美國政府在這樣一筆支出面前也得考慮再三：雖然模擬核實驗很重要，但經(jīng)濟(jì)環(huán)境的蕭條慘淡也讓他們失去了底氣。

問題在于，要想討論真正名副其實的世界最強(qiáng)超級計算機(jī)，我們必須從多個方面加以考量：持續(xù)處理性能、運(yùn)算效率、單位能耗產(chǎn)出比以及設(shè)備性價比。這么看來榜單的考核標(biāo)準(zhǔn)中有八成符合客觀評測意見，但這對于一份權(quán)威榜單來說還不夠準(zhǔn)確(值得一提的是，五百強(qiáng)榜單對于各設(shè)備的能耗根本只字未提，也就是說準(zhǔn)確性還要再打個折扣)。

莫爾國家實驗室早在2009年2月就與藍(lán)色巨人訂下這份打造Sequoia的巨額合同。這臺大規(guī)模并行計算機(jī)以IBM的18核PowerPC A2處理器為基礎(chǔ)，核心芯片為64位，采用Linux內(nèi)核;其中一個核心作為補(bǔ)充運(yùn)算單位，另一個充當(dāng)冗余組件，其它十六個核心則負(fù)責(zé)日常計算任務(wù)。每個計算卡配備一個核心和16GB內(nèi)存，而每個節(jié)點則由32個計算卡構(gòu)建而成——通過擁有光纖傳輸模塊的5D環(huán)狀結(jié)構(gòu)，每個節(jié)點彼此之間都能自由連通。每16 個節(jié)點卡通過八個I/O活動抽屜組成一套機(jī)座，最終兩套機(jī)座堆疊起來形成完整的機(jī)架。

BlueGene/Q采用40Gb每秒的傳輸通路，節(jié)點與節(jié)點之間的延遲被控制在2.5毫秒以內(nèi)。5D環(huán)狀邏輯結(jié)構(gòu)則由嵌入式PowerPC A2芯片完成，該芯片擁有1.6GHz主頻，包括11個擁有2GB每秒傳輸能力的接口。其中兩個接口能夠直接與PCI-E 2.0 x8外設(shè)插槽相對接。芯片中央的14端口縱橫交換機(jī)/路由器支持點對點、協(xié)作及消息阻隔功能，同時也實現(xiàn)了節(jié)點之間彼此直接訪問內(nèi)存的要求。

與K及其名為“Tofu”的6D環(huán)狀/網(wǎng)狀互連結(jié)構(gòu)相似，旗艦級BlueGene/Q超級計算機(jī)在任何量化參數(shù)方面都同樣精益求精。富士通公司已經(jīng)將K超級計算機(jī)以PrimeHPC FX10系列機(jī)型的形式投入商業(yè)化運(yùn)營，量產(chǎn)機(jī)型采用16核心Sparc64-IXfx處理器，最大擴(kuò)展運(yùn)算能力達(dá)到23千萬億次。惟一的問題在于 FX10的所有機(jī)型都由1024個機(jī)架構(gòu)成——其中包含9萬8千多個計算節(jié)點以及6PB主內(nèi)存——其運(yùn)行功耗為23兆瓦，且總造價達(dá)到655.4萬美元。即使是從高性能計算需求的角度來看，這個價位也太過夸張了。(另外提醒各位硬件發(fā)燒友的是，這套設(shè)備玩不了孤島危機(jī)，BlueGene/Q也不行。只有 Windows架構(gòu)的超級計算機(jī)才能實現(xiàn)大家的這一夢想。

五百強(qiáng)前十位，IBM力取五席

IBM公司最近在超級計算機(jī)五百強(qiáng)榜單上的表現(xiàn)非常搶眼，位列前十位的設(shè)備中有五席都或多或少與他們有關(guān)。

排在K之后，位列榜單第三位的是另一款名為“Mira”的BlueGene/Q設(shè)備，它被安置在美國阿貢國家實驗室當(dāng)中。這臺超級計算機(jī)的各項性能基本上是Sequoia的一半。

榜單上的第四位是SuperMUC，另一款I(lǐng)BM出品的設(shè)備，但它采用的是英特爾最新推出的至強(qiáng)E5-2680處理器——IBM公司的 iDataPlex dx360 M4機(jī)架式刀片服務(wù)器也采用了這款處理器。SuperMUC是根據(jù)IBM公司與歐洲高級計算合作組織(簡稱PRACE)簽訂的合約，為德國萊布尼茨超級計 算中心所打造的定制機(jī)型。這份合約于2011年1月簽訂，內(nèi)容要求該設(shè)備必須為處理器及iDataPlex主板上的內(nèi)存條配備水冷裝置，而且這套自循環(huán)水 冷體系必須采用溫度相對較高的冷卻水(最高不超過45攝氏度，即113華氏度)以防止設(shè)備組件過熱。(我們將在以后的文章中詳細(xì)討論SuperMUC這些 令人意外的設(shè)計。)根據(jù)合同規(guī)定，SuperMUC的總體造價為110.9萬美元，并將穩(wěn)定運(yùn)行五年以上;該設(shè)備目前擁有14萬7千多個至強(qiáng)核心，并在 Linpack基準(zhǔn)測試中獲得了2.9千萬億次持續(xù)計算能力及平均效率91%的成績。這個結(jié)果相當(dāng)令人滿意，而且其中最大的功臣無疑要數(shù)將 iDataPlex節(jié)點連接起來的、擁有56GB每秒傳輸能力的FDR InfiniBand網(wǎng)絡(luò)連接體系。但遺憾的是，這套設(shè)備的功耗為3.42兆瓦，也就是說每瓦特只能提供847百萬次運(yùn)算量。在能源利用率方面莫爾國家實 驗室的Sequoia是它的2.44倍。

位列第五的是天河-1A超級計算機(jī)，其2.57千萬億次的運(yùn)算能力曾在2010年11月問鼎過五百強(qiáng)榜單的頭把交椅。推出如此野心勃勃的超級計算設(shè)備，代表著中國將在未來成為計算能力軍備競賽中扮演不容小覷的后起之秀。

代號“Jaguar”的大規(guī)模并行超級計算機(jī)在排名中獲得第六位，它被安置在美國能源部下屬的橡樹嶺國家實驗室，該實驗室同樣專注于進(jìn)行核技術(shù)研 究。Jaguar正處于升級計劃當(dāng)中，目標(biāo)是將其打造成運(yùn)算能力達(dá)20千萬億次的“Titan”超級計算機(jī)。不過整個規(guī)劃才剛剛開始，Cray公司正在為 節(jié)點升級最新的皓龍6274處理器，并利用“Gemini”XE連接系統(tǒng)與英偉達(dá)Tesla M2090協(xié)處理器讓整套設(shè)備的性能迎來飛躍。

到目前為止，Jaguar已經(jīng)擁有29萬8千多個核心，并能夠提供1.94千萬億次持續(xù)運(yùn)算能力(其CPU與GPU的協(xié)同計算效率為73.9%)。 但Jaguar的運(yùn)行功耗高得令人難以理解——它需要5.14兆瓦電力，也就是說每瓦只能提供377.5百萬次浮點運(yùn)算能力。正是基于這一致命弱點，技術(shù) 人員才下決心將Jaguar升級為Titan。相比之下Sequoia的能源利用率是它的5.5倍。不過隨著今年秋季Titan設(shè)備與代號 “Kepler”的Tesla K20 GPU正式聯(lián)手，相信能耗問題將得到大幅度改善。在英偉達(dá)公司為自己的GPU協(xié)處理器添加了大量現(xiàn)代化創(chuàng)新設(shè)計之后，相信橡樹嶺實驗室對于GPU的依賴將 給他們帶來更多競爭優(yōu)勢。

榜單上的其它成員

在今年6月份的超級計算機(jī)五百強(qiáng)榜單上，第七和第八位都被BlueGene/Q設(shè)備所占據(jù)。第七位是人稱“Fermi”的超級計算機(jī)，目前被安置在 CINECA機(jī)構(gòu)的總部。該組織由54所意大利知名高校聯(lián)合創(chuàng)建，已經(jīng)與IBM及Cary公司展開了多年的超級計算設(shè)備合作關(guān)系。Fermi擁有16萬3 千多個核心，并在Linpack基準(zhǔn)測試中跑出1.73千萬億次穩(wěn)定運(yùn)算能力的成績。第八位名為“JuQueen”，目前正效力于德國尤利希研究中心。這 臺設(shè)備擁有13萬1千多個核心，能夠提供1.38千萬億次的穩(wěn)定運(yùn)算能力。

法國布爾科技集團(tuán)的“Curie”瘦節(jié)點設(shè)備——基于Bullx B510服務(wù)器節(jié)點，采用至強(qiáng)E5-2680處理器以及40GB每秒的InfiniBand連接系統(tǒng)——擁有約12萬個核心，能夠在處理雙精度矩陣數(shù)學(xué)計 算時達(dá)到1.27千萬億次的性能表現(xiàn)。這臺設(shè)備的計算效率為81.5%，還算不錯，但每瓦特僅能提供603.7百萬次運(yùn)算能力，這使其在整體能源效率方面 的表現(xiàn)差強(qiáng)人意。(之所以一直強(qiáng)調(diào)能源利用率，是因為在處理x86或者InfiniBand優(yōu)化型代碼時，能耗性價比的問題會變得更為突出。)

榜單前十名的最后一位是由位于深圳的中國曙光國家超級計算中心自主打造的“星云”。利用來自英偉達(dá)的Tesla M2050 GPU協(xié)處理器，星云使自己以英特爾至強(qiáng)X5690處理器為主的性能搭配更上一層樓。這臺設(shè)備曾在2010年6月登上過五百強(qiáng)榜首的榜眼位置，但兩年來在 硬件規(guī)格上一直沒有變動。星云擁有約12萬個處理核心，能夠提供1.27千萬億次運(yùn)算能力，但其功耗高達(dá)2.58兆瓦。星云的計算效率只有可憐的 42.6%，且每瓦能耗僅提供492.6百萬次浮點運(yùn)算能力。

通過對榜單十大競爭者的詳細(xì)評述，我們可以看到新晉冠軍Sequoia的勝出實至名歸。無論是性能輸出還是能源效率，它都是當(dāng)之無愧的最強(qiáng)者。

順帶一提，英國最近已經(jīng)有設(shè)備向榜單前十名發(fā)起沖擊，這就是名為“Blue Joule”的BlueGene/Q設(shè)備——擁有11萬4千多個核心，效力于達(dá)斯伯里實驗室。目前它在基準(zhǔn)測試中的1.21千萬億次運(yùn)算能力位列五百強(qiáng)榜 單第13位，這個結(jié)果相對于預(yù)期確實有些令人失望——達(dá)斯伯里實驗室最初預(yù)測它能夠達(dá)到1.4千萬億次運(yùn)算量，并奪得榜單的第十位。到今年11月份，還將 有Cray公司代號“Blue Water”的XK6混合型CPu-GPU超級計算機(jī)以及橡樹嶺實驗室升級完畢的全新Titan超級計算機(jī)對榜單發(fā)起沖擊，因此要想實現(xiàn)夢想，達(dá)斯伯里的 技術(shù)人員還得利用好這個秋季，看看能不能讓Glue Joule百尺竿頭、更進(jìn)一步。

性能不斷飆升，x86漸露頹勢

曼海姆大學(xué)的Hans Meuer、伯克利國家實驗室的Erich Strohmaier與Horst Simon以及田納西大學(xué)的Jack Dongarra每年都會組織兩次評選，以保證超級計算機(jī)五百強(qiáng)榜單的時效性與權(quán)威性。其實這份榜單存在的意義并不是指導(dǎo)企業(yè)根據(jù)運(yùn)算性能制定采購決策，而是通過最尖端的設(shè)備評估系統(tǒng)設(shè)計的發(fā)展趨勢并對未來走向做出預(yù)測。一般來說，超級計算機(jī)家族的新成員，都會成為未來一段時間內(nèi)高性能計算市場上主流系統(tǒng)的風(fēng)向標(biāo)。

在最近的這一次榜單整理工作中，一臺設(shè)備至少要擁有60.8萬億次浮點運(yùn)算能力才有可能榜上有名。榜單上所有計算設(shè)備的處理能力總和達(dá)到123.4 千萬億次，這比起去年11月的五百強(qiáng)榜單的74.2千萬億次總和來高出了66.3%，更是較前一期榜單的58.7千萬億次總和翻了一番。在本次評選中，有 20臺超級計算機(jī)成功步入千萬億次俱樂部，正是它們的出現(xiàn)令運(yùn)算能力總和得到如此幅度的飆升。不過隨著越來越多強(qiáng)大設(shè)備的加入，我們發(fā)現(xiàn)許多采用GPU協(xié)助處理器設(shè)計的計算機(jī)在榜單中的位置普遍下滑。

說起GPU，目前五百強(qiáng)榜單中有58臺設(shè)備采用了協(xié)處理器設(shè)計(作為加速器或其它用途)，這相對2011年11月榜單的39臺有了明顯提升。在這 58臺設(shè)備中，有53臺使用了英偉達(dá)公司推出的Tesla GPU協(xié)處理器，兩臺使用了AMD公司的Radeon顯卡，另外兩臺則選擇了IBM公司的Cell處理器。就在一年前，采用GPU的設(shè)備還只有17臺。這似乎意味著混合型運(yùn)算設(shè)計的趨勢已經(jīng)開始顯現(xiàn)，正如上世紀(jì)九十年代末Linux開始在超級計算機(jī)操作系統(tǒng)角逐中占得一席之地時的情景。

但老牌CPU巨頭英特爾公司也打算在GPU協(xié)處理器這個新興市場上分一杯羹;目前他們研發(fā)的代號“Discovery”的實驗機(jī)型已經(jīng)在榜單上獲得第150位排名。Discovery在至強(qiáng)E5-2670處理器之外，還加入了“Knights Corner”MIC x86協(xié)處理器。這臺設(shè)備的峰值運(yùn)算能力為181萬億次，穩(wěn)定運(yùn)算能力則為118，6萬億次，折合每瓦特提供1176百萬次運(yùn)算量。

超級計算機(jī)五百強(qiáng)榜單性能發(fā)展時間表——向百億億次進(jìn)軍

在CPU方面，本屆榜單中共有372臺設(shè)備(即總體比例的74.4%)采用了英特爾公司的至強(qiáng)或安騰處理器。這一數(shù)字比去年11月的384臺稍有下滑，這明顯是受到BlueGene/Q系列設(shè)備的沖擊，同時本定于今年春季推出的新款至強(qiáng)E5處理器被延期到秋季也對此造成了不小的影響。奇怪的是，榜單中有246臺設(shè)備采用了英特爾的上一代至強(qiáng)5600處理器——這比六個月前的240臺有所上升。也就是說，目前有44臺設(shè)備使用至強(qiáng)E5系列處理器，這意味著去年11月已經(jīng)有10臺設(shè)備以試用的形式選擇了英特爾尚未正式推出的處理器。

目前五百強(qiáng)榜單中有58臺設(shè)備采用Power架構(gòu)，這比六個月之前的49臺有了明顯上升。63臺設(shè)備選擇了AMD的皓龍?zhí)幚砥?某些同時采用GPU協(xié)處理器，有些則單純只使用CPU)，這一比例在整體榜單中占到12.6%，與去年11月持平。

在CPU的核心數(shù)量方面，榜單中74.8%的設(shè)備選擇了六核或六核以上的處理器產(chǎn)品。榜單中的超級計算機(jī)平均擁有26866個核心，幾乎比六個月前的18383個核心翻了一倍，而一年前的平均核心數(shù)則為15520。目前各設(shè)備的平均電力消耗為671千瓦，比去年11月的634千瓦和去年1月的543 千瓦有所提高。

另一個有趣的現(xiàn)象是，目前五百強(qiáng)榜單中使用InfiniBand技術(shù)的設(shè)備比使用千兆以太網(wǎng)技術(shù)的設(shè)備多得多。其中208臺設(shè)備使用InfiniBand，合計運(yùn)算能力達(dá)到31.5千萬億次，而207臺使用千兆以太網(wǎng)技術(shù)的設(shè)備在合計運(yùn)算能力方面只有13.3千萬億次。

IBM公司推出的系統(tǒng)出現(xiàn)在今年1月五百強(qiáng)榜單中的213臺設(shè)備中，這占到整體系統(tǒng)裝機(jī)量的42.6%。如果按照運(yùn)算能力來統(tǒng)計，藍(lán)色巨人的系統(tǒng)控制著47.6%的設(shè)備總體輸出資源。由于放棄追求高端機(jī)型，惠普公司的系統(tǒng)由六個月前的141臺裝機(jī)量下降到現(xiàn)在的138臺——總體數(shù)量占榜單的 27.6%。Cray公司則擁有5.4%的整體裝機(jī)量;接下來是布爾集團(tuán)的3.2%。

IBM與惠普仍然牢牢掌握著全世界大部分高性能計算客戶所帶來的商業(yè)價值，在所有249臺商用超級計算機(jī)當(dāng)中，兩家的份額合計瓜分了其中的247臺。

原文鏈接：http://www.theregister.co.uk/2012/06/18/top_500_supercomputers_june_2012/

zhaohang