這款超級(jí)計(jì)算機(jī)使用了Aries互聯(lián)技術(shù)，這種技術(shù)對(duì)于大規(guī)模和并行計(jì)算來(lái)說(shuō)意義重大，也正是如此英特爾在今年四月的時(shí)候，就花費(fèi)1.4億美元收購(gòu)了曾經(jīng)開(kāi)發(fā)出Gemini互聯(lián)技術(shù)的團(tuán)隊(duì)和芯片產(chǎn)品，以及與此相關(guān)的34項(xiàng)專(zhuān)利。

代號(hào)為“Cascade”超級(jí)計(jì)算機(jī)XC30

正是如此，Cray專(zhuān)屬并能使用Gemini和Aries技術(shù)，并與英特爾研發(fā)設(shè)計(jì)代號(hào)為“Shasta”的通用超級(jí)計(jì)算機(jī)。此次推出的XC30超級(jí)計(jì)算機(jī)，是由Cray和DARPA聯(lián)手打造，使用了全新的Aries互連(Interconnect)技術(shù)，在性能方面輕松超越了之前的世界第一超級(jí)電腦Titan，同時(shí)也和其它競(jìng)爭(zhēng)對(duì)手(如我國(guó)的天河二號(hào))拉開(kāi)了差距。

Aries互聯(lián)和Cascade節(jié)點(diǎn)

Aries芯片擁有2.17億個(gè)柵極，采用了40nm制程工藝制造。Aries擁有184個(gè)SerDes(串并行)通道，提供30個(gè)光纖通道、64個(gè)PCI-E擴(kuò)展通道。

XC30系統(tǒng)和刀片

XC30系統(tǒng)采用半寬、全長(zhǎng)水平放置的刀片設(shè)計(jì)，每個(gè)刀片的背后都有一個(gè)Aries互聯(lián)通路。Aries芯片連入到機(jī)箱底板和刀片上的4個(gè)服務(wù)器節(jié)點(diǎn)。

這些刀片被應(yīng)用在Cray稱(chēng)之為“processor daughter card”的模塊上，所有的CPU都有兩個(gè)這種processor daughter(2個(gè)雙插槽節(jié)點(diǎn))，在機(jī)箱中緊挨著并由PCI-E連接到Aries互聯(lián)通道上，每個(gè)刀片有4個(gè)節(jié)點(diǎn)。

值得一提的是，在XE6超級(jí)計(jì)算機(jī)上，每個(gè)刀片需要配備2個(gè)Gemini芯片將4個(gè)雙插槽的皓龍計(jì)算節(jié)點(diǎn)和Gemini互聯(lián)進(jìn)行連接。但在 Aries超級(jí)計(jì)算機(jī)上，借助4個(gè)不同的Dragonfly topology，用戶(hù)只需要為刀片上的4個(gè)節(jié)點(diǎn)配備1個(gè)Aries芯片即可。也就是說(shuō)，對(duì)于Cray可以節(jié)省大量的成本。

剛才提到processor daughter cards，這些計(jì)算卡上擁有4個(gè)至強(qiáng)E5插槽(通過(guò)英特爾的C600芯片組成對(duì)互聯(lián))，每個(gè)插槽對(duì)應(yīng)有4個(gè)內(nèi)存通道。

超級(jí)計(jì)算機(jī)XC30組成結(jié)構(gòu)示意圖

從圖中我們也可以看出，每個(gè)Cascade刀片上有4個(gè)計(jì)算節(jié)點(diǎn)，1個(gè)機(jī)箱中有16個(gè)刀片。XC30系統(tǒng)擁有數(shù)百個(gè)這種機(jī)柜并使用了主動(dòng)光纖網(wǎng)絡(luò)，而且它們也通過(guò)Aries芯片與節(jié)點(diǎn)互相連接。頂配的XC30超級(jí)計(jì)算機(jī)系統(tǒng)擁有多達(dá)200個(gè)機(jī)柜——與Jaguar、Titan超級(jí)計(jì)算機(jī)擁有一樣的身材，但在每個(gè)機(jī)柜中擁有比后兩者多(2倍)的x86插槽。

另外， 這款超級(jí)計(jì)算機(jī)新增了對(duì)英特爾最新推出的至強(qiáng)融核協(xié)處理器的支持(也支持英偉達(dá)的Tesla K20協(xié)處理器)。用戶(hù)只需要將processor daughter cards的處理器拿掉并替換成新的加速器即可。CPU卡可通過(guò)PCI-E來(lái)連接加速器，CPU的另一側(cè)則通過(guò)PCI-E與Aries相連。

XC30超級(jí)計(jì)算機(jī)散熱系統(tǒng)圖解

這種設(shè)計(jì)采用了熱插拔的風(fēng)機(jī)(機(jī)柜的左側(cè))和垂直縱向的水冷機(jī)組(位于機(jī)柜內(nèi)的右側(cè))。冷風(fēng)從數(shù)據(jù)中心進(jìn)入到風(fēng)機(jī)，并橫向跨過(guò)刀片并對(duì)其進(jìn)行降溫散熱。機(jī)柜中的縱向冷水機(jī)組會(huì)對(duì)空氣進(jìn)行降溫并回流到數(shù)據(jù)中心，使得其能夠進(jìn)入到下一組風(fēng)機(jī)并對(duì)整排機(jī)器進(jìn)行散熱。

zhaohang