此次標(biāo)案需求指令周期需要達(dá)到70TFLOPS以上，故由以上的模擬得知此次標(biāo)案需求88個(gè)運(yùn)算節(jié)點(diǎn)，在單臺(tái)0.95TFLOPS，若有88個(gè)運(yùn)算節(jié)點(diǎn)，指令周期可以達(dá)到72.732 TFLOPS (88*0.95*85%=71.06 TFLOPS)。華碩擁有詳細(xì)仿真信息，針對(duì)此次標(biāo)案進(jìn)行投標(biāo)，故2011年四月底的國(guó)網(wǎng)中心云端研發(fā)共享集群采購(gòu)案中，華碩憑借其穩(wěn)定的、環(huán)保的、高效性運(yùn)算解決方案在此案中脫穎而出。

系統(tǒng)建置完成后，接著進(jìn)行第三階段系統(tǒng)效能調(diào)教與驗(yàn)收，華碩工程師進(jìn)行系統(tǒng)架設(shè)與效能調(diào)校。效能調(diào)教過(guò)程中，需要測(cè)試四項(xiàng)效能，第一個(gè)是GPU+CPU效能測(cè)試，第二個(gè)是CPU效能測(cè)試，第三個(gè)是內(nèi)存帶寬測(cè)試，第四個(gè)是Infiniband傳輸速度測(cè)試。華碩工程師歷經(jīng)千辛萬(wàn)苦完成這幾項(xiàng)測(cè)試，其中也有遇到一些困難，像是硬件需求，例如CPU、GPU卡、主板、內(nèi)存、infiniband需全部一起到位，并且進(jìn)行單機(jī)測(cè)試，完成后再進(jìn)行整套系統(tǒng)的串聯(lián)起來(lái)的效能驗(yàn)證，過(guò)程中必須根據(jù)過(guò)去華碩的經(jīng)驗(yàn)與現(xiàn)場(chǎng)的系統(tǒng)情況做調(diào)整，這也是此次建置最主要面臨的挑戰(zhàn)，華碩工程師憑借著主動(dòng)積極的精神，突破難關(guān)完成測(cè)試。

國(guó)網(wǎng)中心GPU超級(jí)計(jì)算機(jī)之架構(gòu)

由此張架構(gòu)圖可以清楚了解到此次華碩計(jì)算機(jī)與國(guó)網(wǎng)中心共同建置全國(guó)最大規(guī)模云端運(yùn)算系統(tǒng)的架構(gòu)：八十八臺(tái)運(yùn)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)運(yùn)算，四臺(tái)控制節(jié)點(diǎn)下達(dá)指令與串聯(lián)所有節(jié)點(diǎn)，六臺(tái)儲(chǔ)存節(jié)點(diǎn)儲(chǔ)存運(yùn)算之?dāng)?shù)據(jù)與備援?dāng)?shù)據(jù)，Infiniband switch 共一百二十六的 ports串聯(lián)所有節(jié)點(diǎn)，速度高達(dá)40Gb/s，九個(gè)Gigabit Ethernet switch串連外網(wǎng)之節(jié)點(diǎn)，連接速度為1Gb/s。而這八十八臺(tái)運(yùn)算節(jié)點(diǎn)采用華碩超級(jí)計(jì)算機(jī)ESC4000，八十八臺(tái)運(yùn)算節(jié)點(diǎn)又分兩部分，其中四十八個(gè)運(yùn)算節(jié)點(diǎn)備配48G 內(nèi)存，另外四十個(gè)運(yùn)算節(jié)點(diǎn)，內(nèi)建96GB內(nèi)存。六個(gè)儲(chǔ)存節(jié)點(diǎn)總共具備50TB硬盤(pán)空間，其中運(yùn)算節(jié)點(diǎn)、控制節(jié)點(diǎn)與儲(chǔ)存節(jié)點(diǎn)之電源皆配備1+1備援電源供應(yīng)器，免除維修停機(jī)的風(fēng)險(xiǎn)，另一方面，電源皆為Gold Level以上等級(jí)，提供絕佳且有效率的電源管理。

近年來(lái)，隨著環(huán)保意識(shí)的加強(qiáng)，建置超級(jí)計(jì)算機(jī)時(shí)，除了要強(qiáng)調(diào)驚人的運(yùn)算能力外，節(jié)能省電也是另一項(xiàng)重要的課題，如何投資建置高能源效率且省電的超級(jí)計(jì)算機(jī)，一直是熱門(mén)話題，而如何使用最低的成本建置出超級(jí)計(jì)算機(jī)也無(wú)疑是業(yè)界所關(guān)注的。此次國(guó)網(wǎng)中心GPU方案也將節(jié)能省電做為重點(diǎn)，此系統(tǒng)使用強(qiáng)大的 CPU 和 GPU 高密度混合運(yùn)算，建構(gòu)成本僅須單獨(dú)采用CPU超級(jí)計(jì)算機(jī)的三分之一，且耗電量?jī)H須單獨(dú)采用CPU超級(jí)計(jì)算機(jī)的四分之三。另一方面，硬設(shè)備如此高端，且僅需要兩坪的空間但這臺(tái)超級(jí)計(jì)算機(jī)占地，體積精簡(jiǎn)且節(jié)省空間。

華碩ESC4000為世界首創(chuàng)支持雙 Intel® Xeon® 5600 系列處理器的2U服務(wù)器，具有8+1 PCI-E插槽的彈性擴(kuò)充能力，可支持四張Nvidia® Tesla™ GPU或八張Quadro®專業(yè)繪圖卡，八個(gè) PCI-E Gen2 x16 插槽設(shè)計(jì)最多支持四個(gè)雙層 GPU 運(yùn)算卡以提高專業(yè)的圖形運(yùn)算效能，F(xiàn)lex-E 技術(shù)可在一個(gè) PCI-E x16 及兩個(gè) PCI-E x8 連結(jié)之間自動(dòng)切換，且雙CPU與四GPU大幅提升運(yùn)算效能。ESC4000超級(jí)計(jì)算機(jī)支持 18 個(gè) DIMM 插槽及最高 48GB/144GB 高擴(kuò)充性內(nèi)存以因應(yīng)高運(yùn)算需求的應(yīng)用程序。DDR3 模塊提供更高的速度及更大的帶寬，以及更低的耗電量。另一方面，配合智能系統(tǒng)風(fēng)扇控制，內(nèi)有三個(gè)獨(dú)立的智能型系統(tǒng)風(fēng)扇，兩個(gè)用于 GPU 區(qū)域，一個(gè)用于一般主板散熱，此智能系統(tǒng)風(fēng)扇控制可依據(jù)系統(tǒng)負(fù)載自動(dòng)調(diào)整風(fēng)扇速度，使散熱與省電效果達(dá)到優(yōu)化，使ESC4000達(dá)到雙精度浮點(diǎn)運(yùn)算最佳耗電效率。該系統(tǒng)的高效率及優(yōu)異效能，將為科學(xué)運(yùn)算和高階研究帶來(lái)理想的解決與應(yīng)用方案。

存儲(chǔ)節(jié)點(diǎn)采用華碩獨(dú)特研發(fā)之4U存儲(chǔ)服務(wù)器節(jié)點(diǎn)，具有海量存儲(chǔ)空間，總共20顆熱插入3.5吋SAS/SATA硬盤(pán)；此存儲(chǔ)服務(wù)器支持 18 個(gè) DIMM 插槽及144GB高擴(kuò)充性內(nèi)存以因應(yīng)高運(yùn)算需求的應(yīng)用程序，且配備1+1 Gold Level以上等級(jí)備援電源供應(yīng)器，免除維修停機(jī)的風(fēng)險(xiǎn)，且提供絕佳且有效率的電源管理。而多處熱抽換設(shè)計(jì)，如備援電源供應(yīng)器及可抽換式硬盤(pán)及控制器模塊，不關(guān)機(jī)便可方便地進(jìn)行維護(hù)作業(yè)，保證系統(tǒng)運(yùn)作的連貫性；而透過(guò)華碩Storage 管理軟件的網(wǎng)頁(yè)式遠(yuǎn)程管理方式，使用者更可節(jié)省人力和物力，實(shí)現(xiàn)輕松管理。

國(guó)網(wǎng)中心未來(lái)應(yīng)用

此GPU超級(jí)計(jì)算機(jī)方案的實(shí)施，為未來(lái)規(guī)劃提供云端服務(wù)。國(guó)網(wǎng)中心并已經(jīng)啟用「算圖農(nóng)場(chǎng)」服務(wù)，協(xié)助學(xué)校、電影、動(dòng)畫(huà)等產(chǎn)業(yè)算圖使用，讓對(duì)于需求龐大運(yùn)算資源的算圖工作，輕松交付給此臺(tái)超級(jí)計(jì)算機(jī)系統(tǒng)處理，并且可以利用在其他產(chǎn)業(yè)上，協(xié)助更多文學(xué)創(chuàng)作內(nèi)容產(chǎn)業(yè)發(fā)展。

xuzhenxin