“采用MIC加速后，我們的集群僅單節(jié)點(diǎn)性能比原來(lái)提升了近5倍，這大大加速了我們?cè)谑�油勘探方面的工作效率。這種先從應(yīng)用特點(diǎn)入手分析，再規(guī)劃集群架構(gòu)的做法可以讓我們?cè)谧羁鞎r(shí)間內(nèi)找到最適合自身業(yè)務(wù)的系統(tǒng)構(gòu)建方案，是最具效率和性價(jià)比的方法。

——中國(guó)石化石油物探技術(shù)研究院負(fù)責(zé)人

近日，浪潮根據(jù)中國(guó)石化石油物探技術(shù)研究院的應(yīng)用特點(diǎn)為其設(shè)計(jì)構(gòu)建了CPU+MIC架構(gòu)的高性能計(jì)算集群，在沒有大量增加投資的前提下，大幅提高了中石化物探院石油勘探工作的效率。

性能和成本的天平能否實(shí)現(xiàn)?

中國(guó)石化石油物探技術(shù)研究院是中國(guó)石化油氣發(fā)展的重要參謀研發(fā)機(jī)構(gòu)和物探高新技術(shù)和核心技術(shù)研發(fā)中心，擁有國(guó)內(nèi)領(lǐng)先、國(guó)際先進(jìn)的大型高性能計(jì)算機(jī)系統(tǒng)，承擔(dān)了國(guó)家及中國(guó)石化石油地球物理勘探方面的基礎(chǔ)性、前瞻性和重大項(xiàng)目攻關(guān)與核心技術(shù)研發(fā)，自主知識(shí)產(chǎn)權(quán)物探專業(yè)軟件開發(fā)及產(chǎn)品推廣，新技術(shù)應(yīng)用試驗(yàn)，并提供全方位的物探技術(shù)支持與服務(wù)，為中國(guó)石化可持續(xù)發(fā)展提供資源保證。

目前，石油勘探作業(yè)以地震波法為主，簡(jiǎn)言之，就是收集反射波并將其轉(zhuǎn)變?yōu)殡娮有盘?hào)后存儲(chǔ)為數(shù)據(jù)，通過(guò)對(duì)這些數(shù)據(jù)的分析處理，就能找到存有石油或天然氣的巖層的精確位置。由于地震波法勘探收集的數(shù)據(jù)通常以TB計(jì)，近年來(lái)甚至向PB的規(guī)模發(fā)展，如此海量的數(shù)據(jù)及通信量對(duì)系統(tǒng)的存儲(chǔ)、計(jì)算和I/O通訊等方面都有極高的要求。因此，石油勘探離不開高性能計(jì)算，對(duì)高性能計(jì)算的要求也是諸多應(yīng)用領(lǐng)域中最高的。

中國(guó)石化石油物探技術(shù)研究院主要采用PSTM(疊前時(shí)間偏移)方法作石油勘探方面方面的信息處理。實(shí)際應(yīng)用中，PSTM占據(jù)了絕大多數(shù)的集群計(jì)算時(shí)間，而中國(guó)石化石油物探技術(shù)研究院的高性能集群采用純CPU的架構(gòu)，如果想實(shí)現(xiàn)較高的性能，只能使用更多的節(jié)點(diǎn)進(jìn)行堆疊，前期投資巨大。但是中國(guó)石化石油物探技術(shù)研究院希望在構(gòu)建新集群時(shí)能夠充分考慮加速比和性價(jià)比的平衡。

CPU+MIC架構(gòu)讓性能和成本平衡

在深入分析了中國(guó)石化石油物探技術(shù)研究院的實(shí)際情況后，浪潮制定了CPU+MIC的高性能計(jì)算集群方案，在不增加更多節(jié)點(diǎn)投資的前提下，大幅的提升了應(yīng)用效率。綜述浪潮提供方案的過(guò)程，可以清晰看出是從三個(gè)部分來(lái)實(shí)現(xiàn)了性能的飛躍，浪潮工程師將之成為“MIC集群設(shè)計(jì)三部曲”。

首先，分析PSTM(疊前時(shí)間偏移)應(yīng)用，決定其是否適合使用MIC加速技術(shù)，其次根據(jù)應(yīng)用特點(diǎn)規(guī)劃和配置系統(tǒng)MIC節(jié)點(diǎn)，最后還跟中國(guó)石化石油物探技術(shù)研究院和英特爾一起合作開發(fā)、優(yōu)化MIC應(yīng)用，讓應(yīng)用的效率更高。

MIC集群三部曲第一部：應(yīng)用特點(diǎn)決定MIC架構(gòu)

在應(yīng)用分析方面，浪潮首先對(duì)石油勘探領(lǐng)域的應(yīng)用特點(diǎn)及PSTM(疊前時(shí)間偏移)進(jìn)行了深入的算法分析，對(duì)算法并行度和并行方式的推理、論證和檢驗(yàn)。

在檢驗(yàn)過(guò)程中，發(fā)現(xiàn)PSTM非常適合細(xì)粒度并行性算法，并且其限量化程度比較高，適合限量化計(jì)算，可擴(kuò)展性高，十分適合做異構(gòu)加速。

一般來(lái)說(shuō)，異構(gòu)加速技術(shù)的瓶頸在于應(yīng)用程序開發(fā)，往往需要花費(fèi)開發(fā)人員大量的時(shí)間�？紤]到這些問(wèn)題，浪潮在該項(xiàng)目中引入了MIC架構(gòu)。MIC架構(gòu)能夠支持標(biāo)準(zhǔn)化、現(xiàn)有的編程工具和手段，大大方便了開發(fā)人員，并且在單個(gè)CPU芯片中融合了眾多核心，這些核心都能夠通過(guò)使用標(biāo)準(zhǔn)的C、C++和FROTRAN源代碼進(jìn)行編程。而為MIC編寫的這些源代碼同樣可以應(yīng)用和運(yùn)行在標(biāo)準(zhǔn)的至強(qiáng)處理器平臺(tái)之上。

MIC集群三部曲之第二部：MIC架構(gòu)集群設(shè)計(jì)

在掌握了應(yīng)用特點(diǎn)的基礎(chǔ)上，浪潮為中國(guó)石化石油物探技術(shù)研究院設(shè)計(jì)構(gòu)建了一套140CPU節(jié)點(diǎn)+28MIC節(jié)點(diǎn)的異構(gòu)節(jié)點(diǎn)系統(tǒng)，計(jì)算能力高達(dá)127萬(wàn)億次。

在計(jì)算節(jié)點(diǎn)方面，浪潮采用了NX5440服務(wù)器和倚天NF5288服務(wù)器。NX5440服務(wù)器是浪潮刀片服務(wù)器中的旗艦產(chǎn)品，是業(yè)界最高密度的刀片服務(wù)器，具備獨(dú)有的散熱體系結(jié)構(gòu)設(shè)計(jì)，可以大幅度降低使用功耗。而浪潮倚天NF5288服務(wù)器是企業(yè)級(jí)異構(gòu)應(yīng)用旗艦產(chǎn)品，最高可支持4塊MIC加速卡，并且支持4塊MIC加速卡在300W功耗下同時(shí)進(jìn)行，具備高密度和低功耗的特點(diǎn)。同時(shí)倚天NF5288服務(wù)器還支持9個(gè)PCIE 3.0插槽，具備良好的擴(kuò)展性。

另外，浪潮還為中國(guó)石化石油物探技術(shù)研究院配置了浪潮Cluster Engine高性能計(jì)算服務(wù)平臺(tái)。Cluster Engine由浪潮自主開發(fā)，集成了作業(yè)管理、監(jiān)控、報(bào)警、文件管理、記賬統(tǒng)計(jì)、物理視圖等模塊，通過(guò)這些功能模板間的協(xié)作，可以為用戶提供簡(jiǎn)單、便捷且能夠完整調(diào)度CPU+MIC異構(gòu)集群的完整集群平臺(tái)，降低了管理整個(gè)集群平臺(tái)的難度及成本。

MIC集群三部曲之第三部：開發(fā)MIC應(yīng)用優(yōu)化

除了應(yīng)用分析和設(shè)計(jì)構(gòu)建CPU+MIC架構(gòu)集群之外，浪潮還與中國(guó)石化石油物探技術(shù)研究院、英特爾三方聯(lián)合成立項(xiàng)目組，研究和開發(fā)針對(duì)MIC異構(gòu)架構(gòu)的PSTM應(yīng)用的開發(fā)和移植。

在開發(fā)過(guò)程中，三方形成了非常詳細(xì)的分工，中國(guó)石化石油物探技術(shù)研究院重點(diǎn)提供PSTM算法、數(shù)據(jù)劃分設(shè)計(jì)、數(shù)據(jù)測(cè)試等支持，浪潮實(shí)現(xiàn)從CPU到MIC的平臺(tái)的代碼遷移與優(yōu)化及PSTM MIC集群版本框架設(shè)計(jì)工作，英特爾給予MIC技術(shù)支撐與項(xiàng)目管理工作。

最終，三方在既定的時(shí)間內(nèi)合作完成單MIC節(jié)點(diǎn)，2CPU+2MICs協(xié)同計(jì)算PSTM MIC版本，經(jīng)過(guò)實(shí)際數(shù)據(jù)測(cè)試，MIC單節(jié)點(diǎn)版本性能是原單節(jié)點(diǎn)CPU并行版本性能的近5倍。

在上述的方案中，應(yīng)用分析、集群設(shè)計(jì)和應(yīng)用開發(fā)組成的三部曲實(shí)現(xiàn)了成本和性能之間的平衡。浪潮集團(tuán)高性能計(jì)算總經(jīng)理劉軍介紹：“構(gòu)建MIC架構(gòu)集群的關(guān)鍵是將應(yīng)用優(yōu)化和系統(tǒng)構(gòu)建結(jié)合起來(lái)。浪潮不僅為用戶構(gòu)建MIC架構(gòu)的集群，更重要的是我們還為客戶開發(fā)和優(yōu)化專門針對(duì)MIC架構(gòu)的應(yīng)用，省去用戶面對(duì)新系統(tǒng)架構(gòu)時(shí)的后顧之憂。”