現在,我們的“IT號外”將進入對用戶更具現實指導意義的篇章,本文就將探討HPC用戶在服務器硬件選型中需要重點關注的方面,并對基于至強5500的相關產品進行一番介紹和點評。
眾所周知,選購HPC系統(tǒng)產品,絕不可能像購買一臺PC,或是一臺普通的服務器那樣輕松,鑒于HPC系統(tǒng)高昂的投資,HPC用戶在選購其硬件平臺時,通常都會先對待選產品進行認真且詳細的測試與評估,并以此為基礎做出決策。對此,我們建議用戶在這一環(huán)節(jié)中要盡量確定適于目標應用,也就是自己真實應用軟件的測試指標和方法,在評估中則要從CPU、內存帶寬及其最佳配置、內存和QPI的參數配合選擇、存儲子系統(tǒng)及節(jié)點間互聯等對HPC系統(tǒng)性能至關重要的幾個方面來考慮,以下就是我們與之相關的六頂主要建議,謹供大家參考:
1.HPC選型測試不要只看Linpack值
在確定HPC待購產品的測試指標和方法時,用戶一定要切記不要太看重Linpack值。雖然HPC的全球TOP500排行榜和中國TOP100排行榜都是以它為標準對HPC系統(tǒng)進行排名,但這并不意味著它可作為具體用戶評估和測試HPC系統(tǒng)的惟一標準。由于Linpack只是一個出好的壓力測試軟件,可通過簡單的求解線性方程組,能夠給出足夠的壓力,來測試高性能計算機系統(tǒng)的浮點性能和擴展性,還可用來對機器進行“體檢”——烤機、查錯,并在測試和優(yōu)化Linpack過程中也會發(fā)現一些系統(tǒng)Bug。但它卻無法反映出HPC系統(tǒng)的實際應用性能。
例如,3.2GHz的至強5482和新一代的2.93GHz至強5570,由于后者的時鐘頻率略低,因此在Linpack測試中并不占優(yōu),但對于石油油藏模擬、氣象等對內存較敏感的應用來說,由于至強5570采用了QPI和集成內存控制器,能提供更大的內存容量和內存帶寬,總體應用性能卻有2-3倍的提升,而這是Linapck測試所無法體現的,因此用戶如只憑Linpack來選型,就難免會誤入歧途。
從更加科學的角度來說,用戶在對HPC系統(tǒng)進行選型測試時,應使用貼近自身實際應用特征的工具和方法,從內存帶寬占用、內存使用量、CPU利用率、存儲I/O、網絡帶寬等多個指標進行應用特征分析。
2.從應用出發(fā)實現系統(tǒng)最優(yōu)化均衡配置
目前的HPC應用,一般最倚重的指標有三,即CPU浮點計算能力、內存帶寬及容量和I/O的帶寬,一般來說,它們都會在兼顧三者的同時偏重其中某一項,例如石油行業(yè)HPC系統(tǒng)上運行的地震資料處理軟件是浮點計算密集型應用,而油藏模擬類應用軟件則對內存帶寬要求較高,因此如能選到一個在這三方面均有出色表現的平臺,那就是最為理想的結果了。
在選擇了一個均衡平臺的基礎上,用戶還要在采購HPC系統(tǒng)前再對自己的主要應用軟件的特性進行一些分析,看看自己的應用對硬件平臺那一項性能或能力最為偏重,最好是確定一個適合于自己應用的測試指標,借試用廠商新服務器產品的機會測試一下,以求的配置上進行精準的調整,達到最合理或優(yōu)化的效果。
比如,我們將HPC選型按應用分成四個類型:一類是只跑一種應用,如氣象領域的HPC系統(tǒng),這時最關鍵的就是要對應用進行專門調優(yōu),選擇最匹配的機器;第二種是運行某一類型的應用,英特爾就曾對12種生命科學軟件的應用特征進行了分析,找出其共同的特點和性能瓶頸,然后給出了對應的系統(tǒng)配置,以幫助OEM廠商和用戶在進行系統(tǒng)設計和選型時有更加科學的參考;第三種則是運行幾類不同的應用,如由多個院系共享的校級計算中心,這時同樣需要對多種應用軟件的應用特征進行分析,找到盡可能適合這幾種應用的系統(tǒng)配置;第四種是完全對外提供服務的公共計算中心,要求什么應用都可以運行,這需要進行綜合的性能測試,以找到一個平衡的通用系統(tǒng)。
3.盡量實現單節(jié)點性能最大化
具體到HPC系統(tǒng)應該選擇什么樣的CPU方面,我們建議用戶可根據所要達到的峰值計算能力選擇相應檔次的CPU,通常主流HPC應用在至強5500系列里可選5520、5550和5570等幾個型號,但需要注意的是CPU在運行實際應用時,其能否發(fā)揮峰值計算能力還要考慮內存帶寬的限制。
在此基礎上,我們還是建議大家要盡量實現單節(jié)點性能最大化,這意味著我們應該根據需求,盡量選擇較為高端的至強5500處理器,表面上這確實是會增加一些硬件采購成本,但是它們可以讓單個節(jié)點的計算性能更強,從而可以減少節(jié)點的總數量,大大節(jié)省在節(jié)點間互聯、軟件授權、系統(tǒng)運維上的成本,還能夠讓系統(tǒng)的計算效率更高。英特爾將于明年推出的Nehalem-EX多路處理器就將讓四路、八路以上的“胖節(jié)點”構建起來更加容易,用戶屆時可以根據應用來實現“胖節(jié)點”、“瘦節(jié)點”的混合搭配。
要實現單節(jié)點性能的最大化,在選擇內存系統(tǒng)時,同時需要注意這樣一些指標和關系:如內存和QPI之間的配合,每通道的內存插座數量。比如,1333MHz的內存,需要QPI帶寬達到6.4T/s為最佳配置,而1066MHz則可和5.87T/s的QPI配置配合;每個內存通道的DIMM越少越好,已避免資源競爭和峰值內存帶寬限制。
4.互聯選擇,要在端口數量和價格之間平衡
千兆以太網、Infiniband都是目前HPC系統(tǒng)內部主要的互聯網絡標準。隨著Infiniband的普及,主流HPC集群的節(jié)點間互聯基本都采用DDR 2x 或QDR 4x 的Infiniband交換機和接口。由于Infiniband交換機的配置和價格隨支持端口數的增加有較大變化,所以用戶可以通過設計合理的網絡拓撲來減少投資,同時可通過采用較高主頻的CPU來增加單節(jié)點性能,減少集群總節(jié)點數量。
5.考慮用固態(tài)硬盤突破存儲I/O瓶頸
從全球和部分國內HPC用戶的反饋來看,無論是對HPC領域還是一般數據中心用戶來說,使用SSD(固態(tài)硬盤)和SSD陣列的服務器設計來突破存儲I/O瓶頸都已成為一種趨勢。在這方面,較為流行的做法是可以使用SSD作為本地快速、臨時的存儲池,加速對本地盤的臨時快速讀寫。
6.待選系統(tǒng)是否能夠滿足限定的供電和散熱條件
雖然HPC用戶和潛在的用戶對于系統(tǒng)的總功耗還不是特別敏感,但其技術人員還是要保證待選產品的功耗和散熱能夠滿足既有條件的限制,尤其是那些升級HPC系統(tǒng)時可能要延用原有機房的用戶。而對于那些新建HPC系統(tǒng),同時也將為該系統(tǒng)新建其周邊基礎設施的用戶來說,他們就應該在設定系統(tǒng)性能目標的同時也確定其功耗和散熱的目標值,并以此為基準設計和配置其機房、供電和散熱設備。當然,這個目標值是必須要兼顧到未來系統(tǒng)升級的需求,擁有一定彈性的。
以上這六條建議,只是我們對HPC系統(tǒng)采購過程中一些關鍵環(huán)節(jié)的淺見,事實上,用戶考慮的方面還遠遠不限于此。我們想強調的,就是用戶不論做出什么樣的決策,其基礎都應該是從實際應用和實際需求出發(fā)。接下來,我們想再介紹六款基于英特爾至強5500處理器的、適用于HPC系統(tǒng)的服務器精品,希望能為用戶在具體產品的選擇上提供一些幫助。
1、IBM HS22刀片,領軍網游行業(yè)HPC應用
提到IBM的高性能計算產品,就不得不提到HS22這款刀片服務器。在今年最新的中國TOP100排行榜上,前十名中有六臺機器清一色使用的都是這款刀片服務器。他們也都是網絡游戲運營商,因為網絡游戲對高性能計算的需求而組建了超級計算機——不約而同選用IBM HS22的原因又是什么呢?
簡單來說,HS22與上一代刀片HS21比較起來,其處理器更新換代為最新的至強5500系列,計算性能相對HS21有2倍以上的提升(得益于至強5500的QPI總線和集成的內存控制器)。另一方面,我們認為HS22刀片擁有多達4組10Gb以太網和總共8個I/O端口才是其優(yōu)勢所在。其8個萬兆交換所帶來的負載均衡極大的滿足了高性能計算的延遲問題。這也是眾多網絡游戲公司選擇它的原因之一。此外,HS22還憑借至強5500出色的功耗控制,在效能比上優(yōu)勢明顯,對運營成本很敏感的網游公司自然也會考慮這個因素。
2、輕巧而強大,戴爾R410專為HPC而生
戴爾的產品一直以來都有其獨到之處,其R410就憑借至強5500處理器的超強性能和戴爾本身對系統(tǒng)帶寬的良好把控——DDR3內存的采用及可選的多種網絡接入方式,使得其性能相比上一代產品提升了80%。另一方面,預裝的戴爾管理控制臺(DMC)和戴爾生命周期管理器則可幫助管理者簡化原先繁瑣的管理流程。
戴爾方面表示,客戶在構建HPC基礎架構時的需求除了性能外,主要集中在以下幾個方面:簡易性、成本和可擴展性。戴爾將最簡單的1U機架服務器做成HPC節(jié)點,一方面就是從管理和維護的簡易性去考慮,另一方面是從成本來考慮的——相比刀片要便宜很多。而相比刀片服務器的高密度環(huán)境來說,R410擁有者更靈活的擴展空間,單位功耗上也要比刀片低得多。
3、惠普DL360 G6,強調容錯與冗余備份
如果說至強5500是為HPC而生,那么惠普的HP DL360 G6就是為至強5500而設計的一款集高密度計算、基本容錯和HP Insight Control于一體的1U機架服務器?;萜沼?8根內存插槽配合雙路至強5500處理器,最多可以打造一個144GB寄存式內存的強大計算環(huán)境。網絡方面惠普采用了帶TCP/IP卸載引擎的雙端口多功能千兆網卡,與其智能陣列配合,使得DL360 G6在硬盤I/O和網絡I/O上都不會出現瓶頸。
在做科學計算或復雜的工程運算時,用戶通常都難以承受系統(tǒng)在運算過程中出錯——那意味著前功盡棄。HP DL360 G6以冗余風扇+冗余電源的雙冗余備份設計以及智能陣列RAID控制器的便攜式電池允許將高速緩存寫入另一臺服務器中做冗余備份,大大降低了在高性能計算中因為一個節(jié)點宕機造成的損失。
4、五大優(yōu)勢,曙光I610r-G可擔大任
曙光I610r-G相比上一代產品主要在處理器、芯片組和內存方面有所升級,因而上市之初就被認為是未來云計算、高性能計算的節(jié)點組成部分。其五大優(yōu)勢主要是:“高性能”、“高可靠性”、“高可擴展性”、“高可管理性”以及“高性價比”。
高性能自然毋庸置疑,雙路至強5500保證了1U機架內的出色計算密度,而12根內存槽也保證了最大96GB的海量內存配置。高可靠性方面,I610r-G主要擁有BIOS保護恢復、網卡自動切換、電源自檢報警等功能,使得系統(tǒng)從底層BIOS到上層網絡任何一方面出現問題,都可以及時轉移工作負載,不會影響使用。擴展性和管理性方面,I610r-G可以擴展1個半高的PCI-E x16的擴展卡和一個全高的PCI-E x8的擴展卡,并且由于集成了曙光智能硬件監(jiān)控系統(tǒng),其內部電流、風扇轉速等都可以得到監(jiān)控和調整,方便了管理員在高性能計算集群中對某一節(jié)點的單獨調整。
5、挖掘聯想深騰7000背后的節(jié)點信息
今年國內的TOP100排行榜上,聯想深騰7000系統(tǒng)以145.2萬億次的計算速度排名第三。但是由于聯想的策略和深騰7000在中科院超算中心的應用較機密。我們并不能在聯想官方網站上看到有關深騰7000節(jié)點的有關信息。不過我們知道,深騰7000的主要計算節(jié)點是深騰B714R刀片服務器,7U高度的刀片機箱內部可以插14片雙路計算刀片,也就是一個42U的標準機柜內,最多可以裝84個計算刀片,配備接近672個計算核心。
據聯想展示的資料表示,深騰B714R刀片服務器完全可以支持雙路至強5500處理器,盡管深騰7000超級計算機中的節(jié)點采用了至強5400處理器——當時還未推出至強5500。除了對最新處理器的支持外,深騰B714R還擁有轉換效率達93%的高效電源,且所有模塊全部支持熱插拔,關鍵部件,如網絡模塊、電源模塊也配備了冗余。
6、浪潮天梭TS30000 ,實力勝于一切
浪潮的天梭TS30000一經推出就先后 6次打破SPECjAppServer應用性能測試、SPECpower節(jié)能測試、TPC-E數據庫性能測試等全球權威測試紀錄。這也是在早先使用至強5400處理器時的情況,現在的TS30000已經可以支持最新的至強5500處理器,其高速QPI互聯完全消除了北橋和處理器之間的帶寬瓶頸,浪潮認為其系統(tǒng)帶寬至少提高了50%以上。
值得一提的是,TS30000去年還通過了OVM測試,其整個測試是對包含數據庫、操作系統(tǒng)、服務器、存儲產品在內的綜合平臺進行測試,強調了系統(tǒng)性、嚴酷性和高仿真性,而浪潮TS30000劃分了8個虛擬機順利通過了這些測試,等同于是經受住了8次Oracle VC的測試考驗。
以上6款HPC精品,均可發(fā)揮英特爾至強5500的強大性能、智能計算功能和出色的能效,同時,得益于開放的架構,這款處理器也能為其他眾多品牌及型號的HPC系統(tǒng)注入充沛的活力,我們相信,這些產品將為HPC用戶及潛在用戶帶來充裕的選擇空間,用戶也完全可以根據自己的需求,在它們之中挑選到最合適自己的產品。
在下一篇“IT號外之HPC應用指南”中,我們就將告別選購環(huán)節(jié),切入到應用階段,為用戶如何用好基于至強5500平臺的HPC系統(tǒng),充分挖掘它們的潛力獻計獻策,這篇文章將于12月29日發(fā)布,敬請留意。