刀片當?shù)?揭秘國內(nèi)知名大學計算中心(圖)
ZDnet 發(fā)表于：11年06月16日 10:00 [轉(zhuǎn)載] 至頂網(wǎng)
南京大學高性能計算中心架構揭秘
確定了選擇刀片服務器之后，通過招標南京大學選擇了IBM BladeCenter HS22刀片服務器作為高性能計算系統(tǒng)的計算節(jié)點。整個系統(tǒng)由10個登陸節(jié)點，4個管理節(jié)點，54TB高速并行存儲、128TB SAN架構存儲以及4x Infiniband全線速網(wǎng)絡、千兆作業(yè)調(diào)度管理網(wǎng)絡等構成。
南京大學高性能計算中心系統(tǒng)架構圖
據(jù)周老師介紹，全套系統(tǒng)由402片HS22刀片服務器構成，每節(jié)點12GB內(nèi)存，2顆英特爾至 強5500系列處理器（主頻2.66GHz，8MB Cache），20Gb Infiniband HCA卡。其中有10片HS22刀片服務器用作登陸節(jié)點，每節(jié)點24GB內(nèi)存，4Gb光纖卡，20Gb Infiniband以及千兆網(wǎng)卡。另有30臺刀片機箱與上述計算節(jié)點配套，擁有16口Infiniband交換模塊、六口千兆交換機和兩個百兆管理網(wǎng) 口。
存儲和管理方面，南大高性能計算中心選擇了20臺IBM x3650做存儲節(jié)點，每節(jié)點配置32GB內(nèi)存，20Gb Inifiniband卡，6塊450GB 15000轉(zhuǎn)SAS盤，共54TB組成并行存儲系統(tǒng)，連續(xù)讀寫I/O大于每秒6GB。另有一臺IBM DS3000 SAN架構官仙共享存儲系統(tǒng)共128TB容量容量，配備16GB Cache，兩個8口光纖卡，連續(xù)讀寫帶寬大于每秒2GB。此外，還有一臺x3550用作集群管理監(jiān)控節(jié)點，3臺x3650用作管理和作業(yè)調(diào)度節(jié)點。
網(wǎng)絡交換方面，周老師介紹說他們采用了兩臺288口20Gb 4x Infiniband交換機（當時還沒有成熟的40Gb Infiniband交換設別），組成全線速無阻塞并行計算網(wǎng)絡。此外還有四臺4口萬兆上行48口BNT的交換機用作作業(yè)調(diào)度和管理。
▲南京大學高性能計算系統(tǒng)邏輯架構圖
對于刀片服務器的散熱和供電是重中之重，南大高性能計算中心采用了4臺90千瓦制冷量的艾默生LibertPex機房精密空調(diào)，120千瓦UPS擁 有96節(jié)湯式100AH電池，可在斷電的情況下維持數(shù)據(jù)中心1小時時間，足夠工作負載暫停和系統(tǒng)正常關閉。此外，南京大學高性能中心還配備了三個配電柜， 提供500KVA機房電力增容，一套七氟丙烷氣體消防滅火系統(tǒng)為機房提供消防保障。
