Jan van Eldik 在Huawei Connect 2017上發(fā)言

海量數(shù)據(jù)的源頭

CERN擁有大型強(qiáng)子對撞機(jī)LHC——世界上最大的粒子加速器。LHC是一個全長27公里的環(huán)(如下圖)，位于瑞士日內(nèi)瓦近郊，貫穿瑞法邊境。LHC把環(huán)超導(dǎo)磁體安裝在地下100米，創(chuàng)造出比地球磁場強(qiáng)10萬倍以上的磁場，在抽成真空的磁體管道里，粒子被加速到接近光速的水平，在4個大型實(shí)驗(yàn)的粒子探測器里進(jìn)行碰撞：ATLAS, CMS, ALICE, LHCb。

在大型強(qiáng)子對撞機(jī)實(shí)驗(yàn)的探測器中，每秒可進(jìn)行多達(dá)10億次的粒子對撞，我們不可能讀出所有這些事件，因此“Trigger(觸發(fā))”系統(tǒng)用于層層過濾數(shù)據(jù)，并選擇那些對進(jìn)一步分析有潛在價值的事件。

這些操作產(chǎn)生的數(shù)據(jù)隨后通過全球LHC計算網(wǎng)格(WLCG，World LHC Computing Grid)的系統(tǒng)從CERN數(shù)據(jù)中心分發(fā)到42個國家的170個計算中心。在撰寫本文時，CERN數(shù)據(jù)中心已經(jīng)在磁帶上存儲了超過200 PB的數(shù)據(jù)，預(yù)計每月增加PB級的新數(shù)據(jù)。

LHC與其試驗(yàn)場景

為什么選擇公有云

自2013年以來，CERN部署了一個基于OpenStack的私有云，用于管理位于瑞士梅蘭(Meyrin)的主數(shù)據(jù)中心資源，以及位于匈牙利布達(dá)佩斯的遠(yuǎn)程擴(kuò)展數(shù)據(jù)中心。今天，這朵私有云包括大約10,000臺雙CPU服務(wù)器，約300,000個處理器內(nèi)核，服務(wù)于約3600個項目，包括高密度計算，物理數(shù)據(jù)分析和虛擬服務(wù)配置。

計劃升級LHC及在CERN進(jìn)行的更多實(shí)驗(yàn)，意味著對計算和存儲的需求將大大增加。例如，當(dāng)LHC的后繼者，高亮度LHC在2026年上線的時候，ATLAS和CMS的實(shí)驗(yàn)期望收集和重建的碰撞事件比現(xiàn)在多5到10倍。使用當(dāng)前的軟件，硬件和分析技術(shù)，所需的計算能力預(yù)計比現(xiàn)在高出大約50-100倍。到那時，數(shù)據(jù)存儲需求預(yù)計將達(dá)到EB級(1EB=109G)。

簡單地按ICT新增資源量來等比增加預(yù)算，以縮小“資源缺口”是不現(xiàn)實(shí)的。為確保資源利用的最大效率，探索新技術(shù)和方法至關(guān)重要，目前正在研究的一種方法是采用混合模式，在內(nèi)部資源不夠的情況下，CERN可以使用商用的云服務(wù)資源來動態(tài)擴(kuò)展其內(nèi)部資源。

攜手Open Telecom Cloud 來應(yīng)對未來挑戰(zhàn)

目前CERN正在通過Helix Nebula(“螺旋星云”)項目來進(jìn)行公有云試點(diǎn)。今年早些時候，三家公司通過公開競標(biāo)被選中進(jìn)入了“原型階段”。

其中一家就是基于OTC(Open Telekom Cloud)提供解決方案。OTC是由德國電信和華為共同構(gòu)建的公共云平臺，華為提供基于OpenStack的架構(gòu)并支持相關(guān)的解決方案。在“原型開發(fā)”階段，OTC已經(jīng)在科學(xué)計算領(lǐng)域向CERN交付了HPC公共云解決方案，部署了數(shù)千個HPC節(jié)點(diǎn)，并分析了高能粒子碰撞的結(jié)果。

“OTC最大的優(yōu)點(diǎn)是基于OpenStack，架構(gòu)與CERN現(xiàn)有的私有云相同，這意味著它可以靈活動態(tài)地擴(kuò)展CERN的內(nèi)部資源?！盓ldik說。

CERN與華為都是OpenStack開源項目的貢獻(xiàn)者，同時，華為還是OpenStack基金會的鉑金會員，未來CERN與華為將在OpenStack領(lǐng)域進(jìn)行更多的深度技術(shù)合作

“通過CERN openlab項目，我們已經(jīng)開始共同努力改進(jìn)OpenStack，尤其是在大規(guī)模運(yùn)行OpenStack的時候……這將允許OpenStack社區(qū)的每個人都從這些社區(qū)的努力中受益，我對這些特別的項目非常興奮，我期待在未來幾年看到它們在CERN的云中開花結(jié)果，“Eldik先生補(bǔ)充說。

sunk