圖一：中國(guó)科學(xué)院高能物理研究所的研究員孫功星發(fā)表演講

圖二：高能物理需要大量的計(jì)算資源，并且會(huì)產(chǎn)生大量的數(shù)據(jù)。

孫功星表示，在高能物理領(lǐng)域的大數(shù)據(jù)處理過(guò)程主要包括三個(gè)方面：首先是Data Recording，Raw Event從探測(cè)器獲取，以二進(jìn)制格式記錄的探測(cè)器信號(hào)，再由計(jì)算機(jī)產(chǎn)生模擬實(shí)驗(yàn)的蒙特卡羅模擬數(shù)據(jù)，將物理信號(hào)數(shù)字化；然后是Data Processing，讀出Raw/MC Raw，處理產(chǎn)生相關(guān)物理信息，如動(dòng)量、對(duì)撞頂點(diǎn)等；最后就是Data Mining，由上千個(gè)屬性組成的DST Event文件，提供物理學(xué)家進(jìn)行分析，并最后產(chǎn)生物理結(jié)果。

圖三：高能物理的數(shù)據(jù)處理過(guò)程。

圖四：物理分析。

孫功星研究員表示，物理學(xué)家通過(guò)大數(shù)據(jù)處理三個(gè)過(guò)程，在里面找到有興趣的數(shù)據(jù)?，F(xiàn)在我們開(kāi)始嘗試采用Hadoop本地系統(tǒng)，采用Hadoop方案之后，對(duì)于網(wǎng)絡(luò)、磁盤(pán)陣列的需求減少很多。當(dāng)然在高能物理領(lǐng)域的Hadoop應(yīng)用跟互聯(lián)網(wǎng)有所不同，因此我們也有針對(duì)性，特別是在IO方面做了一些工作，以適用Hadoop架構(gòu)。通過(guò)Lustre和Hadoop架構(gòu)的對(duì)比，我們進(jìn)行分析測(cè)試后發(fā)現(xiàn)，在處理性能和文件重建等方面都有著大幅的性能提升。過(guò)去傳統(tǒng)的方式就是拿數(shù)據(jù)過(guò)來(lái)分析，扔掉不重要的數(shù)據(jù)，然后再拿數(shù)據(jù)進(jìn)行分析，再扔掉不重要的數(shù)據(jù)，過(guò)程比較繁瑣。通過(guò)Hadoop架構(gòu)，我們將TAG數(shù)據(jù)放入到Hbase中，TAG數(shù)據(jù)則是非常小的，利用Hadoop的確是能大幅提升性能。

圖五：在MapReduce下面運(yùn)行C++

圖六：測(cè)試對(duì)比結(jié)果。

圖七：將TAG數(shù)據(jù)放入Hbase。

圖八：測(cè)試性能結(jié)果。 

最后，孫功星研究員認(rèn)為高能物理領(lǐng)域是大數(shù)據(jù)、數(shù)據(jù)挖掘的技術(shù)，具有完善的數(shù)據(jù)挖掘軟件。未來(lái)LHC升級(jí)將會(huì)產(chǎn)生幾倍于現(xiàn)在的數(shù)據(jù)，給高能物理計(jì)算帶來(lái)更多挑戰(zhàn)，因此現(xiàn)在的趨勢(shì)就是探索新型的計(jì)算機(jī)體系結(jié)構(gòu)、高性能計(jì)算機(jī)結(jié)合的方案。

shaolong