王雪楊 發(fā)表于:13年12月02日 13:17 [綜述] DOIT.com.cn
向上,大數(shù)據(jù)正在成為智慧城市落地的支點;向下,大數(shù)據(jù)匯聚的各項創(chuàng)新應用已經(jīng)創(chuàng)造出巨大的商業(yè)價值、經(jīng)濟價值和社會價值。作為高性能計算領導者和云計算領先企業(yè),中國行業(yè)大數(shù)據(jù)的先行者和解決方案提供商,2013年的曙光公司,在“平臺一體,智匯應用”的行業(yè)大數(shù)據(jù)戰(zhàn)略指引下,通過XData大數(shù)據(jù)一體機、XData-Hadoop大數(shù)據(jù)處理軟件等自主可控的創(chuàng)新產(chǎn)品,從數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)應用等方面構建了完整的大數(shù)據(jù)生態(tài)環(huán)境,攜手政府、金融、電信、軍工、教育開拓實踐,在大數(shù)據(jù)“元年”共享碩果。
某公安部門輿情分析系統(tǒng):海量存儲,實現(xiàn)數(shù)據(jù)分析智能化
圖1:曙光XData大數(shù)據(jù)處理平臺
信息社會的不斷進步讓政府部門越來越依賴數(shù)據(jù)的分析進行決策,而在大數(shù)據(jù)“試水”中的國家某安全部門,通過曙光大數(shù)據(jù)解決方案構建的輿情分析系統(tǒng),采用社會化行為分析技術實現(xiàn)了大規(guī)模群體信息的統(tǒng)計分析、趨勢研判。通過XData對海量文本、圖片、視音頻等數(shù)字化內(nèi)容進行集中存儲和智能檢索,實現(xiàn)公安業(yè)務信息數(shù)據(jù)的深層次挖掘。另外,利用大數(shù)據(jù)技術的碰撞比對、頻率分析、語義分析、多維融合、深度挖掘等創(chuàng)新特性,改變了傳統(tǒng)情報分析中的邏輯推理、綜合統(tǒng)計、比較聯(lián)系、特征解釋等相對落后的技術手段,實現(xiàn)了各要素之間的深度關聯(lián)和智能判斷。
某大型信息安全中心監(jiān)控系統(tǒng):快速分析,第一時間預警
圖2:某大型信息安全監(jiān)控系統(tǒng)
該中心的信息安全監(jiān)控系統(tǒng)當前運行規(guī)模超過600TB,每天負責收集分析數(shù)十億條短信息。這在當前人口大流動,跨省市、跨地區(qū)之間的流竄犯罪活躍,恐怖組織活動增多的情況下,發(fā)揮了大數(shù)據(jù)數(shù)據(jù)分析的速度優(yōu)勢,第一時間預警,成為了提升破案效率和維護國家安全穩(wěn)定的關鍵支點。
中國某銀行大數(shù)據(jù)平臺:實現(xiàn)PB級跨越,歷史數(shù)據(jù)再獲新生
圖3:某銀行的大數(shù)據(jù)處理平臺
之前,該銀行運營多年累積下的數(shù)據(jù)量早已經(jīng)過PB,但規(guī)劃的存儲量則是500TB,在傳統(tǒng)架構下只能直接將數(shù)據(jù)備份到磁帶庫,數(shù)據(jù)的價值無法體現(xiàn)。但若采用傳統(tǒng)的數(shù)據(jù)倉庫技術讓然無法快速、智能的處理這些數(shù)據(jù),并且其投入成本也超出了預算。為此,基于XData-Hadoop構建的大數(shù)據(jù)處理平臺,曙光為該行提供了海量記錄快速查詢能力,完成了歷史數(shù)據(jù)查詢系統(tǒng)的應用落地。在利用XData替代了傳統(tǒng)數(shù)據(jù)倉庫架構之后,成功實現(xiàn)了歷史數(shù)據(jù)從TB向PB級的跨越式發(fā)展,而其海量數(shù)據(jù)分析能力更支撐了該銀行反洗錢系統(tǒng)的成功應用。
中國銀聯(lián)離線數(shù)據(jù)分析系統(tǒng):數(shù)據(jù)保存時限提升一倍,大數(shù)據(jù)發(fā)揮“毫秒級”查詢
圖4:基于曙光XData大數(shù)據(jù)一體機的離線數(shù)據(jù)分析系統(tǒng)
銀聯(lián)之前的關系型數(shù)據(jù)庫存儲能力非常有限,只能保存三個月的數(shù)據(jù),造成大量歷史數(shù)據(jù)堆積且管理困難。面對刷卡交易量激增,商戶評分,持卡用戶興趣分析等新業(yè)務需求,銀聯(lián)構建了50臺雙路x86服務器規(guī)模的XData大數(shù)據(jù)一體機。利用支持海量數(shù)據(jù)訪問的Hbase和分布式文件系統(tǒng)(HDFS)打造了高并發(fā)、高可靠的網(wǎng)絡傳輸和存儲層,并將數(shù)據(jù)保存時限提升了一倍。另外,該系統(tǒng)還支撐了350TB原始刷卡信息存儲容量、實現(xiàn)了50萬每秒的記錄穩(wěn)定導入速度,以及隨機單條記錄“毫秒級”返回,萬級別查詢5秒內(nèi)返回的驚人速度。
河南移動經(jīng)分與流量運營系統(tǒng):改善用戶體驗,實現(xiàn)精準營銷
圖5:基于曙光大數(shù)據(jù)技術的流量運營分析平臺
在以OLTP為核心的傳統(tǒng)架構中,河南移動在創(chuàng)新業(yè)務推進過程中的技術難題不斷出現(xiàn):系統(tǒng)分散建設,難以實現(xiàn)資源和應用共享;數(shù)據(jù)分散存儲,標準化程度低;大部分業(yè)務只對內(nèi)提供服務,未能有效地進行規(guī)模化商業(yè)利用。為此,河南移動與曙光公司合作進行的經(jīng)分系統(tǒng)和流量經(jīng)營分析工程,采用基于IB網(wǎng)的XData-Hadoop分布式計算平臺的方案。該系統(tǒng)實現(xiàn)了Ethernet、Fibre channel、Infiniband 三網(wǎng)融合,最大可能的滿足Xdata-Hadoop 集群和數(shù)據(jù)庫處理平臺的高速通訊需要。
大數(shù)據(jù)讓河南移動可以根據(jù)競爭情況和客戶需求,加快實現(xiàn)流量的實時計費和提醒,優(yōu)化了數(shù)據(jù)流量資費體系,降低了套餐內(nèi)外的資費水平差距。而精細化營銷能力的全面提升,不斷提高了客戶的滿意度和大幅度降低流量投訴,還為整個移動集團的戰(zhàn)略目標落地提供了支撐力。
軍工某所熱點信息監(jiān)控系統(tǒng):“三位一體”,構建大數(shù)據(jù)生態(tài)環(huán)
該系統(tǒng)負責數(shù)十萬個熱點的同時監(jiān)控,借助曙光云平臺和大數(shù)據(jù)產(chǎn)品形成了數(shù)據(jù)分析、數(shù)據(jù)存儲、數(shù)據(jù)檢索“三位一體”的大數(shù)據(jù)生態(tài)環(huán),并利用XData-Hadoop索引器將Heritrix爬蟲器、Solr/Lucence查詢器對關鍵信息進行聚集,實現(xiàn)了安全、個性、高效、智能的查詢功能。
同濟大學大數(shù)據(jù)柔性處理平臺:教育資源整合,XData-Hadoop構建彈性數(shù)據(jù)管理
該平臺涵蓋三個服務分區(qū)和一個共享存儲中心,即網(wǎng)絡信息服務、交通信息分析、醫(yī)療數(shù)據(jù)分析和存儲中心。同濟大學以數(shù)據(jù)為中心,利用XData-Hadoop 分析集群和集中存儲系統(tǒng)來搭建,消除了資源孤島,各點按照業(yè)務強度均衡互聯(lián),同時其可伸縮性能夠隨著數(shù)據(jù)膨脹而隨需擴展,達到真正柔性計算平臺的標準。另外,由于實現(xiàn)了數(shù)據(jù)網(wǎng)和業(yè)務網(wǎng)的分離,進而達到了數(shù)據(jù)通信和業(yè)務通信運行時互不影響的建設目標。
行業(yè)應用日漸成熟 智慧之城觸手可及
隨著中國的行業(yè)用戶信息化水平不斷攀升,人們面對著大量的沉積數(shù)據(jù),繼續(xù)尋找一條挖掘數(shù)據(jù)價值的捷徑,而曙光的行業(yè)大數(shù)據(jù)戰(zhàn)略則抓住了這個切口,為以上這些用戶的大數(shù)據(jù)價值挖掘提供了產(chǎn)品和需求的接口。其次,在“棱鏡門”陰霾籠罩的2013年,政府、金融等重要民生領域更將采購方向調整到了自主可控的創(chuàng)新產(chǎn)品上,而曙光大數(shù)據(jù)解決方案憑借對客戶需求的深度剖析,和專業(yè)、便捷、安全、高效的品牌表現(xiàn),贏得了眾多客戶的認可和信賴。
在大數(shù)據(jù)時代,行業(yè)大數(shù)據(jù)應用已然構建出一張四通八達的智慧網(wǎng)絡,并賦予城市建設和管理者擁有大規(guī)模數(shù)據(jù)存儲、活性以及解釋、運用數(shù)據(jù)的能力。那么,中國的大數(shù)據(jù)不僅需要繼續(xù)支撐智慧的民生,更有責任成為城市的守護者。而曙光的大數(shù)據(jù)不但幫助用戶完成了信息系統(tǒng)架構的演變,更以行業(yè)大數(shù)據(jù)的應用效果作為支撐點,在“智能終端——云——大數(shù)據(jù)”的新應用格局下,讓智慧之城觸手可及。