充分整合現(xiàn)有資源 真正實現(xiàn)柔性建設標準
針對以上需求,曙光公司與負責承建工作的同濟大學電信學院緊密合作,對現(xiàn)有資產和網(wǎng)絡狀況進行了多次研究分析。最終,同濟大學使用了基于曙光公司為其構建的柔性處理平臺。平臺采用了分區(qū)方式,其應用將涵蓋三個服務分區(qū)和一個共享存儲中心,即網(wǎng)絡信息服務、交通信息分析、醫(yī)療數(shù)據(jù)分析和存儲中心。
【同濟大學大數(shù)據(jù)柔性處理平臺】
本方案基于分區(qū)方式構建,全面整合了云計算平臺和同濟大學現(xiàn)有資產(IBM、Dell和HP服務器),其它分析節(jié)點和服務節(jié)點均采用曙光高效能服務器。其中集中存儲系統(tǒng)采用曙光DS800-F20構建,該產品支持FC-SAN/IB-SAN兩種架構,并采用雙冗余的控制器,支持高效能8GbFC以及高帶寬的20GbIB主機接口,穩(wěn)定且高效。另外,服務器管理基于曙光在各個云計算中屢經(jīng)考驗的大規(guī)模集群管理系統(tǒng)Gridview,在穩(wěn)定性與可用性方面表現(xiàn)突出。
為保證整個平臺工作流程的通順安全,Gridview在每個計算節(jié)點上實行四大邏輯層次,分別為:硬件信息采集層、資源整合共用平臺層、核心模塊層和服務交付層。四層邏輯有條不紊地對從各監(jiān)控節(jié)點系統(tǒng)采集來的信息資源進行優(yōu)先管理。信息通過采集層向上層提供資源信息時,數(shù)據(jù)信息被分類存儲在數(shù)據(jù)庫中,作為元數(shù)據(jù)向上層提供數(shù)據(jù)服務。各模塊之間獨立開發(fā),共享整合的公用平臺數(shù)據(jù)信息,可以對元數(shù)據(jù)進行自由裁剪,以適應模塊開發(fā)的柔性需求。并且可以按照需求,增加新的模塊到平臺中,做到各模塊之間的有效兼容,向用戶提供統(tǒng)一的Web接口,實現(xiàn)對集群的管理和運維,將整合的資源信息以Portal形式表現(xiàn),對歷史數(shù)據(jù)進行分析,為用戶提供統(tǒng)一的作業(yè)調度界面。
由于曙光公司采用了Hadoop技術搭建分析集群和集中存儲系統(tǒng),消除了資源孤島,各結點能夠按照業(yè)務強度均衡互聯(lián);同時,其獨特的可伸縮性使平臺能夠隨著數(shù)據(jù)膨脹而擴展,達到真正柔性計算平臺標準。
大幅降低管理成本 分區(qū)管理高性價最高
在解決方案部署之后,化解了原有IT平臺存在的支撐能力不足、管理難度較大等諸多問題,同濟大學的領導和各學科負責人對大數(shù)據(jù)柔性處理平臺給予了高度評價。通過對應用 效果進行總結,可以發(fā)現(xiàn)柔性處理平臺帶來很多具體層面的收益:
充分整合包括云平臺、服務器在內的現(xiàn)有資源,全面保護了原有投資;
分布式搜索引擎架構采用分區(qū)形式,使得系統(tǒng)各個組件之間充分解耦,上層軟件部署更加靈活,極大的方便科研用戶進行各種系統(tǒng)的調整和部署;
針對不同組件采用分區(qū)管理,分區(qū)配置物理機和虛擬機資源,強調資源的優(yōu)化配置,獲得了極高的性價比;
數(shù)據(jù)網(wǎng)和業(yè)務網(wǎng)分離,這樣就達到了數(shù)據(jù)通信和業(yè)務通信運行時互不影響的目標;
管理網(wǎng)通信負載較輕,管理操作依托數(shù)據(jù)網(wǎng)構建,實現(xiàn)全網(wǎng)統(tǒng)一管理,同時管理網(wǎng)不必在配置交換機等其他基礎設備,降低了采購和管理成本。
同濟大學項目負責人表示:“同曙光公司攜手建立的大數(shù)據(jù)柔性處理平臺,改變了信息化建設中的尷尬狀況,增強了對更多新興應用的支撐能力。其分區(qū)設計和應用實現(xiàn)了該平臺的價值最大化,同時也為信息學科及其交叉學科研究領域提供了更高效靈活的應用流程。”