任新勃 發(fā)表于:13年11月20日 10:00 [來稿] DOIT.com.cn
海量數(shù)據(jù)的爆炸式增長引發(fā)了傳統(tǒng)IT架構(gòu)的變革,一方面音視頻、文檔、圖片等非結(jié)構(gòu)化文件的導(dǎo)入訪問需要大容量的數(shù)據(jù)存儲方案,另一方面海量信息的分析處理取決于高速的數(shù)據(jù)計算資源。由多臺計算機并行管理與使用,形成強大處理能力的分布式文件系統(tǒng),有效的解決了以上大規(guī)模數(shù)據(jù)并發(fā)存儲與處理的難題,并廣泛運用于云計算、大數(shù)據(jù)技術(shù)中。
眾志和達(dá)(英文SOUL),是中國信息存儲、數(shù)據(jù)安全與應(yīng)用領(lǐng)域領(lǐng)先的解決方案與服務(wù)提供商,擁有超過15年的中國本土市場經(jīng)驗和3000多家最終用戶。
SOUL以滿足云計算、大數(shù)據(jù)時代企業(yè)客戶需求為目標(biāo),堅持自主創(chuàng)新,擁有基于自主知識產(chǎn)權(quán)的SoC(Storage-on-Chip芯片級存儲)技術(shù)、SureSave智能化存儲與保護管理、分布式存儲與計算管理等核心技術(shù),提供海量數(shù)據(jù)的存儲、保護與云計算、大數(shù)據(jù)等應(yīng)用解決方案,為現(xiàn)代IT應(yīng)用提供高速、安全、可靠、彈性的基礎(chǔ)架構(gòu),將數(shù)據(jù)與計算的價值充分發(fā)揮。
川慶物探公司在石油物探中面臨著地震數(shù)據(jù)處理難題
中國石油集團川慶鉆探工程有限公司地球物理勘探公司(以下簡稱川慶物探公司),創(chuàng)建于1956年。公司是以山地地震為特色、集地震資料采集、處理、解釋和科研于一體的地震勘探工程技術(shù)服務(wù)企業(yè)。
石油物探根據(jù)地下巖層物理性質(zhì)的差異,通過物理量測量,對地質(zhì)構(gòu)造或巖層性質(zhì)進行研究,以尋找石油和天然氣的地球物理勘探。石油物探需要采用一系統(tǒng)科學(xué)勘探手段,通過對于地理信息數(shù)據(jù)的勘探與大量采集、存儲和HPC處理,最終準(zhǔn)確發(fā)現(xiàn)和定位出含油氣構(gòu)造的地理區(qū)域和范圍,進而進行實現(xiàn)挖掘開采。
隨著石油物探技術(shù)與手段的不斷改進,川慶物探公司數(shù)據(jù)采集能力的不斷提升,HPC處理能力的飛速發(fā)展。在數(shù)據(jù)采集效率大幅提升的同時,如何實現(xiàn)海量數(shù)據(jù)的高效存儲與快速運算,成為擺在用戶面前的新難題。
1、存儲系統(tǒng)性能面臨瓶頸:高性能計算已經(jīng)發(fā)展得十分成熟,可以通過廉價主機或刀片服務(wù)器的不斷擴展,實現(xiàn)很高的運算性能。目前川慶物探公司已有數(shù)百計算節(jié)點同時進行高性能運算,然而由于后端存儲的性能制約,整套系統(tǒng)無法處理更多的地震道數(shù),并發(fā)運行的客戶端數(shù)量也僅支持20個左右。用戶需要高吞吐高并發(fā)的存儲系統(tǒng),以支撐前端更高效的計算。
2、存儲系統(tǒng)需要大容量與高擴展性支撐:用戶目前數(shù)據(jù)量約在100TB左右,隨著地理數(shù)據(jù)采集能力、采集精細(xì)度的飛速提升,數(shù)據(jù)量也將隨之大幅增長,計算節(jié)點對于后端存儲的性能要求也將進一步提高。要求存儲系統(tǒng)采用高可擴體系架構(gòu),支持在線快速擴展,在不影響業(yè)務(wù)運行的情況,可輕松實現(xiàn)容量與性能的按需提升。
3、數(shù)據(jù)滿足高可靠存儲的要求:石油物探過程中,數(shù)據(jù)采集費時費力,工程量巨大,每一份數(shù)據(jù)都是無比寶貴的資產(chǎn)。數(shù)據(jù)存儲過程中,一旦出現(xiàn)數(shù)據(jù)損壞或丟失的情況,會給用戶帶來巨大的損失。因此存儲系統(tǒng)是否冗余可靠,能否周密保證數(shù)據(jù)的安全,對于用戶而言至關(guān)重要。
SOUL提供了高效、高可靠、靈活擴展的物探數(shù)據(jù)分布式計算存儲解決方案
SOUL推薦客戶采用SureSave DCS1000企業(yè)級分布式計算存儲系統(tǒng)作為地震作業(yè)主存儲設(shè)備,配置8節(jié)點分布式存儲集群,每節(jié)點提供16塊2TB SATA磁盤以及16GB高速緩存,以滿足用戶在勘探數(shù)據(jù)計算過程中,對存儲系統(tǒng)不斷增長的容量、性能、擴展性與可靠性方面的要求。
方案采用SureSave DCS1000分布式計算存儲系統(tǒng)8節(jié)點集群,通過8條萬兆鏈路接入核心萬兆交換機,通過萬兆以太網(wǎng)為業(yè)務(wù)網(wǎng)絡(luò)提供高容量、并發(fā)高性能的存儲服務(wù);原始數(shù)據(jù)通過萬兆以太網(wǎng)絡(luò),將數(shù)據(jù)轉(zhuǎn)移到SureSave DCS分布式存儲系統(tǒng);作業(yè)客戶端集群通過千兆網(wǎng)絡(luò)連接到核心萬兆交換機,實現(xiàn)Omega等地震作業(yè)客戶端群的數(shù)據(jù)高效存儲與訪問。
面對海量大數(shù)據(jù)的信息存儲、數(shù)據(jù)歸檔及管理難題,SureSave DCS1000分布式計算存儲系統(tǒng)為用戶提供了一個功能強大、運維簡單且經(jīng)濟的解決方案。SOUL 自主研發(fā)的DCSFS文件系統(tǒng)提供了智能橫向擴展的核心基礎(chǔ),當(dāng)用戶的業(yè)務(wù)系統(tǒng)數(shù)據(jù)激增時,DCS 存儲節(jié)點以標(biāo)準(zhǔn)化的企業(yè)級模塊設(shè)計,靈活地應(yīng)對存儲性能及容量的急劇擴展需求,同時為用戶構(gòu)建一個高性能、高可擴展、安全可靠的分布式存儲基礎(chǔ)平臺。
SureSave DCS分布式計算存儲系統(tǒng)是一個開放的存儲平臺,提供第三方應(yīng)用API接口,采用高效專用計算存儲節(jié)點,計算與存儲一體,使計算向數(shù)據(jù)集中。為地質(zhì)勘探、生命科學(xué)、非線編、媒資管理、動畫渲染等應(yīng)用實現(xiàn)海量數(shù)據(jù)的高性能計算與存儲。
SOUL為現(xiàn)代IT應(yīng)用提供高速、安全、可靠、彈性的基礎(chǔ)架構(gòu)
通過采用SureSave DCS1000分布式計算存儲系統(tǒng),大幅提升物探地震作業(yè)效率,為用戶提供了海量、穩(wěn)定、高效的存儲系統(tǒng)。通過多節(jié)點集群擴展,在統(tǒng)一命名空間的基礎(chǔ)上,實現(xiàn)在海量的存儲空間/吞吐性能提供。同時以其數(shù)百節(jié)點的scale-out擴展能力,可輕松滿足用戶未來很長時間的存儲需求,隨時對性能與容量進行線性擴展。
SureSave DCS1000系統(tǒng)具有硬件RAID保護、多副本數(shù)據(jù)冗余模式等方式、自動數(shù)據(jù)修復(fù)等功能,有效保證存儲系統(tǒng)的健壯性。當(dāng)節(jié)點出現(xiàn)故障時,集群系統(tǒng)可實現(xiàn)秒級故障切換,保證業(yè)務(wù)高可用運行。
由于受地震數(shù)據(jù)處理作業(yè)的類型以及同時處理的客戶端數(shù)量的影響,一般地震處理作業(yè)性能數(shù)值穩(wěn)定在2000至4500/s左右。在部署完成SureSave DCS1000分布式計算存儲系統(tǒng)后,總體地震道處理的數(shù)值穩(wěn)定在3000至5500/s之間,峰值最高可達(dá)到 20000/s,相比之前的地震道處理能力有了大幅度提升;在線客戶端同時并發(fā)處理最大數(shù)量為64個,作業(yè)運行穩(wěn)定可靠。
川慶物探公司信息中心的負(fù)責(zé)人表示:“通過SOUL提供的分布式計算存儲解決方案,將成熟的分布式文件系統(tǒng)技術(shù)應(yīng)用于高性能地震數(shù)據(jù)計算領(lǐng)域,大幅提升了數(shù)據(jù)實時處理與快速分析的性能,同時降低了硬件成本和人員維護成本。”
SOUL為云計算、大數(shù)據(jù)時代的現(xiàn)代IT應(yīng)用提供高速、安全、可靠、彈性的基礎(chǔ)架構(gòu),將數(shù)據(jù)與計算的價值充分發(fā)揮。以智能化、可拓展的開放式系統(tǒng)設(shè)計,輔助用戶實現(xiàn)從傳統(tǒng)IT應(yīng)用向云計算、大數(shù)據(jù)應(yīng)用的平滑遷移,從而幫助用戶從容應(yīng)對日益增長的核心數(shù)據(jù),實現(xiàn)傳統(tǒng)IT系統(tǒng)的快速轉(zhuǎn)型。
公司簡介 | 媒體優(yōu)勢 | 廣告服務(wù) | 客戶寄語 | DOIT歷程 | 誠聘英才 | 聯(lián)系我們 | 會員注冊 | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.