圖：華為OceanStor分布式存儲營銷總監(jiān)王飛

大家有沒有注意到，今天大會所有分論壇的議題，只有分布式存儲這個分論壇議題從上午下午都有貫穿整天滿滿一天，其他的分論壇都是半天。這從側(cè)面反映了當前分布式存儲在業(yè)界火熱的程度。

云和AI時代，數(shù)據(jù)迎來海量增長

分布式存儲整個產(chǎn)業(yè)近幾年快速的發(fā)展和云計算在企業(yè)產(chǎn)生普及密不可分，云計算把企業(yè)各種類型的數(shù)據(jù)割裂的數(shù)據(jù)給整合到一起，必須要一個高擴展性存儲架構(gòu)支撐。

面向未來大數(shù)據(jù)時代智能時代，分布式存儲面臨哪些挑戰(zhàn)，華為在這個領(lǐng)域我們是怎么做的？今天和大家簡單聊一聊。

剛才講了云計算把企業(yè)割裂的業(yè)務(wù)和離散的數(shù)據(jù)整合到一起，大數(shù)據(jù)和AI這些新的生產(chǎn)工具的數(shù)據(jù)價值被企業(yè)重新認可，又會帶來新一輪數(shù)據(jù)增長高潮。

華為GIV報告顯示，每年數(shù)據(jù)增量全球數(shù)據(jù)增量從2018年32ZB， 2025年增長到180ZB，海量數(shù)據(jù)增長來源于哪里？

一是5G，2019年整個通信行業(yè)最熱的話題一定是5G，在中國5G網(wǎng)絡(luò)已經(jīng)商用了，全球其他TOP運營商也開始了部署，5G通過高帶寬、低時延、多接入的能力，讓萬物互聯(lián)成為可能，而海量的連接，給運營商的業(yè)務(wù)和數(shù)據(jù)帶來十倍以上的壓力。

二是超高清產(chǎn)業(yè)。我們知道，4K已經(jīng)走進了尋常百姓家，今年雙十一我想買75寸的電視，當然是4K的，發(fā)現(xiàn)現(xiàn)在75寸4K電視，只需要 3999元，側(cè)面說明了4K這個產(chǎn)業(yè)其實已經(jīng)普及了。今年春晚央視通過4K+5G進行了春晚直播，給我們帶來不一樣的體驗，華為OceanStor分布式存儲也參與了央視高清制作島的建設(shè)。而8K的標準也已經(jīng)基本建立，今年上半年華為和中國聯(lián)通發(fā)布了8K+5G技術(shù)白皮書，8K視頻每一個小時數(shù)據(jù)量達到10TB，是1080高清的40倍以上。

自動駕駛是當前整個制造行業(yè)、汽車行業(yè)最火的話題，在自動駕駛汽車研發(fā)過程中，車企需要部署幾臺最多幾十臺的測試車輛開展路測，車上遍布各種激光雷達、毫米波雷達和視頻攝像頭，實時采集各種路況信息，這些數(shù)據(jù)匯總到數(shù)據(jù)中心進行AI訓(xùn)練，每一輛車每天采集的數(shù)據(jù)可能達到30到60TB，一個汽車要商用，通常需要2000萬公里路測數(shù)據(jù)，整個數(shù)據(jù)量可以達到EB級。

最后看一下基因測序，二十世紀人類有三大工程，第一個是曼哈頓原子彈工程，第二個阿波羅登月工程，第三類人類基因組工程。從1990—2003我們花了13年時間，很多國家參與，耗資30億美元，得到了3TB的人類基因組測序數(shù)據(jù)，這還不是所有物種里面最大的，小麥水稻全基因組比人類基因組更大?，F(xiàn)在基因測序不需要30億美元那么多，幾百美元就可以做一次基因測序。華大基因桌面級的基因測序級就是一個PC的大小，價格大概十多萬元，他們最先進的基因測序儀每天日產(chǎn)數(shù)據(jù)量可以達到6個TB，一年下來就是兩個PB，這僅僅是一臺基因測序儀產(chǎn)生的數(shù)據(jù)量。

以分布式存儲應(yīng)對海量多樣性數(shù)據(jù)挑戰(zhàn)成為企業(yè)首選

再來聊一聊數(shù)據(jù)多樣化的問題。

隨著企業(yè)數(shù)字化轉(zhuǎn)型深入，越來越多業(yè)務(wù)如雨后春筍一樣出現(xiàn)，帶來業(yè)務(wù)的多樣性數(shù)據(jù)多樣性，各種不同類型的數(shù)據(jù)同時存在，以前對企業(yè)來說最核心的數(shù)據(jù)是以數(shù)據(jù)庫為代表的傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，比如說企業(yè)的財務(wù)系統(tǒng)、計費系統(tǒng)、客戶關(guān)系管理系統(tǒng)等等。其實企業(yè)還有80%數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)以文檔、音視頻形式存在。比如說視頻監(jiān)控、一些系統(tǒng)設(shè)備運行的日志，這些數(shù)據(jù)被認為是價值相對來說比較低的。海量多樣性的這些數(shù)據(jù)，如何去有效的承載，也是企業(yè)未來面對的問題。

1.數(shù)據(jù)存儲，全生命周期每bit成本最優(yōu)

針對于海量多樣性數(shù)據(jù)的挑戰(zhàn)，業(yè)界各個行業(yè)怎么應(yīng)對的？這里選了兩個比較典型的，一個運營商一個金融。大家可以發(fā)現(xiàn)一個共同點：在他們核心的業(yè)務(wù)系統(tǒng)里，基本上繼續(xù)走著高端路線，逐漸走向閃存，非核心外圍的系統(tǒng)，分布式存儲已經(jīng)成為首選。比如說運營商BOM非核心業(yè)務(wù)，承載資源池里采用這種分布式存儲承載，還有金融渠道接入業(yè)務(wù)、票據(jù)影像業(yè)務(wù)，需要彈性規(guī)模擴展。

講到這里，當前業(yè)界大家爭論比較多的是關(guān)于集中式存儲和分布式存儲定位的問題。

集中式存儲分布式存儲某些場景確實存在交叉的，但產(chǎn)品定位各有側(cè)重，集中式存儲定位在以數(shù)據(jù)庫為代表的關(guān)鍵業(yè)務(wù)，然后分布式存儲更多考慮非關(guān)鍵的非結(jié)構(gòu)化的數(shù)據(jù)。傳統(tǒng)這種關(guān)鍵業(yè)務(wù)分布式存儲能不能承載，要是能力有也可以做，并不意味著這是主要方向。

我覺得大家還是應(yīng)該把場景給區(qū)分開。

分布式存儲解決企業(yè)存儲擴展性問題，讓企業(yè)有能力去把這些海量的數(shù)據(jù)存下來，還有一個關(guān)鍵的問題沒有解決，就是企業(yè)有沒有意愿存這么多數(shù)據(jù)，背后最關(guān)鍵的因素就是數(shù)據(jù)存儲的成本問題。不解決成本問題，所有的擴展性都是空談，因為在當前，絕大多數(shù)企業(yè)來說，他們IT系統(tǒng)更多是一個成本中心而不是利潤中心，成本中心必須考慮建設(shè)成本維護成本。

2.數(shù)據(jù)挖掘，融合分析讓每bit價值最大

基于成本的壓力，很多數(shù)據(jù)企業(yè)沒有辦法長期保存，原來想要保存六個月，成本降到三個月，很多數(shù)據(jù)直接丟棄了。所以我覺得分布式存儲這個產(chǎn)業(yè)下一階段如何降成本。怎么降？兩個方面，第一個開源第二個節(jié)流。

先講一下節(jié)流。降低數(shù)據(jù)生命周期的存儲成本，讓成本更優(yōu)。首先解決的問題就是多樣性數(shù)據(jù)存儲問題，以前要存一種設(shè)備一種協(xié)議，到一種設(shè)備多種協(xié)議，我們通過一套設(shè)備一個架構(gòu)支撐這種不同類型，同時降低數(shù)據(jù)中心采購和維護的成本。其實現(xiàn)在業(yè)界三核心四核心講的比較多，很多企業(yè)落地了相應(yīng)的產(chǎn)品和能力。

第二個要關(guān)心的就是承載企業(yè)更高的業(yè)務(wù)能力。以前絕大多數(shù)客戶對分布式存儲的印象是低成本、低性能、低可靠。這個現(xiàn)象我們必須要去扭轉(zhuǎn)，低成本高性能高可靠，或者說用最合適的成本解決用戶承載不管是認為可靠性比較低，性能比較低的業(yè)務(wù)，還是承載可靠性高性能高數(shù)據(jù)滿足需求。

數(shù)據(jù)增長帶來的海量設(shè)備的問題，如何更高效管理，用自動化手段解決，降低企業(yè)運維成本也是帶來的價值。

下一個，開源。我們知道，這個開源不是軟件開源，而是通過各種分析挖掘，讓數(shù)據(jù)更多體現(xiàn)價值，當數(shù)據(jù)有了價值之后，企業(yè)才有意愿去存更多的數(shù)據(jù)。

數(shù)據(jù)湖建設(shè)是很多企業(yè)新的數(shù)據(jù)基礎(chǔ)建設(shè)的方向，分布式存儲作為數(shù)據(jù)湖的底座支撐，未來需要做哪些事來讓數(shù)據(jù)分析效率更高？我們認為有這三個方面。

第一，在數(shù)據(jù)多協(xié)議合一的前提下實現(xiàn)數(shù)據(jù)的互通，一個數(shù)據(jù)用對象存進來，大數(shù)據(jù)系統(tǒng)直接分析，用文件存進來，對象去讀出，直接用于發(fā)布。一份數(shù)據(jù)多種用途，而不需要像原來在不同的協(xié)議不同的存儲之間做數(shù)據(jù)的遷移，做數(shù)據(jù)的格式轉(zhuǎn)換，這種方式使得我們分析效率大幅度提升。

第二，數(shù)據(jù)庫存算融合，我們知道，數(shù)據(jù)庫有一些算子，所做的操作把數(shù)據(jù)從存儲面讀出來讀到計算里面，有一讀一寫的過程；我們將這個算子下移到了存儲層實現(xiàn)，數(shù)據(jù)庫調(diào)用存儲接口，存儲內(nèi)部進行操作，反饋回結(jié)果就可以了，這是數(shù)據(jù)庫算子下推。

第三，大數(shù)據(jù)存算分離。這不是新的概念。為什么前幾年沒有普及起來，一個很大的問題，原來企業(yè)大數(shù)據(jù)的建設(shè)還沒有普及，即使到了現(xiàn)在，運營商，公安，金融，這三個行業(yè)的大數(shù)據(jù)有非常廣泛的應(yīng)用，而其他行業(yè)還是零零星星的應(yīng)用，隨著大數(shù)據(jù)普及，以前企業(yè)大數(shù)據(jù)平臺也是存在孤島，各個平臺之間數(shù)據(jù)割裂的，沒有辦法做全量分析，導(dǎo)致數(shù)據(jù)分析效率不高。通過分布式存儲提供原生大數(shù)據(jù)接口，支撐所有大數(shù)據(jù)放在一個資源池里面，任何大數(shù)據(jù)平臺都可以調(diào)用，這種方式，可以實現(xiàn)數(shù)據(jù)全量的分析，不需要倒來倒去，也是數(shù)據(jù)價值提升的一個手段。

OceanStor D系列：新一代智能分布式存儲

來看看華為怎么做的。

今年五月份，華為面向全球發(fā)布了FusionStorage智能分布式存儲，這也是我們分布式存儲一直以來的名字。從明年1月1日開始華為分布式存儲將改名為OceanStor分布式存儲，后續(xù)華為所有存儲品牌會統(tǒng)一歸到OceanStor，這個品牌下面有集中式存儲有分布式存儲，這是我們戰(zhàn)略上的變化，對我們產(chǎn)品規(guī)劃其實沒有任何影響。

分布式存儲怎么對應(yīng)剛才的兩點提升的效率，第一個是Storage for AI，通過智能的算法，通過協(xié)議的智能融合，打破數(shù)據(jù)孤島，匯聚數(shù)據(jù)激發(fā)價值。另一方面是AI in Storage，把AI融入分布式存儲全生命周期的智能管理，讓管理更高效，最終實現(xiàn)極簡融合極速體驗極致效率。

OceanStor分布式存儲核心競爭力及關(guān)鍵技術(shù)

華為分布式存儲的核心競爭力在于三個方面。

一是我們做公有云，分布式存儲為我們的公有云提供塊、對象、文件和大數(shù)據(jù)服務(wù)，天然具備有公有云所需要的海量擴展能力。二是企業(yè)級的存儲能力，華為從十多年前進入存儲領(lǐng)域，早已經(jīng)是中國區(qū)領(lǐng)頭羊，現(xiàn)在分布式存儲也做到國內(nèi)的市場連續(xù)多年第一的位置。在集中式存儲里面有很多高級的能力，比如說可靠性、性能、可維護性相關(guān)的。這些能力我們都繼承下來，平滑移植到分布式存儲里。三是華為自研的芯片，我們的鯤鵬處理器融入到分布式存儲硬件里。

可能有人有疑問，自研的芯片就是好的嗎？未必，需要看軟件和硬件做了哪些不一樣的內(nèi)容？我們常用的算法，比如壓縮、DIF算法等，我們把算法邏輯做到CPU里，通過硬件邏輯實現(xiàn)，效率時延比通用高很多。在硬件層面，我們有自己的X86服務(wù)器，但鯤鵬處理器架構(gòu)是我們主推的產(chǎn)品。

講到這里，我順便提一下現(xiàn)在業(yè)界爭論比較多的，分布式存儲到底是軟硬結(jié)合還是軟硬分離。

其實從最早分布式存儲，或者軟件定義存儲，這個理念從互聯(lián)網(wǎng)來的基于標準這些服務(wù)器，通過開源軟件自己構(gòu)建分布式存儲服務(wù)，這個對互聯(lián)網(wǎng)適用的，對企業(yè)客戶適不適用？企業(yè)客戶更關(guān)注可維護性，從這個角度看，我覺得是軟硬一體的架構(gòu)更適合，軟硬分離或者基于開源的組件自己去做很難實現(xiàn)的，這是華為的觀點。我們也會堅定走軟硬一體的路線。

基于這三方面核心競爭力，我們有一些關(guān)鍵的技術(shù)，高效率的彈性EC，動態(tài)重刪壓縮，然后是高性能，F(xiàn)lashLink加速，高性能IO聚合，可靠性方面，跨集群的A-A雙活與亞健康檢測端到端DIF，以及易運維智能風預(yù)測。

首先彈性EC。EC是分布式存儲通用的技術(shù)，同樣的可靠性情況下，利用率可以增加很多，三副本利用率33%，通過EC，利用率可以達到66%，甚至可以做到更高。華為EC做到22+2，利用率高達91%。把EC利用率做高不是大的問題，關(guān)鍵一個問題需要解決，EC會帶來的一個寫懲罰的問題，EC高性能下降越快，如何在性能和磁盤之間的均衡。我們現(xiàn)在是通過彈性EC可以實現(xiàn)相同可靠性下EC的性能與副本持平，在利用率提升下性能還不降，這是我們獨特的地方。記得今年三月份的時候深圳舉辦的多IT分布式存儲的分會里面，也有人質(zhì)疑，你不可能做到的。我們也在向大家邀請，大家有質(zhì)疑的，可以到項目里面測試，到華為實驗室一起測，這是一個開放的態(tài)度。

第二個是業(yè)內(nèi)首個數(shù)據(jù)中心級雙活：為關(guān)鍵業(yè)務(wù)提供99.9999%可靠性。數(shù)據(jù)真雙活，是華為集中式存儲兩地三中心的能力移植過來的，可以實現(xiàn)100公里兩毫秒集群的雙活，現(xiàn)在我們在實際部署遼寧移動同城十七公里數(shù)據(jù)中心并且商用，運行到分布式存儲上面來的。

第三，端到端DIF。如果存儲服務(wù)器出現(xiàn)了數(shù)據(jù)靜默錯誤，會導(dǎo)致了文件系統(tǒng)源數(shù)據(jù)損壞，對于初創(chuàng)企業(yè)丟失了創(chuàng)立以來業(yè)務(wù)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，基本上公司就毀了。數(shù)據(jù)靜默錯誤或者對數(shù)據(jù)一致性不重視產(chǎn)生的教訓(xùn)由此可見。我們在三個方面實現(xiàn)端到端DIF，第一個在線校驗，寫入磁盤的檢查校驗位。磁盤本地會做周期性的校驗，在業(yè)務(wù)量比較低的情況下，避免數(shù)據(jù)靜默錯誤和跳變。在數(shù)據(jù)讀出的時候主機還會做一次檢驗，確保讀出數(shù)據(jù)和磁盤數(shù)據(jù)一致的，數(shù)據(jù)出現(xiàn)不一致怎么辦，優(yōu)先通過本地副本、EC分片恢復(fù)，本地副本和分片都壞了，通過異地容災(zāi)中心副本做恢復(fù)。

除了節(jié)點數(shù)可以增加，容量可以增加，針對對象存儲，華為還關(guān)注能夠承載對象的數(shù)量，華為做到單桶1000億對象。性能衰減比較快，也是業(yè)界的難題，華為解決了這個難題，可以讓通常的業(yè)界比較多的單桶千萬級到十億級，擴展到千億級，很多地方有應(yīng)用場景的，某大城市交警的卡口，有20000個交通攝像頭，還有像金融、車聯(lián)網(wǎng)，按照國家規(guī)定網(wǎng)聯(lián)汽車每15秒鐘上報一次認證信息，未來數(shù)百萬上千萬輛網(wǎng)聯(lián)汽車數(shù)據(jù)每15秒上報，這個量有多大。在實現(xiàn)數(shù)據(jù)對象增加的同時，我們還實現(xiàn)性能不降的，性能穩(wěn)定的，這個我們經(jīng)過第三方機構(gòu)測評，有真實的數(shù)據(jù)和報告。

四是智能的風險預(yù)測，這不僅僅是依賴于華為存儲本地，也和云端的能力相結(jié)合，華為有超過兩個P的特征數(shù)據(jù)，以及1000家業(yè)務(wù)場景，能夠和本地存儲的數(shù)據(jù)進行聯(lián)動，在客戶允許的情況下，把這些數(shù)據(jù)收上來做數(shù)據(jù)分析，可以提前14天發(fā)現(xiàn)可能出現(xiàn)硬盤的故障風險，對于性能的潮汐分析，能夠提前60天識別性能瓶頸，還有精準的分析，提前365天預(yù)測存儲的趨勢，這個是我們AI方面的積累。

大數(shù)據(jù)存算分離方案：改變規(guī)則，重塑數(shù)據(jù)價值

前面講的是技術(shù)，接下來講一個方案，大數(shù)據(jù)存算分離的方案。通常大家心目中大數(shù)據(jù)就是一個服務(wù)器既有計算又有存儲，計算存儲離的近，確實是一個優(yōu)勢，但是我們大數(shù)據(jù)應(yīng)用中發(fā)現(xiàn)，企業(yè)大數(shù)據(jù)業(yè)務(wù)計算存儲不是均衡的，像運營商日志留存系統(tǒng)，這些數(shù)據(jù)存進來只是偶爾查詢，計算需求非常低，存儲需求非常高，存儲不足的時候擴一臺服務(wù)器，存儲擴了計算也跟著擴，對資源系統(tǒng)很大的消耗，因此我們要做大數(shù)據(jù)的存算分離，華為提供了原生的接口，把大數(shù)據(jù)接口分出來。

存算分離有什么好處？最直觀的計算不夠擴計算，存儲不夠擴存儲非常靈活，不會造成資源浪費，分離之后計算資源可以做云化。

以前講大數(shù)據(jù)云化不能做，現(xiàn)在分離之后計算可以做虛擬化可以做云化，實現(xiàn)一些自動化服務(wù)化的能力，大幅度提升大數(shù)據(jù)的效率。

通過專業(yè)的存儲承載，華為大數(shù)據(jù)的存儲，剛才講了我用EC做，EC磁盤可以達到91%，原來采用本地的HDFS，通常使用三副本利用率只有33%，即便現(xiàn)在開源也推出了EC，EC只能做到66%，基本上不能商用，這也是存算分離帶來另外一個好處。

剛才前面也提到了，企業(yè)因為歷史原因，大數(shù)據(jù)平臺建設(shè)割裂的，有很多數(shù)據(jù)孤島，通過華為大數(shù)據(jù)統(tǒng)一資源池，所有數(shù)據(jù)都放在資源池里面，任何平臺都可以調(diào)用，通過這種開放方式大數(shù)據(jù)資源整合，大數(shù)據(jù)管理也簡單，大數(shù)據(jù)使用也更加簡單。

OceanStor分布式存儲創(chuàng)新引領(lǐng)，加速行業(yè)數(shù)字化轉(zhuǎn)型

無論是政府、金融、運營商、大企業(yè)，分布式存儲都有非常多的應(yīng)用，我這里還沒有列舉完，只是比較典型的比較重要的。

分布式存儲的應(yīng)用場景三個案例。

第一個中國移動遼寧分公司。遼寧移動和我們合作非常早，從2014年開始第一次合作在開發(fā)測試環(huán)節(jié)應(yīng)用分布式存儲，現(xiàn)在分布式存儲已經(jīng)達到了10多個PB。最新今年把最核心的BOSS系統(tǒng)遷移到分布式存儲。還有經(jīng)營分析，時延從九毫秒降低到兩毫秒，提升了五倍，原來做一次分析需要60個小時，現(xiàn)在只要10個小時。經(jīng)營分析對企業(yè)的價值是可以及時調(diào)整策略。第二個是招商銀行，招商銀行和我們合作比較早，2015年開始，開發(fā)測試環(huán)節(jié)后來分布式存儲替代，VDI，數(shù)據(jù)庫大數(shù)據(jù)，今年在大數(shù)據(jù)場景合作，使用存算分離，精準營銷，提供四種存儲類型。還有這樣一個大數(shù)據(jù)存算分離的案例，新加坡S公司以前使用開源Hadoop承載研發(fā)的日志的數(shù)據(jù)。原來是需要15個機柜，EC利用率僅66%，通過OceanStor分布式存儲，我們把計算和存儲分開，計算只需要兩個機柜，存儲通過兩個方式實現(xiàn)節(jié)省，第一個方式EC利用率提升91%；第二是使用36盤位替代，機柜數(shù)節(jié)省了46 %，單機柜節(jié)省64%。

以創(chuàng)新贏得認可，打造海量多樣性數(shù)據(jù)底座

今年5月份，華為在東京Interop獲得了金獎，了解的人都知道這是IT界奧斯卡一個獎，這個獎非常來自不易。第二是2018年中國區(qū)分布式存儲市場份額NO1，2019年結(jié)果還未最終出來，華為應(yīng)該也是第一。第三個今年的中國移動的三個集采，分布式文件集采，分布式塊集采，還有NFV總包都獲得了第一。

未來我們希望能夠更多的和產(chǎn)業(yè)界同仁持續(xù)拓展大分布式存儲的產(chǎn)業(yè)，通過技術(shù)創(chuàng)新去贏得客戶的認可，一起攜手打造分布式存儲產(chǎn)業(yè)，一起打造智能時代海量數(shù)據(jù)性底座，感謝大家。

編后：本次2019中國數(shù)據(jù)與存儲峰會（DATA & STORAGE SUMMIT）為期兩天，包含主論壇、CIO高峰對話，以及大數(shù)據(jù)、閃存系統(tǒng)、分布式存儲、第二存儲與容災(zāi)備份、超融合與云存儲、人工智能、數(shù)據(jù)創(chuàng)新與安全可控、容器創(chuàng)新與應(yīng)用、SCM第五代存儲與閃存控制器等十大主題論壇，超過100場的專業(yè)知識分享。初步統(tǒng)計，本屆峰會吸引了來自政、企、產(chǎn)、學、研、媒體等各方參會者約2000人，在線直播觀看觀眾再創(chuàng)新高，超過10萬余人次。

xiesc