DOSTOR北京報道：2014（第十屆）中國存儲峰會2014年2日在北京盛大開幕。作為中國存儲產(chǎn)業(yè)的十年盛會，峰會以“掌控數(shù)據(jù)經(jīng)濟·重塑商業(yè)價值”為主題，邀請超過1500位學術界頂級學者、產(chǎn)業(yè)精英和企業(yè)用戶出席，圍繞數(shù)據(jù)經(jīng)濟和商業(yè)價值兩大話題，從云計算、大數(shù)據(jù)、軟件定義和閃存等四個技術方面舉行一系列主題演講和圓桌會議。

在下午的云存儲應用論壇（云存儲下的數(shù)據(jù)經(jīng)濟）上，樂視云存儲技術總監(jiān)薛偉以樂視云存儲為基礎談了當前企業(yè)與個人如何應對云存儲，其主要話題從傳統(tǒng)視頻網(wǎng)站的迭代存儲架構問題驅(qū)動優(yōu)化，存儲平臺化服務思路，全網(wǎng)企業(yè)云存儲服務平臺，個人云存儲服務時代的有機云存儲等方向進行了詳細系統(tǒng)的介紹。

以下是大會速記內(nèi)容：

大家下午好，樂視網(wǎng)其實不是專業(yè)做存儲的公司，我們今天的這個話題跟更多企業(yè)的視角不太一樣，我們還是從互聯(lián)網(wǎng)的需求視角來看。

今天下午主要帶領大家展開四個話題的討論，第一個作為傳統(tǒng)視頻網(wǎng)站，甚至作為互聯(lián)網(wǎng)企業(yè)，他們對于存儲架構問題的解決，怎么能夠迭代優(yōu)化安排。


第二個作為互聯(lián)網(wǎng)企業(yè)怎么把存儲品牌化，我們對互聯(lián)網(wǎng)內(nèi)部的多個業(yè)務線，以及多個場景對存儲的使用仍然需要一個產(chǎn)品級的，或者叫平臺化的存儲服務，這里面我們講一個存儲平臺化。

后面兩個是圍繞價值來講，一個是如何對全網(wǎng)的云存儲的客戶提供服務，主要是面向2B的市場。最后一個是面向2C的市場。

其實我們從互聯(lián)網(wǎng)角度來看關注的角度不太一樣，我們關注的互聯(lián)網(wǎng)為個人、客戶提供業(yè)務，我們主要考慮到如何用低成本，我們比較關注成本，當然你會發(fā)現(xiàn)在我們的演進當中會出現(xiàn)這樣那樣的問題，這樣的問題我們也通過快速迭代，因為大家都是線上使用某個平臺，通過線上快速的迭代，以及我們在存儲的使用中如何把時間和空間策略很好地安排，身為廠商級的存儲設備，大部分是空間設備緊張，是高密度的，我們是稀疏的空間，我們通過大量的空間的運用得到時間上的高效。

此外，通過互聯(lián)網(wǎng)的部署，你看到全國的分布，這是在企業(yè)級存儲里面沒有想到的。

下面的話還會體現(xiàn)得比較實際，作為企業(yè)來講，以前有運維服務商提供給你，互聯(lián)網(wǎng)企業(yè)不管是上什么樣的技術，前幾年像Hadoop，你上了之后會出現(xiàn)什么問題，人員對新技術的運維的難度，都是我們面臨的問題。

公司永遠在討論一個存儲成本應用的降低，我們今天講價值回報，不僅僅是說我今天要存多少數(shù)據(jù)，這個數(shù)據(jù)怎么快速地上傳或者下載，或者快速消費掉，今天我們看到的更多是數(shù)據(jù)經(jīng)濟，這些數(shù)據(jù)之后，比如說大數(shù)據(jù)的理論，怎么被我高效的經(jīng)濟服務產(chǎn)生高效的價值，所以今天是我們下邊的主要關注點。

我們覺得其實圍繞系統(tǒng)的邊界，要考慮到存儲系統(tǒng)誰是使用者？我們互聯(lián)網(wǎng)企業(yè)其實可以從幾個層面來看，比如說個人使用者，或者說企業(yè)內(nèi)部業(yè)務限制使用者，他們的期待是什么？

所以說我們整個的存儲架構是隨著這種邊界的期待來去提供的高效服務成本，當然也有很多跟存儲企業(yè)廠商相似形的地方，比如說我們?nèi)罩敬鎯�，我們也會有一些方案在里面�?br />
我們看一下作為實體網(wǎng)站核心的業(yè)務流程，這是展開我們存儲話題的一個前置，視頻網(wǎng)站大家能看到電視劇、電影，是我們上臺上傳到服務中心，包括移動、包括PC，所以這一步上傳存儲完就轉(zhuǎn)碼，轉(zhuǎn)碼之后要分發(fā)到大家各地所在的運營商，這是一個分發(fā)的過程。

之前的服務流程就是圍繞一個基本的視頻網(wǎng)站的本質(zhì)服務去做的，整個的視頻上傳、分發(fā)，實際上我們總體一個思路是什么？

第二個，你后臺所有的上傳、存儲、轉(zhuǎn)碼等等能不能做好平臺化服務，為多個業(yè)務線介入和多條線服務。我們今天在看整個LeCloud分層，都在談他的存儲的虛擬化或者平臺的虛擬化服務，我不關心資源運用的是什么？

第一個，你這些能動性輸出給你外邊的客戶，今天可能很多的網(wǎng)站企業(yè)，各種各樣的傳統(tǒng)行業(yè)企業(yè)都想在自己的網(wǎng)站上輸出視頻，這個視頻能不能去輸出？這是我們一個重要的產(chǎn)品線和業(yè)務業(yè)務線，叫樂視魚視頻。

我只要去看出來你給我提供計算分區(qū)和子母分區(qū)，我們今天重點是對中間云存儲的分區(qū)如何談這個環(huán)節(jié)，在沒有談平臺化的時候，一開始我們遇到哪些問題，之前的存儲永遠是一個單向的線性邏輯，能讓大家看到我們的電影和電視劇，這里邊的軟件像開元的，比如說我們也用到過Hadoop，聽起來非常適合這個場景。


因為Hadoop適合大塊軟件，而且有很多數(shù)據(jù)場景，這個聽起來非常地好，有很多開元，你會發(fā)現(xiàn)用這些開元的不是因為成本低而用，一定要適合你的業(yè)務場景，用起來你會發(fā)現(xiàn)實際上成本都在后面，特別是我們每天數(shù)據(jù)增量在20個，你會發(fā)現(xiàn)我們經(jīng)常在婚戒中出現(xiàn)這樣那樣的問題，比如說網(wǎng)卡發(fā)動的時候有一個蕩機。

其實很多時候是由于Hadoop的技術過老，或者瓶頸導致的。比如說0.2、0.3的場景，一個文件我為了讓它更可行，你會發(fā)現(xiàn)很多文建會不可靠的情況下會斷掉，我們需要斷點續(xù)傳，你會發(fā)現(xiàn)我們說Hadoop里邊有一個機制，叫做文件制約。

你原來寫的上行的代碼是可以邏輯上續(xù)傳，基本上不成功，需要人工地刪除掉，這是我們遇見的很多客戶。

以前的版本里面，一個單技術的規(guī)模也要500T，你要有一個橫向擴展的過程，本來是加一個1的D，你應該是加的集群，我一個集群是500T的話，我們線上運行了七到八個集群，擴一個集群意味著什么？

意味著我們運維成本的增多。我一個工程師維護一個集群就夠了，今天我要維護多個集群，而是多個集群的數(shù)據(jù)同步出現(xiàn)的問題。還出現(xiàn)宕機的問題，這些都是我們使用中的問題。

下面還有一些標準，比如說大家去訪問sDK接口的時候，你會發(fā)現(xiàn)如果你僅僅是一個應用使你的文件存儲到系統(tǒng)里面，它要通過各自接口，先取你的數(shù)據(jù)，再去調(diào)度，整個效率非常低下，這只是數(shù)據(jù)進到存儲中，數(shù)據(jù)從存儲中出來你會發(fā)現(xiàn)有很多用法。

你調(diào)用他的SDK接口，你會發(fā)現(xiàn)直接油下載接口，那個下載接口是一個管理接口，根本經(jīng)不起大量數(shù)據(jù)，有的人一開始還在優(yōu)化我們的Jetty服務器。整個視頻網(wǎng)站還是一個場景，傳統(tǒng)的行業(yè)有他自己的解決方案，但這種解決方案都是S的模式。


傳統(tǒng)的通過自己的FTP的客戶端來上傳，甚至優(yōu)化之后寫出自己本地的客戶端去上傳我們的軟件。由于是內(nèi)網(wǎng)上傳，當時太原和北京兩地，當時的時候你會發(fā)現(xiàn)因為HDMS里面沒有業(yè)務進行數(shù)據(jù)管理，當時擴展的時候最多是目標端消冗，很多時候是Hadoop內(nèi)部的限制。

你最后特別是我當一個大文件去分片場的時候，在Hadoop里面去拼接文件的效率是相當?shù)偷模�成本是非常高的。我們說斷點續(xù)傳也好，什么也好，我們當時上傳的業(yè)務程序非常復雜，今天發(fā)現(xiàn)了問題我們下一撥去解決，遇到的問題有很多。


特別是包括后面的問題，比如說一些業(yè)務方面的，剛才講到的上傳、存儲、轉(zhuǎn)碼、分發(fā)，這個是一個串行的邏輯，由于兩個借口同時傳一樣的視頻數(shù)據(jù)，就會出現(xiàn)不一致性的問題。


最后我們實際上實行了兩次解耦，任務引擎是我們邁向平臺化一個重要的，之前創(chuàng)建、查詢、充實、是一個隊列，它對所有的業(yè)務邏輯都可以進行編輯和編纂，解決了它之后我們下一步開始做我們整個自己的存儲平臺化開發(fā)。今天的存儲，有的人可能還是在物理的設備去談，每一層這里面的業(yè)務API都是不一樣的。

我們經(jīng)常講軟件定義網(wǎng)絡，或者說整個業(yè)務程序的業(yè)務場景適配問題都是需要靈活的API支持，實際上中間通過不同的P，首先我們把底下的物理做了一個集成，不管你用什么樣的方式，底下會有一個自由的管理，對于上層的調(diào)動，不管是流量也好，還是包括存儲的調(diào)動也好，是通過中間的控制層來做，而在我們右邊的圖你會發(fā)現(xiàn)很多S通過業(yè)務級的消費去做。

也就是說我們今天看平臺化的要點只要有兩個不同的視角，第一個會從互聯(lián)網(wǎng)企業(yè)內(nèi)部來講，今天大家看到的是內(nèi)部編輯群，明天可能會對外提供多個客戶服務。最后我們還可以給個人驅(qū)動，UGC，或者PGC，這是用戶的事情。

另外還有一個業(yè)務線，明天可能還會有新的業(yè)務線，或者說我的樂拍，我們很多業(yè)務線產(chǎn)品都會調(diào)動，用到你的平臺你就要為每一個平臺提供一個可靠的服務，他會期待給你更可靠地去傳輸，更快服務的響應。

不管怎么說最后從平臺化的角度，我們要提一個共同服務視角，包括服務質(zhì)量、流量控制，不同級別的牌照都要做。這里邊也有場景，我們剛才劃了幾個場景，一個是內(nèi)網(wǎng)上傳，還有一個是外網(wǎng)上傳。我們企業(yè)用戶用云視頻服務的時候一定要用外網(wǎng)，這些都是平臺化說提出的更多的要求，不再是一個內(nèi)部應用系統(tǒng)，而是一個對外普通的邊界。

首先看看平臺化里面做了哪些事情？我們把整個上傳機又原來JAW的，或者N的都是通過擴展模式，特別是對于云數(shù)據(jù)管理來看，這時我們做了很多文件的管理，從目標端消冗，到云端消冗。所以說我們還有一個整個的全網(wǎng)的部署，整個無中心的部署方案怎么來做，一會兒我們看看后邊遇到的問題。

企業(yè)級的云存儲很多人用到壓縮模塊，你會發(fā)現(xiàn)不管是增加費用的問題，關鍵是你有沒有必要去存儲，因為你存儲實際上就是一個時間和空間的策略問題，如果說為了讓空間上去壓縮、去少占東西，這一點我們沒有進任何壓縮模塊，我們還是該怎么進怎么進，我們速度要求得比較高。

下面是包括到我們進入企業(yè)云存儲時代的時候，我們云服務遞增的問題，所以說今天你可以看樂視網(wǎng)的平臺并沒有提供像亞馬遜那樣，我們互聯(lián)網(wǎng)數(shù)據(jù)里面經(jīng)常為了做一些分布式計算，是移動計算，而不是移動數(shù)據(jù)。還有一種是計算型的存儲集群，是Hadoop集群。

 我們來看一下我們在全國的上傳機部署里面又做了幾次價格演進，首先我們假設這是一個武漢的節(jié)點，我們?yōu)榱耸�機器你會發(fā)現(xiàn)這個出發(fā)點要求也是很互聯(lián)網(wǎng)、很經(jīng)濟化，你說SDMS有一個額外成本節(jié)點，你還可以做熱備，這個呢是非數(shù)據(jù)的資源，圍繞我們上傳節(jié)點，我們是圍繞無中心的節(jié)點來做，這是一套測試數(shù)據(jù)，這套測試數(shù)據(jù)跑的結(jié)果是什么？

這個無中心的狀態(tài)有一個坑，你用戶數(shù)據(jù)量不大的時候可以，數(shù)據(jù)量很大的時候，這種無中心的節(jié)點你自己去擴展新節(jié)點的時候，要做一次數(shù)據(jù)的平衡，這個數(shù)據(jù)平衡會把所有數(shù)據(jù)結(jié)點的網(wǎng)卡會占很大一部分。

特別是當其中會發(fā)現(xiàn)你的數(shù)據(jù)結(jié)點里面發(fā)現(xiàn)一些服務，會發(fā)現(xiàn)這個服務找不著，他會自動地去做平衡，壓力過大的情況下這個方案還是不可行的，我們只能當作一級存儲來用。這個在去年的DOIT的大會上我把它作為一個一體式的可以，整個云存儲的客戶來講大平臺的一方面。

我們新的業(yè)務點是其他四點加HDFS方案，這里面實際上也會有問題，當你剛才看到看這個集群的時候，是因為有上行、又下行，今天只是把上傳做了，把下載的劃掉，你上傳也會有問題，另外剛才也是說到了SDFS集群的問題，我們下一步解決方案通過我們通過一個有機云來解決，是我們自己分布式的系統(tǒng)。

我們在整個公網(wǎng)搭了一個雙環(huán)架構的分存儲云，大家知道樂視做了很多業(yè)務、做了很多產(chǎn)品，左下角是對外提供服務的，右邊是一些個人用戶，個人用戶里邊有一些是終端戶和云存儲的用戶，大家知道樂視網(wǎng)有一個樂視網(wǎng)牌，這么多業(yè)務線都在用一套業(yè)務平臺。

我們來看一看在個人云存儲時代里邊有哪些變化，首先我們個人的UGC業(yè)務，它是這個行業(yè)最大的特點，我們上傳自己的數(shù)據(jù)，它將來會變成一個個人數(shù)據(jù)中心，進而變成基于個人數(shù)據(jù)的云存儲的服務，比如說音樂的服務、圖片的服務、視頻的服務等等，具體就不講太多了。

再往下看，個人云存儲數(shù)據(jù)里面會出現(xiàn)很多問題，比如多樣性的問題，個人已經(jīng)進入一比幾，你發(fā)現(xiàn)我們在技術環(huán)節(jié)里面，我們把所有的硬件的資源，包括產(chǎn)品性的資源都加到一起，兩種場景使用不同，第一個是數(shù)據(jù)量比較大，就是增量不大的場景，

因為我們每天的個人云存儲也在十個T左右，如果數(shù)據(jù)增量不明顯，有大數(shù)據(jù)的業(yè)務，底層架構也是有優(yōu)化，我們建議大家把這種陣列作為內(nèi)存去做。你通過一個內(nèi)存擴展頁符合了內(nèi)存當硬盤，硬盤當內(nèi)存來使用。

今天我們做了這么多帶寬，包括技術優(yōu)化，我們整個的云存儲平臺還是根據(jù)業(yè)務場景，一個組織自由化的過程，這個圖時間關系不講太多了。關鍵還是看一下我們怎么解決HDFS的存在問題。右邊分三塊，第一個是真正的數(shù)據(jù)存儲，第二塊是數(shù)據(jù)存儲的引擎集群，包括數(shù)據(jù)的定位，位置在哪里放等等，這些都是通過存儲引擎來做。

第三個物理存儲區(qū)，可以實現(xiàn)無限吞吐。我們做一個測試吧，我們現(xiàn)在整個吞吐能力有限，我們來看這個數(shù)據(jù)，這里邊得到一個結(jié)論，大家可以看一下，這里邊你要知道你的瓶頸是在上傳機還是在存儲，通過這臺負載來看，整個理論值三百兆都差不多了，最后你會發(fā)現(xiàn)整個超時是在K14這臺使顯得，最后整個平靜上傳機數(shù)量比較大的時候，我們整個平靜就是在存儲集群。

我們整個瓶頸在存儲集群的話，我們通過每個區(qū)來擴，擴完之后你數(shù)據(jù)就比較小，我們整個集群現(xiàn)在已經(jīng)提供了一個美秒1500兆的集群，我們?yōu)槭裁匆�做四臺打壓機，這個基礎上能接近1500兆每秒的大值，現(xiàn)在我們期望做三百個區(qū)，每個區(qū)有這樣一個節(jié)點，今天我們這個指標還可以去擴，只要你有足夠的機器，可以隨便去擴，這個是我們一個核心的東西。最后講一些數(shù)據(jù)經(jīng)濟下的東西，我們在技術上支持了不管是上傳的瓶頸、存儲的瓶頸，以及有一個策略的時候，我們在業(yè)務上怎么樣讓我們的用戶達到更高的數(shù)據(jù)服務體驗，這里邊實際上各種數(shù)據(jù)我們在網(wǎng)上能夠使用它的商用的，音樂你要聽、視頻你要看，這些我們通過網(wǎng)傳的方式去做的，全網(wǎng)不可靠的情況下，我們把內(nèi)部業(yè)務量增加到產(chǎn)品級，第一個是數(shù)據(jù)的存儲，第二個是整個數(shù)據(jù)的服務體驗，各種不同的分析數(shù)據(jù)，第三個是達到整個場景的服務模擬等等，時間關系就不多介紹了。