華為的大數據宣言：智慧與融合
阿明 發(fā)表于：13年07月11日 16:57 [原創(chuàng)] DOIT.com.cn
DOSTOR存儲在線 原創(chuàng)報道：當前，大數據時代已經來臨，用戶面臨著來自大數據存儲等若干方面的問題和挑戰(zhàn)，為此，如何更有利地滿足用戶在大數據環(huán)境下的新需求，并更好地將廠商自身的技術、產品、方案包括服務融合在一起，以更為智慧的方式提供給不同的用戶。華為存儲產品線Marketing部長經寧在肯定大數據給IT帶來的新機會的同時，也指出華為融合架構以及相關解決方案給用戶帶來的新價值。
事實上，大數據已經成為一個國家戰(zhàn)略，無論美國政府、還是英國政府還是聯合國，大數據已經成為一個重要戰(zhàn)略和重要的研究方向。中科院發(fā)布新的戰(zhàn)略報告，把大數據作為中國七個重要的研究領域。
可見，一方面大數據已成國家戰(zhàn)略，另一方面，大數據已經在各個行業(yè)、各個區(qū)域得到了廣泛應用。在經寧看來，大數據不僅是信息挖掘，而且大數據存儲就是一個非常重要的應用環(huán)境。比如在衛(wèi)星測繪、石油勘測、金融、互聯網等各個行業(yè)，大數據獲得廣泛應用。華為認為，電信行業(yè)也在不斷驅動，大數據更多應用在電信業(yè)務。當前其應用范圍比較窄，主要用于內部系統(tǒng)、運營結構化話單的分析。然而，這也在發(fā)生轉變，大數據已經從電信內部應用開始向更高系統(tǒng)轉變，從以往單一結構化數據，向多類型數據分析轉變，從流量分析向內容分析轉變。
現在，電信運營商正使用大數據分析，對既有業(yè)務進行深層挖掘，如中國聯通提供智慧營銷就是典型例子。藉此，運營商嘗試把自己掌握的數據作為新的資源開放出去，以此創(chuàng)造新業(yè)務，創(chuàng)造一個開放系統(tǒng)。再者如中國移動、江蘇移動提供的定位廣告業(yè)務，借助自身掌握的海量數據，向企業(yè)客戶提供各種有價值的分析數據
另外，運營商也在對自己內部的數據進行整合，通過構建大數據平臺，一方面可以降低數據存儲的成本，另一方面也可以提高統(tǒng)一決策的效率和準確度。因此，“在大數據時代，實際上為IT創(chuàng)造了一個新機會，從一個IT的簡單成本中心開始向利潤中心、運營中心轉移，非常明顯，大數據給IT在定位上帶來很大變化。”經寧進一步分析認為，大數據在營銷、定位、角色方面帶來了時代巨變。一是因數據增長推進IT從集中式架構向分布式架構演進;二是以計算為中心的架構開始逐步走向以數據為中心的架構;三是從典型水平式組成的層次化架構，開始向上下整合、縱向拉動的架構轉化。
華為在與眾多客戶直接面對面交流過程中，發(fā)現了這三個巨大變化，從中也找到了自身在變化中的定位與發(fā)展方向。
首先，在大數據時代，用戶數據猛增，帶來最直接的結果就是：以往傳統(tǒng)集中式架構，已經很難滿足用戶對大容量、高性能計算的要求。傳統(tǒng)架構往往在性能、容量、擴展性方面有限。道理很簡單，因為在這些方面的限制，用戶很有可能因現有一套系統(tǒng)不夠使用，會再建一套新系統(tǒng)，在建立多套系統(tǒng)后，勢必會造成數據孤島，形成管理復雜性，多套系統(tǒng)負載、壓力不均衡，數據計算需要在不同系統(tǒng)之間做遷移，造成管理非常復雜，無論針對成本、復雜性、時間等，都顯得非常麻煩。但是，通過分布式的架構，用戶可以實現容量線性擴展，這已經逐漸成為一種主流趨勢。在分布式架構中，用戶即以實現數據高效使用和管理的簡化。
其次，從技術中心轉向以數據為中心過程中，數據需要被處理和加工。不過，以往的處理和加工是什么樣子?從外界存儲取出來數據，被應用程序或其他系統(tǒng)程序所讀取并計算處理，處理完畢將其放入程序里面，整個業(yè)務流明顯有多個處理環(huán)節(jié)，要不斷地存儲、讀取、計算、再存儲，其系統(tǒng)的大量時間花費在數據的遷移上，一旦數據量增加，從數據向計算遷移的環(huán)節(jié)就肯定“費時費力”。
但在大數據環(huán)境下，華為存儲以數據為中心，不再以存儲為中心，使得用戶清楚知道數據具體分布在哪里，就近使用需要部署計算單元的應用程序。就如“將代碼推向我們的數據，通過這種方式可以大大減少大容量數據遷移的麻煩。”但，這種方式也會帶來挑戰(zhàn)，需要用戶要很清楚知道數據布局、分布怎樣，否則無法實現圍繞數據單元做文章。
最后，傳統(tǒng)架構方式都是層次化的，采用封閉的硬件、封閉的操作系統(tǒng)，底層是存儲，再往上是網絡，網絡上面部署服務器，服務器上面是操作系統(tǒng)、中間件，每層都是高度隔離。但是，華為現在強調將應用程序推向數據，推向存儲，在這種情況之下必然要求大家非常清楚計算和存儲之間的關系。那確實不只是一個水平的、相互隔離的狀態(tài)，必然需要清楚上下兩層之間的關系，從而就要求把上下兩層，甚至多層打通，打通后，華為將代碼就近部署。
對此，華為認為這樣的發(fā)展趨勢會導致存儲行業(yè)從相對封閉的硬件走向通用的硬件，如X86硬件，或其他硬件，并采用標準化的操作系統(tǒng)。為此，華為將更多Hoodop 開源的應用縱向整合，形成多個因素包括開發(fā)環(huán)境的整合。相關資料顯示，華為在印度建立了一個專門研究Hoodop的百人團隊，并且也給hoodp貢獻不小的成績。
與此同時，華為在研發(fā)方面大力投入，并成立2012實驗室，并對前端技術投入研發(fā)。在研發(fā)硬實力的奠定下，這些年華為在存儲得到了比較快的發(fā)展。2013年華為存儲產品線整體理念圍繞“存以致用，融以致遠。”在架構方面強調融合架構作用，通過融合架構實現計算與存儲融合，可以帶來更高管理效率、更高存儲效能，大大降低用戶在管理上的開銷。
為此，華為在大數據領域推出兩個關鍵技術：“三位一體”和全分布式技術。“三位一體”就是將存儲系統(tǒng)與存儲分析、數據挖掘分析、計算系統(tǒng)整合為一套產品，不再是多個產品的集合，從而實現存儲、分析、歸檔三個方面的自動化，免除了三者之間的裝載與遷移麻煩，同時實現全生命周期的數據管理，用戶可以選擇部分活躍數據歸檔，根據計算需要自動實現數據的調度。
華為在大數據領域有著突出的典型案例。比如歐洲的CERN和深圳大運會解決方案。華為三位一體的大數據解決方案，輕松應對數據的增長，在三位一體架構下，提升用戶系統(tǒng)讀取性能，并做大量數據做分析服務，實現端到端的可管理性，保證高標準嚴要求的處理手段，滿足這類對大數據應用廣泛的客戶對系統(tǒng)高效運行的需求。(阿明)
