LSI存儲解決方案部執(zhí)行副總裁Phil Brace

大數(shù)據(jù)時代機遇與挑戰(zhàn)

移動互聯(lián)時代，我們每時每刻感受著數(shù)據(jù)量的沖擊，當前每一分鐘就有2.4億封郵件被收發(fā)，同時也會有長達幾十萬分鐘的視頻在網(wǎng)絡(luò)上流通。而且數(shù)據(jù)的增長不會停止。大量的結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)改變這個世界以及我們的工作和生活。爆炸式的數(shù)據(jù)增長給IT基礎(chǔ)設(shè)施帶來機遇與挑戰(zhàn)。如何處理這些數(shù)據(jù)以及通過大數(shù)據(jù)分析為人類社會發(fā)展帶來價值？數(shù)據(jù)中心IT基礎(chǔ)架構(gòu)面對大數(shù)據(jù)的技術(shù)挑戰(zhàn)如何應(yīng)對？都是值得人們?nèi)ヌ接憽?/p>

Phil Brace舉了兩個現(xiàn)實中的例子，來展示一下有了大數(shù)據(jù)，并對大數(shù)據(jù)進行分析能夠帶來什么樣切實的效果。

首先是通過大數(shù)據(jù)分析能實現(xiàn)對自然災(zāi)害的快速響應(yīng)，2012年10月颶風(fēng)Sandy使得美國東海岸24個州受到影響，如果沒有超級計算機對于大數(shù)據(jù)的分析，此次災(zāi)害影響會大很多。通過超級計算機對成千上萬個數(shù)據(jù)源分析，做了一個23小時多達760 Data sources的分析，每一天都會做這樣的仿真模擬的分析，每小時采集的數(shù)據(jù)量是1TB。預(yù)測實時的風(fēng)速、水的溫度，為颶風(fēng)周邊30英里內(nèi)造成的影響提供預(yù)測，幫助政府可以及時在颶風(fēng)降臨之前，做好人員撤離災(zāi)區(qū)，對災(zāi)難進行應(yīng)對，準確的數(shù)據(jù)和實時應(yīng)急響應(yīng)挽救了更多的生命。

其次是對數(shù)據(jù)分析掀起醫(yī)療革命，大家知道人類基因組圖譜的繪制對于醫(yī)學(xué)來說是偉大的一件事情。從2000年開始一直到2013年，總計投入了數(shù)以十億美金的投資，來做人類基因圖譜的解析。但是現(xiàn)在，過去需要13年完成的基因組工作，現(xiàn)在在一個月內(nèi)就可以做完?？梢韵胂笠幌?，一個基因是0.5TB的數(shù)據(jù)量，有幾萬個基因要去分析，有幾十億個病人要分析不同的基因，所以單指在醫(yī)藥一個領(lǐng)域，大數(shù)據(jù)就可以為我們提供巨大的價值。

其實還有很多領(lǐng)域，比如智能的能源、交通、視頻監(jiān)控等等，有很多應(yīng)用案例。比如只是在倫敦一個城市，就安裝了500萬個攝像頭。所以大家就可以看到大數(shù)據(jù)的意義何在。

大數(shù)據(jù)推動計算架構(gòu)轉(zhuǎn)型為數(shù)據(jù)流架構(gòu)

LSI 存儲解決方案部執(zhí)行副總裁 Phil Brace媒體圓桌采訪

通過案例我們可以總結(jié)大數(shù)據(jù)具有三個特性，多元、海量、高速。多元是在數(shù)據(jù)源的來源可以來自各個方面。手機、記錄、結(jié)構(gòu)化、非結(jié)構(gòu)化等等成千上萬的數(shù)據(jù)源。海量是指大數(shù)據(jù)當然是指海量的數(shù)據(jù)，我們估計在2012年的數(shù)據(jù)總量達到2.8ZB。到2020年，預(yù)測是有40ZB的數(shù)據(jù)量產(chǎn)生，也就意味著在這段時間里會有一個數(shù)據(jù)20倍的增加量。高速是我們每一分鐘每一小時都會面臨非常多的數(shù)據(jù)涌入?？傊磺卸夹枰覀冊诙嘣?、高速、海量的數(shù)據(jù)中分析提取出真正有價值的數(shù)據(jù)。

如何提取有價值的數(shù)據(jù)？分三步驟，首先是從不同的數(shù)據(jù)源采集各種數(shù)據(jù)（需要計算能力創(chuàng)新），其次需要保存這些數(shù)據(jù)（需要存儲能力的創(chuàng)新），最后需要對數(shù)據(jù)進行分析（需要軟硬件結(jié)合快速融合的解決方案）。因此需要對現(xiàn)有的工具、產(chǎn)業(yè)環(huán)境以及基礎(chǔ)架構(gòu)進行創(chuàng)新。“第一是我們要有工具，工具就是像Hadoop這樣的一些框架協(xié)議，它能夠分析大型的數(shù)據(jù)。第二是需要開放的生態(tài)系統(tǒng)，比如說像Openstack，及其它的開源項目。第三是IT基礎(chǔ)設(shè)施，我們需要硬件軟件的結(jié)合去處理大數(shù)據(jù)。”Phil Brace講到。

可以看出，貫穿云的大數(shù)據(jù)，整個IT架構(gòu)從“計算”架構(gòu)轉(zhuǎn)型為“數(shù)據(jù)流”架構(gòu)。企業(yè)將面對更多更復(fù)雜的數(shù)據(jù)傳輸、共享和存儲的壓力。對于IT基礎(chǔ)架構(gòu)及解決方案帶來了全新的課題。

順應(yīng)大數(shù)據(jù) LSI不斷技術(shù)創(chuàng)新

知道如何提取有價值的數(shù)據(jù)步驟之后，通過怎樣的技術(shù)實現(xiàn)數(shù)據(jù)采集、存儲以及分析？LSI提供的產(chǎn)品和技術(shù)示范滿足數(shù)據(jù)中心基礎(chǔ)架構(gòu)規(guī)模及經(jīng)濟性？Phil Brace 全面介紹了LSI全面的產(chǎn)品與技術(shù)。Phil Brace認為當前面臨的不再簡單的是一個計算的系統(tǒng)，而是一個數(shù)據(jù)流的系統(tǒng)。

如何更好的去采集、存儲以及分析數(shù)據(jù)，首先介紹第一個領(lǐng)域，數(shù)據(jù)的采集。我們面臨著各種各樣的數(shù)據(jù)源，面對豐富的資源類型和數(shù)據(jù)格式，各種服務(wù)和計費要求。需要保證服務(wù)質(zhì)量與安全。“無線基站里面有一個器件是多核的處理器，正是因為有這樣的處理器，它能夠以線速動態(tài)的捕獲整個網(wǎng)絡(luò)流量的情況，知道現(xiàn)在進來的流量優(yōu)先級別是如何的。”Phil Brace講到。LSI提供的異構(gòu)多核處理器Axxia以及可定制化芯片為數(shù)據(jù)采集提供充足的引擎。

LSI提供怎么的存儲產(chǎn)品？從采集再到保留數(shù)據(jù)，也就是存儲的部分。在整個架構(gòu)中，我們要去存儲、保留數(shù)據(jù)，要求就是你的容量必須是可擴展的、利用率要高、高可用性、保證數(shù)據(jù)的完整性，核心的挑戰(zhàn)是什么呢？就是它的復(fù)原力，要有非常低的宕機時間（故障時間少），低成本條件下的高可用性性以及低錯誤率。Phil Brace重點介紹了如何解決閃存存儲面臨的復(fù)原力的挑戰(zhàn)。他談了LSI最新的技術(shù)亮點。

第一，LSI支持東芝19nm閃存，LSI SandForce SF-2000閃存控制器現(xiàn)已支持東芝第二代先進19nm NAND閃存存儲器，使SSD制造商能夠制造出成本更低的SSD產(chǎn)品。每Gb的Flash成本降低了，單位存儲數(shù)量更高了。這樣就面臨一個重要的技術(shù)問題，因為Flash越做越小，它可以用來存儲電流的電子數(shù)量也越來越小了，所以導(dǎo)致它的錯誤率提高。

為了解決閃存錯誤率高的現(xiàn)象，LSI創(chuàng)新了新技術(shù)LSI SHIELD技術(shù)。這是一種高級的糾錯方法，即便同時使用出錯率較高的廉價閃存存儲器也能實現(xiàn)企業(yè)級的SSD耐久度和數(shù)據(jù)完整性。為了讓大眾通俗易懂，Phil Brace比喻：假設(shè)你在跟我用英文進行對話，我的英文是有口音的，可能某一個單詞你聽不清楚到底我說的是什么，但是根據(jù)前后的單詞你可以判斷出這個詞是什么，這就是SHIELD來做糾錯的原理。”也就是通過分析錯誤碼前后的數(shù)據(jù)高頻率的實現(xiàn)閃存糾錯。

關(guān)鍵是當我們面對閃存九千次/秒的編程擦寫速度，BCH、LDPC因為錯誤碼太多不能糾錯，但是SHIELD的技術(shù)仍然沒有問題。即使又提高了一倍，到一萬八千次/秒讀寫的速度，這時候出現(xiàn)的錯誤點基本上已經(jīng)沒法糾錯了，但是SHIELD仍然能夠達成目標。

還有一個亮點是LSI的可擴展能力技術(shù)，針對典型數(shù)據(jù)庫應(yīng)用，通過LSI DVC（DuraWrite Virtual Capacity）功能，其規(guī)劃出的虛擬容量可以達到原物理容量的三倍?？梢岳斫鉃樾略龅奶摂M容量可以顯著降低用戶每GB的用戶存儲成本。“這個壓縮技術(shù)是軟硬件結(jié)合的。其實我們看到其底層的技術(shù)，把它叫做動態(tài)壓縮，指的是我們可以動態(tài)的改變頁面的大小，比如一般來說有16K的大小，但有的時候它不是16K，可能要變得更小。所以這個時候我們就用軟件來做這樣一種映射，然后動態(tài)的調(diào)整頁面的大小。”Phil Brace講到。

接下來談數(shù)據(jù)的分析。LSI提供服務(wù)器與存儲連接解決方案以及PCIe閃存解決方案。數(shù)據(jù)的高速傳輸就是我們面臨的挑戰(zhàn)，即如何提高數(shù)據(jù)的效率，同時有高容量、高性能、低成本、低功耗。LSI方案采用6Gb/s驅(qū)動器獲得12Gb/s的性能。LSI推出了Nytro新的產(chǎn)品系列，目的就是降低延遲，提高響應(yīng)速度。

通過數(shù)據(jù)的采集、存儲和分析，三個領(lǐng)域的深入分析,LSI不斷解決解決用戶在大數(shù)據(jù)方面的技術(shù)難點。最后Phil Brace講到“我們現(xiàn)在已經(jīng)從PC時代進入了移動計算的時代，未來的下一個時代是什么呢？就是以數(shù)據(jù)為中心的時代。而大數(shù)據(jù)三個特點，多元、高速、海量。以及未來基礎(chǔ)設(shè)施有足夠的規(guī)模以及經(jīng)濟性，這些因素推動移動計算的架構(gòu)到數(shù)據(jù)流的架構(gòu)的轉(zhuǎn)換。為了順應(yīng)這種變化，LSI必須有智能的芯片解決方案，比如閃存、可共享的DAS的架構(gòu)，以及異構(gòu)的多核的處理器。為我們剛剛邁進全新的數(shù)據(jù)中心時代做準備。 ”

renxinbo