什么是大數(shù)據(jù)？
佚名 發(fā)表于：12年09月07日 12:28 [轉(zhuǎn)載] 硅谷動力
海量數(shù)據(jù)到大數(shù)據(jù)的發(fā)展過程是一個從量變到質(zhì)變的過程。數(shù)據(jù)發(fā)展已有多年，每年都以翻倍的速度在增長。過去增長以往的技術(shù)能夠?qū)λ容^好的管理，但一旦到達一個臨界點以后就產(chǎn)生了一個質(zhì)變，過去的技術(shù)已經(jīng)符合不了當前的發(fā)展趨勢，需要新的技術(shù)來滿足新的數(shù)量級的需求。于是大數(shù)據(jù)的概念應運而生。
在Forrester分析師布賴恩·霍普金斯(Brian Hopkins)和鮑里斯·埃韋爾松(Boris Evelson)撰寫的《首席信息官，請用大數(shù)據(jù)擴展數(shù)字視野》報告中，他們提出大數(shù)據(jù)的4項典型特征——海量(Volume)、多樣性(Variety)、高速(Velocity)和易變性(Variability)。
海量
企業(yè)面臨著數(shù)據(jù)量的大規(guī)模增長。例如，IDC最近的報告預測稱，到2020年，全球數(shù)據(jù)量將擴大50倍。目前，大數(shù)據(jù)的規(guī)模尚是一個不斷變化的指標，單一數(shù)據(jù)集的規(guī)模范圍從幾十TB到數(shù)PB不等。簡而言之，存儲1PB數(shù)據(jù)將需要兩萬臺配備50GB硬盤的個人電腦。
此外，各種意想不到的來源都能產(chǎn)生數(shù)據(jù)。例如，從巴塞羅那至沙特首府利雅得的單程航行中，一架商用噴氣飛機上收集的傳感器數(shù)據(jù)量將超過1PB。當用一次飛行的數(shù)據(jù)量乘以每天所有飛行的航班數(shù)，數(shù)據(jù)總量將非常驚人。
多樣性
一個普遍觀點認為，人們使用互聯(lián)網(wǎng)搜索是形成數(shù)據(jù)多樣性的主要原因，這一看法部分正確。然而，數(shù)據(jù)多樣性的增加主要是由于新型多結(jié)構(gòu)數(shù)據(jù)，以及包括網(wǎng)絡日志、社交媒體、互聯(lián)網(wǎng)搜索、手機通話記錄及傳感器網(wǎng)絡等數(shù)據(jù)類型造成。其中，部分傳感器安裝在火車、汽車和飛機上，每個傳感器都增加了數(shù)據(jù)的多樣性。
高速
高速描述的是數(shù)據(jù)被創(chuàng)建和移動的速度。在高速網(wǎng)絡時代，通過基于實現(xiàn)軟件性能優(yōu)化的高速電腦處理器和服務器，創(chuàng)建實時數(shù)據(jù)流已成為流行趨勢。企業(yè)不僅需要了解如何快速創(chuàng)建數(shù)據(jù)，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實時需求。
根據(jù)IMS Research研究機構(gòu)關(guān)于數(shù)據(jù)創(chuàng)建速度的調(diào)查，通過跟蹤可聯(lián)網(wǎng)設備的激活量，發(fā)現(xiàn)聯(lián)網(wǎng)設備增長的第二波浪潮正在加速到來。本輪增長后，將涌現(xiàn)更多新型可聯(lián)網(wǎng)設備增長的浪潮。據(jù)預測，到2020年全球?qū)碛?20億部互聯(lián)網(wǎng)連接設備。
易變性
大數(shù)據(jù)具有多層結(jié)構(gòu)，這意味著大數(shù)據(jù)會呈現(xiàn)出多變的形式和類型。相較傳統(tǒng)的業(yè)務數(shù)據(jù)，大數(shù)據(jù)存在不規(guī)則和模糊不清的特性，造成很難甚至無法使用傳統(tǒng)的應用軟件進行分析。傳統(tǒng)業(yè)務數(shù)據(jù)隨時間演變已擁有標準的格式，能夠被標準的商務智能軟件識別。目前，企業(yè)面臨的挑戰(zhàn)是處理并從各種形式呈現(xiàn)的復雜數(shù)據(jù)中挖掘價值。
