根據(jù)IDC的“數(shù)字宇宙”報告,受管理的數(shù)據(jù)量將增長50倍,而IT人員僅僅增長1.5倍
數(shù)字宇宙中,有75%的信息由個人產(chǎn)生的,企業(yè)則要為數(shù)字宇宙中80%的信息承擔責任。隨著越來越多的嵌入式系統(tǒng)涌入數(shù)字宇宙中,“文件”的數(shù)量——或者“封裝”信息的容器——將要比信息本身的增長速度更快。在未來5年,這些文件將增長8倍,而可用于管理這些文件的IT人力資源僅是略有增加。
數(shù)字宇宙中,不足1/3的信息可以說至少有最基本的安全或者保護措施,應該受到保護的信息中只有一半真正得到了保護。個人生成——寫入文檔、照相、下載音樂等等——的信息量遠遠少于生成的、關于他們自己的信息量。
數(shù)字宇宙的增長仍將超過存儲容量的增長。但是要記住,每保存1GB內(nèi)容,就可以產(chǎn)生1PB甚至更多瞬時數(shù)據(jù),而這些我們通常是不存儲的(例如,我們只看不記錄的數(shù)字電視信號,還有語音電話,通話過程中它在網(wǎng)絡主干中是數(shù)字形式的)。
因此,與我們的物理宇宙一樣,數(shù)字宇宙也是非常龐大的——500萬億份文件中的1.8ZB數(shù)據(jù)——而且每兩年翻一番。數(shù)字宇宙中的信息位數(shù)多如物理宇宙中的恒星。
數(shù)字宇宙中充斥著存在時間不長的數(shù)據(jù),但足以在這些數(shù)據(jù)消失之前讓我們的眼睛或者耳朵在捕捉到。這些數(shù)據(jù)暫時性的存在并不會削弱其價值,在其短暫生命中可有多種用途,例如拉動消費(增加網(wǎng)站流量的廣告收入)或?qū)崟r數(shù)據(jù)分析(以優(yōu)化現(xiàn)有操作和創(chuàng)造全新的市場)。
什么是數(shù)字宇宙爆炸式增長背后的力量?當然,技術因素幫助將信息產(chǎn)生、獲取、管理和保存的成本推低至2005年的1/6。但是主要動力卻是來自于財力方面。自從2005年,企業(yè)在數(shù)字宇宙中的投資增長了50%,花在了硬件、軟件、服務以及用于產(chǎn)生、管理和保存的人員上——以及從數(shù)字宇宙中獲得收入。
在信息社會中,信息就是金錢。關鍵是要通過從數(shù)字宇宙中提取出正確的信息來產(chǎn)生價值——從微觀層面類似于我們熟悉的普通CIO——似乎和物理宇宙一樣激蕩不安又難以預測。
事實上,這要歸功于新的工具和技術,以及新的IT和機構實踐,我們可能正處于一個數(shù)字宇宙探索主要時期的關口。技術融合現(xiàn)在不僅改變了業(yè)務經(jīng)營和管理的方式,還改變了我們工作和生活的方式。
新的獲取、搜索、發(fā)現(xiàn)和分析工具可以幫助企業(yè)機構獲得對于他們非結構化數(shù)據(jù)(占數(shù)字宇宙的90%以上)的洞察力。這些工具可以自動生成關于數(shù)據(jù)的數(shù)據(jù),就像是幫助標記Facebook照片的面部識別程序。關于數(shù)據(jù)的數(shù)據(jù)——也就是元數(shù)據(jù)——增長的速度是整個數(shù)字宇宙的2倍。
業(yè)務智能工具越來越多地處理實時數(shù)據(jù),新的存儲管理工具用于削減數(shù)保存數(shù)據(jù)的成本,例如重復數(shù)據(jù)刪除、自動分層和虛擬化等,并幫助我們決定到底保存哪些數(shù)據(jù),例如內(nèi)容管理解決方案。
逐漸成長起來的整個行業(yè)幫助我們遵守關于企業(yè)信息的規(guī)則(法律、法規(guī)和條例),使我們能夠獲得構建于存儲管理系統(tǒng)的法規(guī)遵從系統(tǒng)。
新的安全實踐以及工具可以幫助企業(yè)識別出需要保護的信息以及所需安全級別,然后使用特定的信息安全防護設備及軟件、欺詐管理系統(tǒng)、聲譽保護設備來確保信息安全。
相比傳統(tǒng)IT環(huán)境,云計算解決方案——公共云、私有云和混合云——為企業(yè)提供了新高度的規(guī)模經(jīng)濟、敏捷性和靈活性。從長遠來看,這將是是應對數(shù)字宇宙復雜性的一個關鍵工具(見下表)。
云計算將實現(xiàn)把IT作為服務進行消費的方式。云計算與大數(shù)據(jù)現(xiàn)象促使企業(yè)機構越來越多地將IT作為一種外部服務和內(nèi)部基礎架構投資的方式進行消費。
注:縱坐標為數(shù)據(jù)量,單位為EB(ExaBytes)
來源:IDC數(shù)字宇宙研究,EMC贊助,2011年6月
對數(shù)字宇宙“太空探索”的時期充滿挑戰(zhàn)。但是對于投身其中的“宇航員”——CIO和他們的員工——來說,它代表了一種獨特的、也許是職業(yè)生涯中唯一一次推動企業(yè)增長的機會。他們需要引導企業(yè)采用從采用并攫取數(shù)據(jù)價值的新信息技術和最佳實踐,以及創(chuàng)建新的規(guī)則和機構設計。每個步驟都要求組織變革,不僅僅是幾臺新的電腦或者更多軟件。未來幾年,很多企業(yè)的成功將取決于CIO如何成功地根據(jù)數(shù)字宇宙現(xiàn)實進行企業(yè)調(diào)整(見下表)。
來源:IDC數(shù)字宇宙研究,EMC贊助,2011年6月
云之旅
隨著數(shù)字宇宙不斷擴大并且更加復雜,信息的處理、保存、管理、保護和棄置也將變得更為復雜。
想想看:未來十年中,全球服務器(虛擬服務器和物理服務器)的數(shù)量將增長10倍,企業(yè)數(shù)據(jù)中心所管理的信息量將增長50倍,數(shù)據(jù)中心必須處理的文件數(shù)量將至少增長75倍。與此同時,IT專業(yè)人員的數(shù)量也將增長1.5倍。
因此,管理所有這些數(shù)據(jù)所需的技能、經(jīng)驗和資源將變得更加稀缺、更加專業(yè)化,要求一個新的、靈活且可擴展的IT基礎設施。今天,我們稱之為云計算。
雖然目前云計算在IT開支中所占比例不足2%,但是IDC預測,到2015年接近20%的信息將被云計算服務提供商所接手——這意味著一個字節(jié)從發(fā)起段到最后被棄置的過程,將云中保存或者處理。也許高達10%都是保留在云中的。
虛擬化的普及推動了向與架構的遷移。去年是虛擬服務器出貨量超過物理服務器的第一年。IDC預測,目前在服務器運行的信息有10%也運行在虛擬化系統(tǒng)中,而且這個比例到2015年將超過20%。目前一些大型環(huán)境的虛擬化系統(tǒng)比例甚至高達100%。
當然,云服務分為幾種形式——公共云、私有云和混合云。對于那些想要提供自己云服務的企業(yè)機構來說,他們要做的不僅僅是運行虛擬服務器。他們還必須實現(xiàn)虛擬化存儲和網(wǎng)絡、自主配置以及自主服務。很少有企業(yè)能做到這些,因此私有云對于數(shù)字宇宙的影響現(xiàn)在還很?。ㄒ娤聢D)。但是到2015年,當虛擬化基礎架構越來越普及,增長率將有所加速。
2015年數(shù)字宇宙于公共云
來源:IDC數(shù)字宇宙研究,EMC贊助,2011年6月
云采用的挑戰(zhàn)包括:
· 為切換到云所做數(shù)據(jù)方面的準備
· 集成云/非云管理
· 服務等級協(xié)議于終止策略
· 安全、備份、歸檔和災難控制策略
· 國家間的數(shù)據(jù)傳輸與遵從
· 機構策略
大多數(shù)虛擬化項目能夠成功的部分原因是,CIO們已經(jīng)選擇出企業(yè)內(nèi)部各部分可能不要以分享的信息的數(shù)據(jù)。轉(zhuǎn)換到云計算,意味著改變現(xiàn)狀,這總是一件困難的事,即使有很好的理由。
大數(shù)據(jù)的大價值
大數(shù)據(jù)看起來似乎是一個突如其來的熱潮。但實際上,大數(shù)據(jù)并不是什么新概念,相反,它是逐漸成為主流并獲得越來越多關注的概念。大數(shù)據(jù)在廉價存儲、激增的傳感器和數(shù)據(jù)采集技術的推動下得到了快速發(fā)展,通過云和虛擬化存儲基礎設施,創(chuàng)新軟件和分析工具的連接信息不斷增加。大數(shù)據(jù)不是一個“東西”,而是一個跨多個IT邊界的動態(tài)/活動,IDC對大數(shù)據(jù)所做的定義如下:
大數(shù)據(jù)技術描述了新一代的技術和架構,旨在從各種海量的數(shù)據(jù)中,通過高速采集、發(fā)現(xiàn)和/或分析,提取出數(shù)據(jù)隱藏的商業(yè)價值。
大數(shù)據(jù)是數(shù)字宇宙的一個橫斷面,可能包括交易數(shù)據(jù)、數(shù)據(jù)倉庫、元數(shù)據(jù)和其它大得離譜的文件中的數(shù)據(jù),媒體/娛樂、醫(yī)療保健和視頻監(jiān)控是大數(shù)據(jù)新增長領域的一些顯著例子,社會化媒體解決方案,如Facebook、Foursquare和Twitter都是最新的新數(shù)據(jù)源,實際上,它們已經(jīng)建立起由消費者持續(xù)提供(有意或無意)有關他們自身的數(shù)據(jù)流的系統(tǒng),得益于成功網(wǎng)站的網(wǎng)絡效應,產(chǎn)生的總數(shù)據(jù)量呈線性快速增長。
重要的是要明白,大數(shù)據(jù)不僅僅是關于保存或消耗的原始內(nèi)容,也包括它周圍的信息。智能手機是一個很好的例證,我們的移動設備會產(chǎn)生很多附加數(shù)據(jù)源,包括地理位置、文本消息、瀏覽歷史以及運動或方向數(shù)據(jù)(如下圖所示)。
大數(shù)據(jù)并不是創(chuàng)建的內(nèi)容,也不是它消耗的內(nèi)容——而是圍繞它所有數(shù)據(jù)的分析。
來源:IDC數(shù)字宇宙研究,EMC贊助,2011年6月
采集和分析這些“漩渦”數(shù)據(jù)的確是大數(shù)據(jù)的機會,但它也是數(shù)據(jù)中心管理人員噩夢開始的地方。數(shù)據(jù)中心架構和組織模型需要擴展,因為大數(shù)據(jù)應用程序遍及企業(yè)基礎設施的各個角落,集群環(huán)境,如大型Hadoop網(wǎng)格中使用的IT架構和組織方式,與推動大多數(shù)組織數(shù)據(jù)中心過渡戰(zhàn)略的融合和虛擬IT環(huán)境中的IT架構和組織方式完全不同。
大數(shù)據(jù)將注入與采集和分析、結果/預測報告相關的高速需求,IT最好圍繞特定機會和/或功能進行組織,而不僅僅是圍繞一套服務于傳統(tǒng)和新用途的共享服務組織,大多數(shù)IT學科——從基礎設施到應用程序,再到治理——是一個綜合團隊理想的組成部分,以某種有別于傳統(tǒng)企業(yè)IT方法的方法與大數(shù)據(jù)用戶緊密合作。
云提供商在大數(shù)據(jù)領域的方方面面將發(fā)揮關鍵作用,首先,他們是最重要的數(shù)據(jù)流和內(nèi)容收集者,其次,他們將是大數(shù)據(jù)系統(tǒng)最積極的使用者,第三,他們也給那些技術精通,但資源有限的組織提供了一種使用大數(shù)據(jù)的方式。例如,基于云的大數(shù)據(jù)平臺對小型工程和建筑公司來說非常實用,他們不用構建自己的大數(shù)據(jù)農(nóng)場,就可以在短期內(nèi)訪問大規(guī)模計算資源。
· 它是否提高了響應及時性?
· 它是否提供了更有用的信息?
· 它是否提高了信息的精確度?
Netflix可以建議你下一部應該租賃什么電影,在橋梁中嵌入傳感器動態(tài)監(jiān)控和檢查實時壓力,長期形成的腐蝕情況,零售商店分析數(shù)字視頻流,優(yōu)化產(chǎn)品陳列布局,在合適的地方顯示促銷信息來吸引你的注意,這些都是我們現(xiàn)實生活中涉及到大數(shù)據(jù)的鮮活案例。
大數(shù)據(jù)對CIO來說代表大機會和大挑戰(zhàn),幾乎每個CIO都渴望讓IT對組織實現(xiàn)更大的價值,在大數(shù)據(jù)項目中,IT是前端和核心,通常在業(yè)務的邊界,存在許多業(yè)務擴張或降低成本的機會。
大數(shù)據(jù)也帶來了一些挑戰(zhàn),正如前面提到的,大數(shù)據(jù)可能會造成當前數(shù)據(jù)中心過渡計劃中斷,此外,大數(shù)據(jù)部署需要新的IT管理和應用程序開發(fā)技能,具有這些技能的人在短期內(nèi)很可能是供不應求的,但最大的挑戰(zhàn)是文化挑戰(zhàn),今天,許多大數(shù)據(jù)項目戲稱為“少年科學項目”,除非嚴密管理,這些小項目可能很快就變成下一個“曼哈頓項目”。
除了挑戰(zhàn)外,機會也比比皆是,大數(shù)據(jù)給CIO帶來了新的機會,為業(yè)務部門或整個企業(yè)尋找更重要的戰(zhàn)略合作伙伴創(chuàng)造了合適的時機。
數(shù)字宇宙中的安全性
去年,我們第一次估算了數(shù)字宇宙中需要一定安全水平的信息量,可怕的現(xiàn)實是,需要保護的信息量增長速度超出了我們的保護能力,因為員工越來越多地將移動設備用于工作,消費者故意(和非故意)共享的個人數(shù)據(jù)也越來越多,值得欣慰的是,公司發(fā)現(xiàn)了挖掘這些數(shù)據(jù)的新方法。
為了了解數(shù)字宇宙中安全的程度,我們將需要安全保護的信息分為以下5類,每個需要的安全保護水平都不一樣:
· 隱私性:如Youtube上傳視頻中的電子郵件地址
· 法規(guī)遵從:如在訴訟或受保留規(guī)則中可能被泄露的電子郵件
· 保管型:賬戶信息,它被破壞可能會導致或幫助身份信息被盜
· 機密型:原始創(chuàng)建者希望保護信息,如商業(yè)秘密,客戶名單,機密備忘錄等等
· 鎖定型:需要最高安全的信息,如金融交易,個人文件,醫(yī)療記錄,軍事情報等等
2010年,數(shù)字宇宙中28%的信息需要某種水平的安全保護(如下圖所示),注意這僅僅是需要安全保護的信息。
對信息安全的需求:在數(shù)字宇宙中所占百分比
來源:IDC數(shù)字宇宙研究,EMC贊助,2011年6月
日益增多的、需要安全保護的信息主要由兩個源頭驅(qū)動:企業(yè)(包括員工)和消費者。
很多組織采用由用戶控制筆記本電腦,平板電腦和智能手機的策略,用戶可以將這些設備帶入公司工作或處理個人事務,IT資源迅速變成私有和公共基礎設施的混合體,這些組織身上的壓力是要找出一種辦法,跨多對多關系管理安全和服從義務。
在復雜和高度流動的環(huán)境中,信息使用、共享、歸檔和管理中的信任關系是關鍵,信任與信息的來源,過程和生成、采集和管理信息的計算機系統(tǒng)的完整性,以及可以接觸或訪問信息的個人和商業(yè)實體的憑據(jù)和身份有著極大的關聯(lián)。
我們很高興看到圍繞信任的討論變得越來越熱。在線數(shù)據(jù)收集變得更侵入,數(shù)據(jù)挖掘分析和大數(shù)據(jù)使企業(yè)分析個體消費者成為可能,不管是使用移動設備應用程序,還是積極參與社交網(wǎng)站,暴露的個人信息是越來越多,因此,越來越多的律師,教授和管理者呼吁修訂現(xiàn)行隱私和數(shù)據(jù)保護制度。
幾年前,我們引入了數(shù)字影子的概念(如下圖所示),這個影子每年的增長速度非???,我們的數(shù)字影子由我們可能認為可公開,但我們寧愿保密的信息組成,正是這種數(shù)據(jù)不斷增長,大數(shù)據(jù)才獲得了機會,幫助驅(qū)動更多個性化服務,更有效地管理連接,或創(chuàng)建有價值的新業(yè)務。
加速數(shù)字宇宙:數(shù)字陰影
來源:IDC數(shù)字宇宙研究,EMC贊助,2011年6月
那些管理自己私有云的組織,或那些提供公共云的組織,都必須找到辦法減少安全信息不必要的或意外曝光,員工和消費者(個體)不是做任何事情的時候都是可信任的,相反,組織必須整合政策和程序,創(chuàng)建一個可信任的環(huán)境,下面具體的步驟:
· 企業(yè)必須了解整個過程的依賴關系和計算資源
· 企業(yè)需要能夠識別可能的策略沖突,以及分析新技術和過程的影響
· IT組織管理的網(wǎng)絡拓撲和廠商關系越來越復雜,他們需要建立跨功能系統(tǒng)事件和變化的相互依賴關系,此外,他們需要跟蹤人、過程、信息和底層計算資源的依賴關系
· 企業(yè)必須證明他們一直符合他們的監(jiān)管和法律職責
移動計算,IT消費化,云計算,大數(shù)據(jù)和先進的數(shù)據(jù)挖掘技術,正在迫使許多組織從一個遵守的心態(tài)過渡到風險管理的心態(tài),風險管理框架允許組織裁剪它對信息、業(yè)務流程和業(yè)務關系臨界狀態(tài)的響應,因為資源是有限的,一個綱領性的風險管理框架也允許組織調(diào)整資源的優(yōu)先級,以便它能夠更快速地識別和響應最關鍵的威脅。