1 引言
全球性的數(shù)據(jù)爆炸才剛剛開始。由于寬帶互聯(lián)網(wǎng)接入的快速增長、數(shù)據(jù)設(shè)備的增加以及需要通過復(fù)制來保護(hù)重要數(shù)據(jù)的做法,日常生活中的數(shù)字內(nèi)容呈指數(shù)增長。隨著數(shù)據(jù)量的增長,數(shù)據(jù)存儲(chǔ)和管理的復(fù)雜性也相應(yīng)增加。
在本論文中,我們將研究管理數(shù)據(jù)的難題和負(fù)擔(dān),提出有關(guān)數(shù)據(jù)存儲(chǔ)解決方案將如何為解決這些難題而發(fā)展的模型,并討論數(shù)據(jù)存儲(chǔ)和管理的未來。
我們首先討論擁有數(shù)據(jù)所產(chǎn)生的負(fù)擔(dān)。數(shù)據(jù)增長,全球?qū)?shù)據(jù)訪問的需求增大,法律要求更復(fù)雜,數(shù)據(jù)中斷的后果越來越嚴(yán)重,數(shù)據(jù)壽命更長,所有這一切都使 IT 架構(gòu)師承擔(dān)的責(zé)任越來越大。因此,CIO 和 IT 架構(gòu)師越來越依賴存儲(chǔ)供應(yīng)商并要求他們幫助解決這些問題。
接下來,我們研究一個(gè)表示存儲(chǔ)解決方案發(fā)展的模型。通過研究數(shù)據(jù)存儲(chǔ)和管理技術(shù)的過去、現(xiàn)狀和未來,可以發(fā)現(xiàn)能夠最有效地減輕 IT 壓力的技術(shù)進(jìn)步。
然后我們使用存儲(chǔ)發(fā)展模型來說明 Network Appliance 認(rèn)為對(duì)增強(qiáng)存儲(chǔ)系統(tǒng)功能和提高 IT 管理員效率最有效的三個(gè)革新領(lǐng)域。
最后,我們討論隨著存儲(chǔ)標(biāo)準(zhǔn)的發(fā)展和虛擬化技術(shù)的日益完善,存儲(chǔ)和數(shù)據(jù)管理的新范例成為現(xiàn)實(shí)的可能性。雖然虛擬化將實(shí)現(xiàn)的自動(dòng)化程度在目前看來仍像是科學(xué)幻想,但是從當(dāng)前的法規(guī)遵從和備份系統(tǒng)來看,這樣的未來并不像人們所想像的那樣遙遠(yuǎn)。
2 擁有數(shù)據(jù)所產(chǎn)生的負(fù)擔(dān)
我們正處在全球數(shù)據(jù)爆炸的開始階段,相比之下未來 50 年人口急劇增長顯得微不足道。到 2050 年,世界人口預(yù)計(jì)從 65 億增加到 91 億。更驚人的預(yù)測是,自動(dòng)監(jiān)視和數(shù)據(jù)收集設(shè)備(50 年前聞所未聞)的數(shù)量可能不久就超過人類。更多人口 + 更多設(shè)備 + 更多時(shí)間 = 更多數(shù)據(jù)。據(jù)IDC Worldwide Disk Storage Systems Forecast 2006-2010 ,我們可以預(yù)計(jì)全球數(shù)據(jù)在這十年中的復(fù)合年平均增長率為 50.6%。這個(gè)增長率意味著每 5.5 年左右,需要管理的數(shù)據(jù)將增加 10 倍。
數(shù)據(jù)呈指數(shù)增長
現(xiàn)在創(chuàng)建和訪問數(shù)據(jù)比以前更容易。單單互聯(lián)網(wǎng)數(shù)據(jù),全球超過十億用戶不停地在創(chuàng)建,并且這個(gè)數(shù)字每天都在增加。互聯(lián)網(wǎng)已經(jīng)成為靜止圖像、視頻和音頻的巨大存儲(chǔ)庫。手機(jī)、便攜式計(jì)算機(jī)和 PDA 不斷增多,這些設(shè)備通過專用網(wǎng)絡(luò)、無線網(wǎng)絡(luò)和互聯(lián)網(wǎng)等多種訪問點(diǎn)連接數(shù)據(jù),所有這一切都加快了數(shù)據(jù)的增長。用于組織連續(xù)性和安全的環(huán)境傳感器、視頻監(jiān)視系統(tǒng)和通信記錄系統(tǒng)在公共和私營部門中創(chuàng)建大量基本數(shù)據(jù)。
非結(jié)構(gòu)化數(shù)據(jù)(未存儲(chǔ)在數(shù)據(jù)庫中的大量文件和電子郵件)是這種增長的最主要因素,占組織在線存儲(chǔ)數(shù)據(jù)量的 70% 到 80% 。此類數(shù)據(jù)的增多是大量書面存檔的日常轉(zhuǎn)換。
數(shù)據(jù)文件的有意副本也加劇了數(shù)據(jù)量的增長。重要數(shù)據(jù)例行復(fù)制到多個(gè)位置以防止所有類型的災(zāi)難。例如,在數(shù)據(jù)挖掘領(lǐng)域,通常為了運(yùn)行商務(wù)智能查詢而復(fù)制巨大的數(shù)據(jù)庫。應(yīng)用程序開發(fā)和測試過程中也會(huì)有意地創(chuàng)建大型數(shù)據(jù)庫的大量臨時(shí)副本。在全球,重要數(shù)據(jù)例行復(fù)制到多個(gè)位置以防止所有類型的損失。
個(gè)人在共享文件時(shí)無意中創(chuàng)建數(shù)不盡的數(shù)據(jù)文件副本,使問題更加復(fù)雜。請(qǐng)看某個(gè)人將一個(gè)文件發(fā)送給 15 位同事時(shí)產(chǎn)生的副本數(shù):收件人將文件保存到個(gè)人系統(tǒng)之后,可能還復(fù)制一次文件作為備份,按規(guī)定第二次復(fù)制,第三次復(fù)制用于災(zāi)難恢復(fù)。這樣,將單個(gè)文件發(fā)送給 15 個(gè)人可能產(chǎn)生 60 個(gè)文件副本:15 個(gè)有意副本和另外 45 個(gè)無意副本。
數(shù)據(jù)管理成本急劇增長
隨著數(shù)據(jù)量的增長,復(fù)雜性相應(yīng)增加,因此數(shù)據(jù)管理成本也相應(yīng)增加。具體地說,數(shù)據(jù)管理復(fù)雜性隨不斷增長的數(shù)據(jù)量呈對(duì)數(shù)增長。
存儲(chǔ)數(shù)據(jù)的成本是一種消耗。存儲(chǔ)密度不斷提高,使保存數(shù)據(jù)比決定什么值得保存的成本更低。數(shù)據(jù)對(duì)未來應(yīng)用有價(jià)值的可能性使人們對(duì)不加區(qū)別的選擇感到悲觀。在沒有經(jīng)濟(jì)原因而需要對(duì)所有現(xiàn)有數(shù)據(jù)進(jìn)行整理的情況下,沒有人執(zhí)行清理工作。這種低效率對(duì) IT 預(yù)算造成空前的消耗。由于存儲(chǔ)器成本的不斷下降,一種使所有這些數(shù)據(jù)保持可用的觀念使得 CIO 和 IT 管理員愿意付出更多。
訪問要求更嚴(yán)格。數(shù)據(jù)訪問需求也越來越具有挑戰(zhàn)性。全球化有效地終止了計(jì)劃停機(jī)時(shí)間。雖然紐約正值休息時(shí)間,但是上海卻正值工作時(shí)間,數(shù)據(jù)必須全天候可用。如今的網(wǎng)上世界要求 100% 的數(shù)據(jù)可用性。
易管理性困境
不保留:不再需要時(shí)由用戶刪除的臨時(shí)數(shù)據(jù)。
保留到某個(gè)時(shí)間:法規(guī)要求保留規(guī)定的一個(gè)時(shí)期才能刪除的數(shù)據(jù)。
由于不知道而無限期保留:永遠(yuǎn)不會(huì)被刪除的數(shù)據(jù)。
法律要求更復(fù)雜。越來越多的商務(wù)運(yùn)作采用數(shù)字方式進(jìn)行記錄和存儲(chǔ),關(guān)于商務(wù)和數(shù)據(jù)的法律法規(guī)越來越多,并且未能遵從這些法規(guī)所導(dǎo)致的后果會(huì)越來越嚴(yán)重。在美國,未能保持客戶個(gè)人信息安全可導(dǎo)致入獄和最高罰款 50 萬美元。Sarbanes-Oxley 規(guī)定,未能遵從數(shù)據(jù)保留政策可導(dǎo)致最長 20 年監(jiān)禁和最高 500 萬美元罰款。Gartner 預(yù)測,到 2006 年末,沒有將數(shù)據(jù)庫中存儲(chǔ)的信用卡號(hào)加密將被視為美國未授權(quán)公開民法案例中的法律疏忽。歐盟要求電信部門保留三年之內(nèi)的客戶電話記錄。無論在什么國家或地區(qū),這些法律法規(guī)的負(fù)擔(dān)總是落在 IT 部門。
商務(wù)風(fēng)險(xiǎn)后果更嚴(yán)重。全球網(wǎng)上經(jīng)濟(jì)要求空前的數(shù)據(jù)可用性和安全性。從短期觀點(diǎn)來看,數(shù)據(jù)中斷會(huì)對(duì)公司的盈利產(chǎn)生有害影響。從長遠(yuǎn)觀點(diǎn)來看,數(shù)據(jù)中斷會(huì)損害公司的聲譽(yù)并產(chǎn)生嚴(yán)重的財(cái)務(wù)影響。
除了無法訪問數(shù)據(jù)之外,喪失數(shù)據(jù)安全性的后果也很嚴(yán)重。Gartner 在 2005 年 9 月對(duì)侵犯隱私的成本進(jìn)行的一項(xiàng)量化研究中,Gartner 估計(jì) 100,000 記錄侵犯隱私的成本是平均每個(gè)客戶帳戶 90 美元,包括通知、信用報(bào)告和法律成本,但不包括罰款和品牌損害。
許多因素都會(huì)增大安全風(fēng)險(xiǎn);其中一個(gè)是數(shù)字?jǐn)?shù)據(jù)高度便攜。目前,一卷備份磁帶可以保存 2000 萬磅重的書面文件。從前只能放在巨大倉庫中的數(shù)據(jù)現(xiàn)在可以放在口袋中隨身攜帶。此類數(shù)據(jù)整合產(chǎn)生大量安全漏洞。
人類管理的數(shù)據(jù)已經(jīng)太多。歸根結(jié)底,只有三種類別的數(shù)據(jù):不保留的數(shù)據(jù)、保留到某個(gè)時(shí)間的數(shù)據(jù)以及由于不知道而無限保留的數(shù)據(jù)。其中,無限期保留的數(shù)據(jù)占絕大多數(shù)。
并非所有無限期保留的數(shù)據(jù)將來都要使用。但是考慮到一卷備份磁帶等于 2000 萬磅書面文件,顯然設(shè)法判明哪些數(shù)據(jù)值得無限期保留是一項(xiàng)耗費(fèi)巨大的任務(wù)??咳斯ぬ暨x此類數(shù)據(jù)也顯然永遠(yuǎn)不會(huì)發(fā)生。如今,保存所有數(shù)據(jù)比決定要丟棄哪些數(shù)據(jù)更容易且更劃算。
要規(guī)劃一個(gè)存儲(chǔ)環(huán)境,使它能夠有效地滿足訪問、安全、法規(guī)遵從、成本控制和更改等方面的要求,IT 架構(gòu)師必須擔(dān)當(dāng)多種角色。他們需要是律師、保安、財(cái)務(wù)總監(jiān)、外交官、技術(shù)專家和預(yù)言家。期望 IT 架構(gòu)師成為所有這些方面的專家并不現(xiàn)實(shí),因此CIO 現(xiàn)在轉(zhuǎn)向存儲(chǔ)供應(yīng)商尋求幫助。
NETAPP 遠(yuǎn)景系列:探索數(shù)據(jù)管理的未來(2)
存儲(chǔ)在線版權(quán)所有,如需轉(zhuǎn)載,請(qǐng)與我們聯(lián)系。