▲英特爾透露的Romley技術(shù)細(xì)節(jié)

但從目前透露出的有關(guān)Romley的資料來(lái)看，其將在處理器平臺(tái)上內(nèi)建6GB SAS，并且將以類似“軟RAID”的方式直接由處理器進(jìn)行RAID。從目前處理器的運(yùn)算能力上來(lái)看，這并不是天方夜譚，如英特爾至強(qiáng)E7平臺(tái)在性能和可靠性方面已經(jīng)不弱于傳統(tǒng)的RISC小型機(jī)?？深A(yù)見(jiàn)其一旦發(fā)布，必然會(huì)直接給HBA市場(chǎng)帶來(lái)直接影響，而不久之前LSI收購(gòu)SandForce似乎就是一個(gè)“暗號(hào)”(關(guān)于LSI收購(gòu)SandForce的意義，有興趣的朋友可以關(guān)注《LSI收購(gòu)SandForce：精耕閃存市場(chǎng)》)。而從整個(gè)行業(yè)高度來(lái)看的話，Romley一旦發(fā)布必然將再次推動(dòng)整個(gè)存儲(chǔ)行業(yè)的發(fā)展，并直接給中低端存儲(chǔ)市場(chǎng)注入一劑“強(qiáng)心針”。

推廣SSD不遺余力

不僅如此，英特爾在SSD市場(chǎng)上的霸主地位也已確定。如果說(shuō)處理器芯片市場(chǎng)可以算是英特爾的老本行的話，那么SSD則彰顯了英特爾在新興市場(chǎng)中的創(chuàng) 新能力。其對(duì)SSD的推廣力度可謂是不遺余力，在2011年4月的北京IDF大會(huì)上，英特爾對(duì)SSD的工作原理、測(cè)量方法以及使用誤區(qū)都做了詳盡的講解。 在9 月的美國(guó)IDF大會(huì)上，又分享了SSD在數(shù)據(jù)中心以及企業(yè)級(jí)IT系統(tǒng)的應(yīng)用案例進(jìn)行了分享。

IDF大會(huì)上的技術(shù)課程也許不能直接帶來(lái)銷售數(shù)字，卻使SSD深入人心。從市場(chǎng)研究公司IDC的最新數(shù)據(jù)即可略見(jiàn)端倪，2011年第三季度的SSD 出貨量達(dá)到了66.6億，在企業(yè)級(jí)市場(chǎng)(包括數(shù)據(jù)中心系統(tǒng)、存儲(chǔ)陣列和服務(wù)器)，銷售額由去年同期的2.478億美元增長(zhǎng)到了5.22億美元，增長(zhǎng)超過(guò)一 倍。而在客戶端(消費(fèi)級(jí)市場(chǎng))的收入由去年同期的 3.54億美元增長(zhǎng)到了7.16億美元，也超過(guò)了一倍的增長(zhǎng)。

IDC認(rèn)為，SSD現(xiàn)在已經(jīng)真正進(jìn)入到了主流市場(chǎng)的行列。雖然不能完全說(shuō)是英特爾的功勞，但其對(duì)SSD的推動(dòng)作用卻不能忽視。并且，在美國(guó)的IDF大會(huì)上，英特爾正式對(duì)PCIe SSD的應(yīng)用前景做了講解，服務(wù)器與存儲(chǔ)的再次融合即將發(fā)生。

Open FCoE推進(jìn)數(shù)據(jù)中心統(tǒng)一網(wǎng)絡(luò)進(jìn)程

Open FCoE是英特爾發(fā)布的一個(gè)開(kāi)源項(xiàng)目，其旨在通過(guò)“允許具備以太網(wǎng)卡和光纖通道轉(zhuǎn)接器的系統(tǒng)登錄到以前只為光纖通道HBAs準(zhǔn)備的光纖通道網(wǎng)路中”，這將 “有助于加強(qiáng)網(wǎng)絡(luò)聚合性，降低數(shù)據(jù)中心的復(fù)雜性”。其以軟件形式實(shí)現(xiàn)，不需要任何特殊的硬件，也不依賴于主機(jī)的處理能力，并且這都是免費(fèi)的。

數(shù)據(jù)量的海量劇增，尤其是海量的非結(jié)構(gòu)化數(shù)據(jù)，對(duì)數(shù)據(jù)中心的網(wǎng)絡(luò)帶寬要求越來(lái)越高，并且，由于數(shù)據(jù)處理、分析技術(shù)的發(fā)展，企業(yè)數(shù)據(jù)的價(jià)值逐漸凸顯， 數(shù)據(jù)的流通頻率越來(lái)越高，使得原有的數(shù)據(jù)中心網(wǎng)絡(luò)越來(lái)越難滿足企業(yè)的需求，迫切需要一種新的網(wǎng)絡(luò)協(xié)議來(lái)滿足大數(shù)據(jù)時(shí)代下的業(yè)務(wù)需求。而FCoE則被大多數(shù) 人看作是未來(lái)數(shù)據(jù)中心網(wǎng)絡(luò)的最大競(jìng)爭(zhēng)者。

從目前存儲(chǔ)協(xié)議的路線圖來(lái)看，在FC方面，目前主流的是8GB，16GB已經(jīng)發(fā)布，并有應(yīng)用，下一步則是32GB FC。而在以太網(wǎng)方面，10GB以太網(wǎng)已經(jīng)開(kāi)始使用，并已有部分大型企業(yè)數(shù)據(jù)中心開(kāi)始嘗試40GB以太網(wǎng)，10GB無(wú)損以太網(wǎng)橋接技術(shù)已經(jīng)逐步在存儲(chǔ)產(chǎn)品中使用(如戴爾 EqualLogic)，下一階段目標(biāo)則是100GB。32GB FC與之相差甚遠(yuǎn)，所以基于以太網(wǎng)的FCoE的優(yōu)勢(shì)就十分明顯了。

目前，英特爾的Open FCoE項(xiàng)目得到了業(yè)內(nèi)諸多廠商的支持，如EMC宣布它的Symmetrix VMAX and VNX平臺(tái)將支持Open FCoE，思科Nexus 2000和5000統(tǒng)一光纖交換機(jī)也將認(rèn)證它。據(jù)英特爾透露，還包括了NetApp、博科、戴爾、微軟、Novell、 Oracle和Red Hat等均對(duì)其提供支持。

統(tǒng)一存儲(chǔ)嶄露頭腳

盡管統(tǒng)一存儲(chǔ)出現(xiàn)了這么多年，但它的重要性和未來(lái)發(fā)展趨勢(shì)卻是近些年才被逐漸認(rèn)識(shí)的。從2011年各廠商的宣傳和發(fā)展中，明顯可以感覺(jué)到其正在逐漸 升溫，并超過(guò)了之前的熱點(diǎn)之一——集群NAS。據(jù)市場(chǎng)研究公司ESG發(fā)布的調(diào)查數(shù)據(jù)亦可證實(shí)，ESG在對(duì)306個(gè)有存儲(chǔ)規(guī)劃或者決策職責(zé)的IT專業(yè)人士的 調(diào)查中發(fā)現(xiàn)，有70%已經(jīng)或者正在計(jì)劃實(shí)施統(tǒng)一存儲(chǔ)。有23%已經(jīng)實(shí)施了這個(gè)技術(shù)，47%的仍在規(guī)劃階段。

統(tǒng)一存儲(chǔ)指的是一種網(wǎng)絡(luò)存儲(chǔ)架構(gòu)，它既支持基于文件的NAS存儲(chǔ)，又支持基于塊的SAN存儲(chǔ)。這種多協(xié)議系統(tǒng)可以通過(guò)IP或光纖通道(FC)連接至 服務(wù)器。在統(tǒng)一存儲(chǔ)系統(tǒng)中，塊訪問(wèn)通過(guò)光纖通道、SAS或基于以太網(wǎng)的iSCSI等接口來(lái)實(shí)現(xiàn);文件訪問(wèn)是指使用基于以太網(wǎng)的CIFS或NFS訪問(wèn)存儲(chǔ)系 統(tǒng)中的文件系統(tǒng)。

統(tǒng)一存儲(chǔ)較為被人所熟知的有NetApp早期發(fā)布的，被評(píng)為美國(guó)存儲(chǔ)雜志評(píng)為的2002年最佳存儲(chǔ)產(chǎn)品獎(jiǎng)的FAS 900，而最新的則是EMC在2011年發(fā)布的，在業(yè)內(nèi)大出風(fēng)頭的VNX家族系列。不管是國(guó)際廠商還是國(guó)產(chǎn)廠商都先后推出了自己的統(tǒng)一存儲(chǔ)，如IBM的 StorwizeV7000系列，戴爾的EqualLogic FS7500，國(guó)內(nèi)廠商則有華賽(現(xiàn)已被華為收購(gòu))的Oceanspace N8000集群NAS存儲(chǔ)系統(tǒng)，創(chuàng)新科(UIT)的SV3000、第二代統(tǒng)一存儲(chǔ)SV5000G2以及SV6100/6800，同有飛驥公司的 iSUM620、iSUM810和iSUM860等等?？芍^是“百家爭(zhēng)鳴，百花齊放”。

▲2011年EMC大出風(fēng)頭的VNX家族

在統(tǒng)一存儲(chǔ)市場(chǎng)，老對(duì)手NetApp與EMC的角力將成為重頭戲。NetApp統(tǒng)一存儲(chǔ)產(chǎn)品的代表是FAS系列，其中中端產(chǎn)品的知名度最高，比如最新的中端產(chǎn)品NetApp FAS3040與FAS3020相比，其性能和可擴(kuò)展性分別提高75%和50%。NetApp統(tǒng)一存儲(chǔ)產(chǎn)品可以支持文件服務(wù)、FC SAN、IP SAN和多網(wǎng)絡(luò)配置，能夠無(wú)縫升級(jí)到更高性能的系統(tǒng)。

EMC VNX系列是新一代統(tǒng)一存儲(chǔ)的代表，它遺傳了Celerra NAS和CLARiiON SAN的優(yōu)秀基因，可以在單個(gè)存儲(chǔ)控制器內(nèi)同時(shí)運(yùn)行Celerra DART和CLARiiON FAIR存儲(chǔ)堆棧，并可通過(guò)Unisphere接口進(jìn)行管理。與原有的EMC中端存儲(chǔ)系統(tǒng)相比，高可擴(kuò)展的VNX的性能和效率提高了3倍，管理也更加簡(jiǎn)單。VNX是高端技術(shù)下移的典型代表，具有全自動(dòng)存儲(chǔ)分層、虛擬化、精簡(jiǎn)配置等多種功能。

統(tǒng)一存儲(chǔ)一掃之前的不振，而在2011年嶄露頭腳，究其原因在于，數(shù)據(jù)量的迅猛增長(zhǎng)，尤其是非結(jié)構(gòu)化數(shù)據(jù)量的快速增長(zhǎng)，對(duì)存儲(chǔ)的性能、容量和功能等提出了更高的要求，而原來(lái)單一的SAN或NAS已經(jīng)不能滿足用戶多方面的存儲(chǔ)需求;iSCSI SAN的出現(xiàn)，逐漸消除了FC與IP之間的隔閡;從服務(wù)器整合到網(wǎng)絡(luò)融合，再到數(shù)據(jù)中心整合，整合已是大勢(shì)所趨，存儲(chǔ)也不能置身事外。

外部原因促使存儲(chǔ)廠商將目光再次聚焦到統(tǒng)一存儲(chǔ)上面，并相繼推出各自的產(chǎn)品?；谟布夹g(shù)的飛速發(fā)展，使得統(tǒng)一存儲(chǔ)的作用逐步凸顯，并將在未來(lái)大放異彩。

單兵作戰(zhàn)已落伍 融合基礎(chǔ)架構(gòu)初登臺(tái)

據(jù)Gartner的研究報(bào)告顯示，對(duì)于企業(yè)來(lái)說(shuō)，數(shù)據(jù)增長(zhǎng)是數(shù)據(jù)中心硬件基礎(chǔ)架構(gòu)所面臨的最大挑戰(zhàn)，其次分別是系統(tǒng)性能和可擴(kuò)展性以及網(wǎng)絡(luò)阻塞和接 入架構(gòu)。在數(shù)據(jù)中心內(nèi)擔(dān)負(fù)海量數(shù)據(jù)貯存重任的存儲(chǔ)設(shè)備，近幾年來(lái)正隨著各行各業(yè)數(shù)據(jù)量的爆炸性增長(zhǎng)而逐漸走紅，其受用戶關(guān)注的程度，很多時(shí)候甚至還超越了 服務(wù)器。這也導(dǎo)致了數(shù)據(jù)中心面臨最大的壓力也不再是計(jì)算，而是存儲(chǔ)和網(wǎng)絡(luò)。從而，數(shù)據(jù)中心的運(yùn)行效率取決于存儲(chǔ)系統(tǒng)的部署和網(wǎng)絡(luò)設(shè)計(jì)。

未來(lái)的數(shù)據(jù)中心，不管是對(duì)企業(yè)內(nèi)部人員，還是對(duì)于外部客戶，都會(huì)通過(guò)網(wǎng)絡(luò)連接，針對(duì)不同的應(yīng)用有單獨(dú)匹配的設(shè)備提供支持，所有的計(jì)算都通過(guò)互聯(lián)網(wǎng)聯(lián) 結(jié)在一起，這些網(wǎng)絡(luò)也連接企業(yè)當(dāng)中的近端存儲(chǔ)和遠(yuǎn)端存儲(chǔ)。而開(kāi)放性、高利用率、自動(dòng)化、低耗、自動(dòng)化管理也將成為新一代數(shù)據(jù)中心建設(shè)的關(guān)注點(diǎn)。

在這樣的背景下，出現(xiàn)了將服務(wù)器，存儲(chǔ)，網(wǎng)絡(luò)，虛擬化或是應(yīng)用軟件等多重IT技術(shù)融合在一起的基礎(chǔ)架構(gòu)供用戶選擇。隨著越來(lái)越多的廠商進(jìn)入市場(chǎng)和現(xiàn)有的廠商不斷改進(jìn)他們的產(chǎn)品，選擇融合基礎(chǔ)架構(gòu)作為構(gòu)建現(xiàn)代化數(shù)據(jù)中心的平臺(tái)正在吸引著越來(lái)越多企業(yè)用戶的關(guān)注。

▲惠普云系統(tǒng)CloudSystem的組成

在這其中，既有諸如惠普、IBM等老牌供應(yīng)商，也有戴爾、華為等新加入者;并且各廠商根據(jù)各自所長(zhǎng)而推出了各具特色的融合基礎(chǔ)設(shè)施解決方案。如網(wǎng)絡(luò) 設(shè)備巨頭思科與存儲(chǔ)巨頭EMC和虛擬化技術(shù)巨頭VMware 共同組建了VCE聯(lián)盟，推出VBlock產(chǎn)品，與此類似是NetApp、思科和VMware的FlexPod。另一類的代表則是惠普、IBM，今年戴爾完 成了對(duì)Force10的收購(gòu)，使得戴爾也轉(zhuǎn)型成為一家整體解決方案供應(yīng)商，并在最近推出了自有的融合基礎(chǔ)架構(gòu)產(chǎn)品——vStart。

傳統(tǒng)的數(shù)據(jù)中心建設(shè)是一個(gè)非常漫長(zhǎng)的過(guò)程，從規(guī)劃到最后完成，耗時(shí)長(zhǎng)久，并且消耗大量的人力成本，總體投入成本較高。并且，在投入使用之后，運(yùn)營(yíng)成 本和維護(hù)成本都相對(duì)較高。而采用類似vStart之類的整體解決方案則可避免此類問(wèn)題。因?yàn)椴捎媒y(tǒng)一的融合基礎(chǔ)架構(gòu)，整體解決方案供應(yīng)商會(huì)根據(jù)預(yù)先規(guī)劃設(shè) 計(jì)的模板搭建，部署靈活簡(jiǎn)單，可大幅降低部署時(shí)間。如富士通、Sun推出的集裝箱數(shù)據(jù)中心突破了傳統(tǒng)數(shù)據(jù)中心空間的限制，大大降低了企業(yè)的建設(shè)成本，并且 對(duì)企業(yè)的 IT系統(tǒng)的地理空間的選擇也較為靈活，如集裝箱式數(shù)據(jù)中心直接停放在空曠處即可。

就用戶而言，已經(jīng)不再將目光聚焦于單獨(dú)的硬件或軟件，由于大數(shù)據(jù)所帶來(lái)的沖擊，用戶更多地將目光聚集在架構(gòu)或服務(wù)能力方面，希望能夠快速部署，并提供相應(yīng)的業(yè)務(wù)需求，至于底層如何實(shí)現(xiàn)并不是用戶所要關(guān)心的問(wèn)題，也不需要關(guān)心，而融合基礎(chǔ)架構(gòu)正是基于此推出。

至于未來(lái)將會(huì)如何，我們不能確保，但從目前的市場(chǎng)反應(yīng)來(lái)看，諸多的大小用戶均對(duì)此表示出濃厚的興趣。而實(shí)際上，我們看到，包括戴爾、IBM和惠普在 內(nèi)的整體解決方案供應(yīng)商在2011年都加大了對(duì)這融合基礎(chǔ)架構(gòu)的推廣和宣傳力度，而這種力度在2012年將會(huì)持續(xù)增強(qiáng)，并將伴隨“云”一起進(jìn)入到企業(yè)數(shù)據(jù)中心。

大數(shù)據(jù)時(shí)代 集群存儲(chǔ)與Hadoop異軍突起

大數(shù)據(jù)(big data)，目前業(yè)內(nèi)并沒(méi)有一個(gè)明確的定義，其通常是指企業(yè)或組織創(chuàng)造的大量的結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，企業(yè)或組織很難用傳統(tǒng)的分析方法 來(lái)對(duì)這些海量數(shù)據(jù)進(jìn)行處理。在這其中，業(yè)內(nèi)普遍認(rèn)為非結(jié)構(gòu)化數(shù)據(jù)占據(jù)了企業(yè)數(shù)據(jù)的80%，這些海量數(shù)據(jù)給企業(yè)的數(shù)據(jù)分析處理以及存儲(chǔ)帶來(lái)了極大的挑戰(zhàn)。

雖然大數(shù)據(jù)給企業(yè)IT帶來(lái)了前所未有的挑戰(zhàn)，但其中所蘊(yùn)含的價(jià)值與商機(jī)卻讓諸多企業(yè)“眼紅不已”，競(jìng)相爭(zhēng)做“第一個(gè)吃螃蟹的人”。由此集群存儲(chǔ)和Hadoop應(yīng)運(yùn)而生，被業(yè)內(nèi)認(rèn)為是大數(shù)據(jù)時(shí)代的最佳工具。

集群存儲(chǔ)異軍突起

隨著整個(gè)IT領(lǐng)域技術(shù)的飛速發(fā)展，很多以前的新技術(shù)、新架構(gòu)，如今面臨淘汰甚至已經(jīng)消失在技術(shù)發(fā)展的浩瀚長(zhǎng)河中;而今天的很多新技術(shù)，還將面臨同樣的命運(yùn)，存儲(chǔ)領(lǐng)域的技術(shù)更迭相比其他任何一個(gè)領(lǐng)域都表現(xiàn)的格外明顯。

存儲(chǔ)領(lǐng)域的關(guān)鍵技術(shù)SAN和NAS架構(gòu)如今也已經(jīng)有了近20年的發(fā)展歷史，并從十年前開(kāi)始取代DAS成為企業(yè)存儲(chǔ)的主流標(biāo)準(zhǔn)架構(gòu)。然而，SAN和NAS 平臺(tái)本質(zhì)上是對(duì) DAS 的改進(jìn)，并未突破傳統(tǒng)存儲(chǔ)技術(shù)的瓶頸，傳統(tǒng)存儲(chǔ)架構(gòu)依然存在根本性的體系結(jié)構(gòu)缺陷。如高可擴(kuò)展性、管理難度、安全性和可靠性等方面的局限使之很難應(yīng)對(duì)大數(shù)據(jù)所帶來(lái)的挑戰(zhàn)。而集群存儲(chǔ)的誕生，使得企業(yè)IT“重見(jiàn)光明”。

集群存儲(chǔ)是指：由若干個(gè)“通用存儲(chǔ)設(shè)備”組成的用于存儲(chǔ)的集群，組成集群存儲(chǔ)的每個(gè)存儲(chǔ)系統(tǒng)的性能和容量均可通過(guò)“集群”的方式得以疊加和擴(kuò)展。通 過(guò)模塊化的硬件使得集群存儲(chǔ)具備開(kāi)放式架構(gòu)(高可擴(kuò)展性)、分布式操作系統(tǒng)、統(tǒng)一命名空間、易于管理、負(fù)載均衡以及高性能等優(yōu)勢(shì)。

利用集群存儲(chǔ)的這些特點(diǎn)可提高并行或分區(qū)I/O的整體性能，特別是工作流、讀密集型以及大型文件的訪問(wèn)，通過(guò)采用更低成本的服務(wù)器來(lái)降低整體成本。 并且得益于英特爾在存儲(chǔ)標(biāo)準(zhǔn)化方面的大力推動(dòng)，標(biāo)準(zhǔn)化的硬件平臺(tái)使得集群存儲(chǔ)系統(tǒng)架構(gòu)成為可能，并使之規(guī)?；?。運(yùn)算能力已經(jīng)不弱于RSIC小型機(jī)的X86 提供了較高的計(jì)算密度、較低的成本和功耗、以及簡(jiǎn)單靈活的管理，使得基于X86平臺(tái)的集群存儲(chǔ)在應(yīng)對(duì)大數(shù)據(jù)等規(guī)?；鎯?chǔ)需求時(shí)具備不可比擬的成本優(yōu)勢(shì)。

▲初志CZSS集群存儲(chǔ)系統(tǒng)架構(gòu)

在目前市場(chǎng)上，眾多中外廠商均已加入進(jìn)來(lái)，如在塊級(jí)集群存儲(chǔ)方面，有基于網(wǎng)格架構(gòu)的IBM XIV集群系統(tǒng)、3PAR Inserv-T800集群存儲(chǔ)系統(tǒng)、EMC Symmetrix V-MAX集群存儲(chǔ)系統(tǒng)以及Dell EqualLogic 虛擬化存儲(chǔ)系統(tǒng)。在文件級(jí)集群存儲(chǔ)系統(tǒng)方面的廠商或產(chǎn)品就更多了，如HP Ibrix集群存儲(chǔ)系統(tǒng)、華賽 N8500集群NAS系統(tǒng)、中科院計(jì)算所 BWStor 藍(lán)鯨集群存儲(chǔ)系統(tǒng)、初志 CZSS 集群存儲(chǔ)系統(tǒng)、昆騰 Stornext集群存儲(chǔ)以及被業(yè)內(nèi)所熟知的EMC Isilon 集群存儲(chǔ)系統(tǒng)等等。

目前，集群存儲(chǔ)已經(jīng)在國(guó)內(nèi)的某些特定商業(yè)領(lǐng)域得到了成功應(yīng)用，如能源、科學(xué)、廣電、娛樂(lè)等。在這些行業(yè)中，客戶需要存儲(chǔ)系統(tǒng)的功能、特點(diǎn)能夠適應(yīng)其 業(yè)務(wù)應(yīng)用環(huán)境，并且不能影響過(guò)去的投資，更重要的是不能影響整個(gè)業(yè)務(wù)的運(yùn)作。因?yàn)榧捍鎯?chǔ)可以在底層為用戶應(yīng)用提供強(qiáng)大的支持，所以當(dāng)用戶真正理解了其概 念和優(yōu)勢(shì)后，是非常容易接受的。

與歐美市場(chǎng)相比，中國(guó)市場(chǎng)受到傳統(tǒng)或比較陳舊的系統(tǒng)架構(gòu)的阻礙相對(duì)較少，因此中國(guó)市場(chǎng)能夠比西歐或美國(guó)市場(chǎng)更易接受集群存儲(chǔ)。而在目前數(shù)據(jù)量劇增、 數(shù)據(jù)流通頻繁、企業(yè)/組織高管越來(lái)越傾向于對(duì)數(shù)據(jù)進(jìn)行分析后的結(jié)果來(lái)作出決策的情況下，集群存儲(chǔ)無(wú)論是在性能、可靠性還是成本等方面，均是有力的競(jìng)爭(zhēng)者。

體現(xiàn)大數(shù)據(jù)價(jià)值 Hadoop大放異彩

這年頭，如果不知道Hadoop，你都不好意思跟人說(shuō)你是“混”IT的。

Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開(kāi)發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序，并充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。其主要是由HDFS、MapReduce和Hbase三部分組成。

▲聽(tīng)眾如云——Hadoop 2011中國(guó)云計(jì)算大會(huì)大數(shù)據(jù)論壇盛況

大數(shù)據(jù)概念的提出有一段時(shí)間，2011年的中國(guó)，大數(shù)據(jù)卻異常的火爆，在各類型的大會(huì)上，只要有關(guān)于大數(shù)據(jù)的內(nèi)容，其必然人滿為患，而這種情形在 “Hadoop中國(guó)云計(jì)算大會(huì)”上可謂是到了極致。其中，包括FaceBook、Google、淘寶、人人網(wǎng)、即刻搜索、華為以及騰訊等國(guó)內(nèi)外知名IT公 司都對(duì)Hadoop的應(yīng)用經(jīng)驗(yàn)進(jìn)行了分享，一時(shí)之間，聽(tīng)眾如云，讓我們深切感受到大數(shù)據(jù)帶來(lái)的“火熱”。

另一方面，大數(shù)據(jù)所帶來(lái) 的商業(yè)價(jià)值越來(lái)越吸引眾多的企業(yè)加入對(duì)大數(shù)據(jù)的分析行業(yè)，而在這之中，開(kāi)源的Hadoop工具則成為大數(shù)據(jù)處理的首選工具。 雖然目前的Hadoop生態(tài)系統(tǒng)還并未完善，但隨著越來(lái)越多的公司加入其中，業(yè)內(nèi)人士認(rèn)為，Hadoop必將成為大數(shù)據(jù)處理分析的首選“利器”。目前包括 微軟、EMC以及IBM等諸多跨國(guó)廠商已經(jīng)加入其中，并有基于Hadoop的相關(guān)產(chǎn)品發(fā)布。

開(kāi)源的商業(yè)價(jià)值在哪里?我想紅帽公 司也許會(huì)給我們提供一個(gè)很好的實(shí)例。據(jù)最新消息顯示，紅帽已經(jīng)突破10億美元的收益。就Hadoop而言，其前景 似乎更加樂(lè)觀，諸多投資人均表示對(duì)Hadoop具有濃厚興趣。從分布式層面上來(lái)說(shuō)，Hadoop開(kāi)源軟件整體方案供應(yīng)商Cloudera已獲得7600萬(wàn) 美元投資，分布式架構(gòu)新成員MapR和Hortonworks分別融資2900 萬(wàn)美元和5000萬(wàn)美元;而從棧的層面上來(lái)看，Hadoop海量數(shù)據(jù)分析平臺(tái)Datameer、 Karmasphere和Hadapt已分別獲得了1000萬(wàn)美元左右投資。大量專注這一技術(shù)的初創(chuàng)公司(如Zettaset、Odiago和 Platfora等)更是如雨后春筍般迅速涌現(xiàn)。另外，投資機(jī)構(gòu)Accel Partners最近還成立了一個(gè)總額為1億美金的大型數(shù)據(jù)基金，專門用于投資基于Hadoop和其他核心大型數(shù)據(jù)技術(shù)的應(yīng)用。

并且，更為重要的是，越來(lái)越多的用戶加入到Hadoop這個(gè)生態(tài)系統(tǒng)之中，如在Hadoop World大會(huì)和網(wǎng)絡(luò)博客上經(jīng)?？梢钥吹絎alt Disney、Orbitz、LinkedIn、和Etsy等很多大公司通過(guò)講述自己的親身實(shí)踐大贊Hadoop;在國(guó)內(nèi)的典型代表則有淘寶、人人網(wǎng)、即 刻搜索、華為以及騰訊等等。用戶口碑永遠(yuǎn)是最有效的宣傳途徑。這些大用戶的“親身試法”，對(duì)很多潛在用戶來(lái)說(shuō)是一種無(wú)形的鼓勵(lì)，也能在一定程度上幫助他們 認(rèn)識(shí)“從何開(kāi)始、去往何處”的問(wèn)題。

再加上Hadoop本身的優(yōu)勢(shì)，除了核心設(shè)計(jì)思想MapReduce和 HDFS(Hadoop Distributed File System?)外，Hadoop還包括了從類SQL查詢語(yǔ)言HQL，到NoSQL HBase數(shù)據(jù)庫(kù)，以及機(jī)器學(xué)習(xí)庫(kù)Mahout等內(nèi)容。Cloudera、Hortonworks和MapR都已在他們的分布式系統(tǒng)中加入了Hadoop 項(xiàng)目。最近，Cloudera還成立一個(gè)名為Bigtop的項(xiàng)目，集成了所有Hadoop相關(guān)項(xiàng)目。作為一個(gè)幕后英雄，Hadoop未來(lái)必將應(yīng)用于越來(lái)越 多的領(lǐng)域，風(fēng)靡全球。

wangzhen