袁紹龍 發(fā)表于:14年04月23日 15:59 [原創(chuàng)] DOIT.com.cn
云計算、移動化、社交網(wǎng)絡、大數(shù)據(jù)被公認為四大趨勢,大數(shù)據(jù)則以挖掘數(shù)據(jù)中所蘊含的價值被大量用戶所關注,隨著大數(shù)據(jù)生態(tài)圈的形成和穩(wěn)步發(fā)展,Hadoop已經(jīng)成為大數(shù)據(jù)重要的平臺。近日,在2014 SAS中國區(qū)用戶大會上,SAS公司高層表示SAS希望利用多年在數(shù)據(jù)分析方面的經(jīng)驗讓Hadoop集群平臺更加強大。
Hadoop 2.0版本在去年推出之后,最重要的變化就是將被人所詬病的Mapreduce框架升級為Apache YARN框架,大大擴展了Hadoop中應用軟件種類和應用程度。SAS公司作為商業(yè)分析軟件領域的重要廠商,在2014年年初也推出了適用于Hadoop架構的SAS內(nèi)存分析技術(SAS IN-Memory Statistics For Hadoop),SAS公司表示該技術可以讓多用戶同時交互地管理、挖掘和分析數(shù)據(jù),建立和對比模型,以及對Hadoop框架內(nèi)的海量數(shù)據(jù)進行評分。
圖一:大數(shù)據(jù)生態(tài)系統(tǒng)中Hadoop占據(jù)重要作用,基于Hadoop平臺上新的分析模式讓用戶有更多選擇,SAS近來也加入到對Hadoop平臺的支持。
SAS公司大數(shù)據(jù)研究與發(fā)展全球副總裁Paul Kent表示:“多虧Hadoop這個開源系統(tǒng)和開源框架使得過去只有超級計算機才能運行的運算可以由多臺計算機同時處理。Hadoop現(xiàn)在正在慢慢成長為一個分析平臺,能夠讓其他種類的軟件也融入和整合進來,SAS公司現(xiàn)在也可以參與到這個平臺之中,把它變得更加容易使用。SAS公司擁有40年的專業(yè)數(shù)據(jù)分析經(jīng)驗,能夠讓整個Hadoop框架和集群變得更好。”
圖二:SAS公司大數(shù)據(jù)研究與發(fā)展全球副總裁Paul Kent。
目前,在Hadoop平臺上的基于內(nèi)存計算框架和分析模式有多重,有現(xiàn)在非;鸨腟park/Shark、GreenPlum GenFire等等,Hadoop走向平臺化的趨勢就使得平臺上層的分析框架和模式更加多元化,也讓用戶的選擇更加靈活。“對于SAS而言,最大的優(yōu)勢就是集群環(huán)境下的運算和算法,這是SAS的核心競爭力所在,SAS是第一家把大量且復雜的精密運算應用到Hadoop集群的公司,用戶現(xiàn)在通過軟件就可以非常輕易的做過去只有數(shù)據(jù)科學家才能做的事情,比如建立很好的模型或對未來進行預測等。”Paul Kent表示。
據(jù)悉,SAS In-Memory Statistics For Hadoop內(nèi)存計算技術支持的統(tǒng)計和機器學習劍魔技術包括:聚類、遞歸、廣義線性模型、方差分析、決策樹、隨機決策森林、文本分析和推薦系統(tǒng)。SAS可視化分析(SAS Visual Analytics)采用的內(nèi)存分析技術也被應用到SAS In-Memory Statistics For Hadoop中。Paul Kent表示:“技術是非常重要的引擎,能夠處理更大集群的處理,更快地得出結果。同時,SAS也非常關注用戶界面友好,讓用戶使用方面。”
根據(jù)消息顯示,SAS公司目前已經(jīng)與Hadoop生態(tài)系統(tǒng)中的Cloudera和Hortonworks進行戰(zhàn)略合作。
SAS公司大中華區(qū)總裁吳輔世也表示:“目前國內(nèi)很多企業(yè)都做了Hadoop相關研究,在2,3年前很多企業(yè)仍然比較保守,現(xiàn)在包括電信行業(yè)、零售行業(yè)甚至一些金融行業(yè)用戶都對Hadoop技術進行了很多試點、測試和研究。過去傳統(tǒng)的主機和大型數(shù)據(jù)倉庫平臺做的工作現(xiàn)在逐步遷移到Hadoop平臺之中。”
圖三:SAS公司大中華區(qū)總裁吳輔世。
“現(xiàn)在對SAS公司而言是一個新的契機,過去SAS公司和Teradata、甲骨文等公司有很多合作,不管是直接訪問數(shù)據(jù)倉庫還是在庫內(nèi)做高速分析,都有各種軟件功能滿足用戶需求。現(xiàn)在Hadoop平臺的成熟,會讓用戶有更快速的部署、更精簡的投資,并且能從中獲得效益。”吳輔世補充道。
最后,吳輔世表示SAS公司對大數(shù)據(jù)趨勢發(fā)展以及中國大數(shù)據(jù)市場的潛力非常有信心,未來會與國內(nèi)合作伙伴繼續(xù)把服務做的更好,讓國內(nèi)大數(shù)據(jù)市場發(fā)展更大。