因?yàn)?，前不久金山云與英特爾宣布了彼此的深度合作，金山云托管Hadoop（Kingsoft MapReduce，簡稱KMR）解決方案是結(jié)合雙方技術(shù)優(yōu)勢共同打造的、基于英特爾架構(gòu)的大數(shù)據(jù)解決方案。對此，金山云大數(shù)據(jù)和AI技術(shù)總監(jiān)張東進(jìn)、金山云大數(shù)據(jù)產(chǎn)品經(jīng)理楊亮分享了該解決方案目前的部署情況與為用戶帶來的實(shí)際應(yīng)用價值。
一般具有顯著劃時代的科技創(chuàng)新都會有個規(guī)律，最初萌芽的時候帶來人類的無盡暢想，認(rèn)為其甫出便無所不能，但產(chǎn)業(yè)的狂躁過后便是冷靜，落地的層級表現(xiàn)也就逐步清晰了。
例如無人機(jī)，剛出現(xiàn)的時候就被很多專家看出要重塑快遞、交通、代價等多個行業(yè)，待到后來率先被亞馬遜及同行證實(shí)其僅在送貨上進(jìn)步還有巨大的空間。
人工智能也一樣。大數(shù)據(jù)時代的數(shù)據(jù)澆灌，讓人們覺得其是拯救企業(yè)走出數(shù)據(jù)創(chuàng)新樊籠最為得心應(yīng)手的殺手锏。但玩轉(zhuǎn)了一圈Hadoop后，認(rèn)識到，駕馭離夢想還是有點(diǎn)遠(yuǎn)。所以，公有云廠商們相信，這會是市場在很長的時間范圍內(nèi)都會有的藍(lán)海。
為此，金山云認(rèn)為，企業(yè)從云計算走到人工智能，他們的深度學(xué)習(xí)平臺KDL價值不可或缺。“我們這個平臺（KDL）可以深度助力企業(yè)擁抱AI。它是一個機(jī)器學(xué)習(xí)，尤其是深度學(xué)習(xí)的任務(wù)托管平臺，底層是基于金山云高性能的異構(gòu)計算集群，融合了英特爾等頂級合作伙伴的領(lǐng)先技術(shù)，將為我們的客戶帶來非常高的價值?！睆垨|進(jìn)這樣介紹KMR。
看看熱詞曲線，云計算、大數(shù)據(jù)與AI相繼而出。產(chǎn)業(yè)界討論也逐漸認(rèn)為，大數(shù)據(jù)是云計算走向人工智能必不可少的中間路徑。張東進(jìn)介紹，金山云多年的發(fā)展，也是很好地遵循了這個發(fā)展路徑需求。初期投入IaaS虛擬化，“讓企業(yè)將其業(yè)務(wù)放到云端，降低企業(yè)的部署成本，并且加速企業(yè)業(yè)務(wù)的發(fā)展?！边M(jìn)而玩轉(zhuǎn)大數(shù)據(jù)，讓數(shù)據(jù)變現(xiàn)，“要有利用這些數(shù)據(jù)驅(qū)動企業(yè)進(jìn)行決策的能力，以Hadoop為代表。” 現(xiàn)在看到人工智能是接下來的未來，“人工智能的需求也在快速增長，我們發(fā)現(xiàn)人工智能本身其實(shí)是一個對性能和規(guī)模有非常大要求的行業(yè)，這就是非常適合我們天然上云的一個行業(yè)?！?/p>
簡單理解，玩轉(zhuǎn)Hadoop就是要解決實(shí)現(xiàn)AI的成本、效率、安全、性能等方面的巨大挑戰(zhàn)。例如張東進(jìn)強(qiáng)調(diào)，金山云提供的全功能的深度學(xué)習(xí)集成環(huán)境，全流程優(yōu)化，所以從整個物料的預(yù)處理、物料的存儲、物料的訓(xùn)練、評估、上線預(yù)測等等方面都提供完整的支持。還有，人工智能的一個訓(xùn)練任務(wù)可能長達(dá)一周或者是半個月，而金山云可以提供一個企業(yè)級的數(shù)據(jù)加密和企業(yè)級HPC集群的安全、最穩(wěn)定環(huán)境，并且可以做到分鐘級的自動恢復(fù)，不耽誤人工智能出活兒。
除了KDL，金山云還為行業(yè)提供了各種中間層，包括提供基礎(chǔ)的視覺、聽覺、自然語言、VR/AR等等技術(shù)能力。同時，金山云還有一些上層行業(yè)的AI解決方案，針對醫(yī)療、金融、交通、物聯(lián)網(wǎng)等行業(yè)提供解決方案。
而這一切一切的背后，英特爾“inside”出力不小。金山云KMR，該解決方案采用基于英特爾? 至強(qiáng)? 處理器E5 v4產(chǎn)品家族的硬件平臺，是一個可伸縮的通用數(shù)據(jù)計算和分析平臺。它以Apache Hadoop和Apache Spark兩大數(shù)據(jù)計算系統(tǒng)為基礎(chǔ)，通過自動調(diào)度彈性計算服務(wù)（KEC），能夠幫助企業(yè)用戶快速構(gòu)建分布式數(shù)據(jù)分析系統(tǒng)。此外，結(jié)合金山云所提供的多種云服務(wù)產(chǎn)品，還可形成端到端的數(shù)據(jù)分析處理解決方案，進(jìn)而幫助用戶更加靈活方便地收集和管理數(shù)據(jù)，花費(fèi)更低的成本，獲得更高的數(shù)據(jù)可靠性。
基于英特爾與金山云一直以來的緊密合作，在KMR大數(shù)據(jù)解決方案的構(gòu)建過程中，英特爾不僅為金山云提供了性能強(qiáng)勁的硬件平臺，在針對Apache Hadoop、Apache Spark等開源數(shù)據(jù)分析技術(shù)的優(yōu)化、創(chuàng)新與應(yīng)用等方面也提供了有力的支持與幫助。目前，該解決方案已經(jīng)在當(dāng)當(dāng)、WPS等多家行業(yè)用戶中應(yīng)用部署。以當(dāng)當(dāng)為例，KMR大數(shù)據(jù)解決方案幫助其有效緩解促銷期間IT系統(tǒng)的壓力、大幅減少系統(tǒng)維護(hù)的工作和資源擁有成本，并根據(jù)業(yè)務(wù)需求實(shí)現(xiàn)了資源配置的靈活調(diào)配。
楊亮透露，當(dāng)當(dāng)網(wǎng)已經(jīng)是KMR的受益者了。“當(dāng)當(dāng)網(wǎng)在電商大促的時候，通過專線把實(shí)時數(shù)據(jù)流打到我們的KMR集群做處理和分析。處理的結(jié)果相對來說數(shù)據(jù)量會比較小，也會通過我們的專線寫回到當(dāng)當(dāng)網(wǎng)的數(shù)據(jù)中心。所以對于用戶來說，首先它的數(shù)據(jù)是不需要搬遷的，第二個，他的核心數(shù)據(jù)也可以保留在自己的數(shù)據(jù)中心，在數(shù)據(jù)安全方面也會更加放心。”
