網(wǎng)易數(shù)帆有數(shù)產(chǎn)品總經(jīng)理余利華指出:從大數(shù)據(jù)底座、到數(shù)據(jù)中臺、再到數(shù)據(jù)應(yīng)用,每個鏈路都需要更好的打磨才能服務(wù)好客戶,才能夠達成實際業(yè)務(wù)中“人人用數(shù)據(jù)、時時用數(shù)據(jù)”的目標,真正發(fā)揮數(shù)據(jù)生產(chǎn)力。以數(shù)據(jù)中臺為例,如今各個節(jié)點、系統(tǒng)的數(shù)據(jù)聚合成本越來越高,甚至拖慢了應(yīng)用交付,與此同時,數(shù)據(jù)應(yīng)用對實時數(shù)據(jù)的需求日趨增多;非結(jié)構(gòu)化數(shù)據(jù)理解也需要更多技術(shù)手段支撐。
針對大數(shù)據(jù)應(yīng)用現(xiàn)有的問題,網(wǎng)易數(shù)帆旗下網(wǎng)易有數(shù)發(fā)布了全新的全鏈路數(shù)據(jù)生產(chǎn)力平臺2.0,推出了DataOps、邏輯數(shù)據(jù)湖、實時數(shù)據(jù)引擎、機器學(xué)習(xí)平臺等技術(shù)工具和解決方案。
與傳統(tǒng)瀑布流式開發(fā)方式相比,DataOps引入DevOps的思想,在開發(fā)、測試、部署階段過程中就對接有關(guān)數(shù)據(jù),迭代式更新,針對不同階段的數(shù)據(jù)需求,提供一個跨越全流程的自動化開發(fā)工具。
從效果上看,網(wǎng)易云音樂使用DataOps對上線前代碼的風(fēng)險進行有效排查,自動運行測試,使得數(shù)據(jù)質(zhì)量問題下降了接近90%,平均需求交付周期從5天下降到2.5天,效率提升100%。
“邏輯數(shù)據(jù)湖”核心價值就是統(tǒng)一源數(shù)據(jù)信息、數(shù)據(jù)標準和數(shù)據(jù)源,同時兼容遺留系統(tǒng),支持Oracle/MySQL/Vertica等7類系統(tǒng),實現(xiàn)數(shù)據(jù)的統(tǒng)一開發(fā)和統(tǒng)一治理,是一種物理分散、邏輯統(tǒng)一的數(shù)據(jù)中臺。
余利華指出,在不要求數(shù)據(jù)遷移的前提下,邏輯數(shù)據(jù)湖實現(xiàn)了數(shù)據(jù)中臺集中管理。
針對實時數(shù)據(jù)的使用需求,網(wǎng)易有數(shù)發(fā)布了實時數(shù)據(jù)湖引擎Arctic,在全鏈路的數(shù)據(jù)應(yīng)用節(jié)點上,網(wǎng)易數(shù)帆也分享了自己多年的實戰(zhàn)經(jīng)驗,推出了有數(shù)機器學(xué)習(xí)平臺,去幫助企業(yè)理解及處理各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
可以說,網(wǎng)易有數(shù)全鏈路數(shù)據(jù)生產(chǎn)力平臺2.0從專業(yè)角度指出了目前大數(shù)據(jù)應(yīng)用的問題。
實際上,不管是什么拖累了大數(shù)據(jù)應(yīng)用的推廣,對于用戶而言,數(shù)據(jù)應(yīng)用創(chuàng)新的需求是始終高漲的,以電商為例,無論是管理層,還是股東投資方,都希望能夠隨時看到銷售情況、以及貨物的銷售情況、需要補貨的情況,傳統(tǒng)的報表方式是沒有滿足需求,就需要各種大數(shù)據(jù)技術(shù)的加持。再例如物流行業(yè),物流效率非常重要,有用戶想到的方法就是將數(shù)據(jù)應(yīng)用和企業(yè)微信進行對接,榜單、排名等一目了然,極大提升了企業(yè)的管理效率。
所以,對于企業(yè)來說,大數(shù)據(jù)“拖油瓶”爭論并不重要,企業(yè)關(guān)注還是解決應(yīng)用的問題,這里的問題有大有小,有些用戶數(shù)據(jù)系統(tǒng)眾多且標準不一,面臨的緊迫問題是不同系統(tǒng)之間的數(shù)據(jù)治理問題,就需要數(shù)據(jù)中臺的解決方案,對于創(chuàng)新企業(yè)和中小企業(yè)而言,數(shù)據(jù)應(yīng)用創(chuàng)新的需求更加迫切,能夠解決問題的方案就是好方案。大數(shù)據(jù)生態(tài)有20多個功能模塊,相關(guān)的開源項目層出不窮,如Hive、HBase等,不管它們稱為數(shù)據(jù)倉庫、列式數(shù)據(jù)庫,還是大數(shù)據(jù),只要能夠解決問題,都是值得推崇的。
因此,大數(shù)據(jù)真正的“拖油瓶”并不是某個具體的產(chǎn)品技術(shù),真正的“拖油瓶” 是跟不上技術(shù)發(fā)展的步伐,大數(shù)據(jù)需要我們能夠真正理解數(shù)據(jù)的價值,并結(jié)合實際需要巧妙加以應(yīng)用。