黃色部分是華為自有的產(chǎn)品

數(shù)據(jù)管理層有三個華為產(chǎn)品,DME Omni-Dataverse、DME IQ和eDataInsight。此外,還有很多第三方的工具,比如,數(shù)據(jù)倉庫、向量數(shù)據(jù)庫、數(shù)據(jù)目錄、數(shù)據(jù)血緣、版本管理和訪問控制等工具。

華為的DME Omni-Dataverse(統(tǒng)一數(shù)據(jù)空間)是一個全局文件系統(tǒng)和數(shù)據(jù)管理框架,通過單一數(shù)據(jù)命名空間來消除地理分散的數(shù)據(jù)中心之間的數(shù)據(jù)孤島。它具有千億級文件數(shù)據(jù)秒級檢索的能力,使能數(shù)據(jù)高效處理。

華為的DME IQ 是一個云運營和維護平臺,使用了大數(shù)據(jù)分析和 AIOps技術(shù),提供自動故障報告和實時問題跟蹤能力。

華為AI數(shù)據(jù)湖解決方案最上層提供各種AI工具鏈,主要負責將數(shù)據(jù)湖中的數(shù)據(jù),通過數(shù)據(jù)處理管道和第三方工具(如LangChain),提供給各類硬件引擎進行處理。在這一層中包含華為的 iData 和 ModelEngine 組件,iData 負責數(shù)據(jù)的采集與啟用,ModelEngine支持模型的運行。

華為表示,Model Engine 提供了一套端到端的 AI 工具鏈,能夠在專用與共享的 CPU、NPU 和 GPU 資源池之間,實現(xiàn)作業(yè)的調(diào)度與交付。同時,華為已支持用于文件傳輸?shù)?GPUDirect 協(xié)議,并正在開發(fā)對 GPUDirect Object 協(xié)議的支持。

此外,華為還提到了DCS數(shù)據(jù)中心解決方案,這是一個融合了計算、存儲、網(wǎng)絡(luò)與管理的虛擬化數(shù)據(jù)中心概念。

其核心的虛擬化平臺是eSphere,用于提供虛擬化層支持。eSphere 通過 Omni-Dataverse 實現(xiàn)對統(tǒng)一全局命名空間的訪問,從而能夠直接操作其中的數(shù)據(jù)集。eContainer提供容器化的能力,可以與華為云容器引擎(CCE)集成。

華為數(shù)據(jù)湖技術(shù)棧中的資源管理層,提供了 xPU 調(diào)度、多租戶管理以及 AI 助理功能。其中集成了 AI Copilot 的 DataMaster 組件,通過 AI 賦能,增強了運維能力。AI Copilot 支持自然語言問答,實現(xiàn)智能交互,同時還能提供故障排查與運維任務(wù)的自動引導(dǎo),以及系統(tǒng)健康狀態(tài)的主動檢查。

本文參考內(nèi)容:

https://blocksandfiles.com/2025/05/02/huawei-data-lake-ai-stack

https://mp.weixin.qq.com/s/BoxRfENs21lb-P3VBouAdw

分享到

zhupb

相關(guān)推薦