英偉達宣布啟動名為DIGITS(Deep learning gpu intelligence training system)的項目,打造桌面級超級計算機,它將基于全新的GB10超級芯片打造,可提供1 Petaflop的AI 計算性能,可用于AI 模型的原型設計、微調(diào)和推理場景。
開發(fā)者在本地完成模型原型開發(fā)后,可以把模型放到云或者其他數(shù)據(jù)中心進行訓練,模型訓練完成后可以放到本地進行微調(diào)或者推理。由于本地和云上都采用了Grace Blackwell 架構和 NVIDIA AI Enterprise 軟件平臺,做到了軟硬件的無縫銜接。
英偉達首次提到GB10 超級芯片,它是基于Grace Blackwell 架構打造的SoC,在 FP4 精度下可提供高達 1 Petaflop 的 AI 計算性能。
除了Blackwell GPU核心以外,GB10還集成了20核的Arm處理器,兩者通過 NVLink-C2C 芯片互連技術相互連接。
每臺設備可提供128GB的共享內(nèi)存,最高4TB的存儲空間。作為一款桌面級設備,它支持在標準供電下運行,功耗并不高,但性能非常強大。
憑借128GB的共享內(nèi)存,它可以運行最高2000 億參數(shù)的大型語言模型。配合英偉達的ConnectX網(wǎng)絡技術,能把兩臺設備連在一起,這樣就可以推理4050億參數(shù)的AI模型。