圖源:英偉達
借助 Project DIGITS,用戶可以使用自己的桌面系統(tǒng)開發(fā)和運行模型推理,并在加速的云或數(shù)據(jù)中心基礎(chǔ)設(shè)施上無縫部署模型。
NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示:“AI 將成為每個行業(yè)的主流應(yīng)用。借助 Project DIGITS,Grace Blackwell 超級芯片將惠及數(shù)百萬開發(fā)者,將 AI 超級計算機置于每位數(shù)據(jù)科學(xué)家、AI 研究人員和學(xué)生的案頭,助力他們參與并締造 AI 時代?!?/p>
高能效的 GB10 超級芯片提供至高可達 1 PFLOPS 的 AI 性能
GB10 超級芯片是一款基于 NVIDIA Grace Blackwell 架構(gòu)的片上系統(tǒng) (SoC),能以 FP4 計算精度提供至高可達 1 PFLOPS AI 性能。
GB10 采用搭載最新一代 CUDA? core 和第五代 Tensor Cores 的 NVIDIA Blackwell GPU,通過 NVLink?-C2C 片間互連與一顆高性能 NVIDIA Grace? CPU 互聯(lián),該 CPU 采用 ARM 架構(gòu)并具有 20 個高效節(jié)能內(nèi)核。聯(lián)發(fā)科是基于 ARM 架構(gòu)的 SoC 設(shè)計的市場領(lǐng)導(dǎo)者,他們參與了 GB10 的設(shè)計,為一流的能效、性能和互連做出貢獻。
GB10 超級芯片讓 Project DIGITS 只需使用標(biāo)準(zhǔn)電源插座就能提供強大的性能。每個 Project DIGITS 都配有 128GB 的統(tǒng)一的高一致性內(nèi)存和 4TB 的 NVME 存儲。利用 Project DIGITS,開發(fā)者可以運行包含高達 200B 參數(shù)的大語言模型,加速 AI 創(chuàng)新。通過 NVIDIA ConnectX? 網(wǎng)絡(luò),可以將兩臺 Project DIGITS AI 超級計算機連接在一起,運行包含高達 4050 億參數(shù)的模型。
Grace Blackwell AI 超級計算觸手可及
借助 Grace Blackwell 架構(gòu),企業(yè)和研究員可以在運行基于 Linux 的 NVIDIA DGX OS 的本地 Project DIGITS 系統(tǒng)上進行模型原型設(shè)計、調(diào)優(yōu)和測試,并將其無縫部署在 NVIDIA DGX Cloud?、加速云實例或數(shù)據(jù)中心基礎(chǔ)設(shè)施上。
開發(fā)者可以在 Project DIGITS 上制作 AI 原型,然后在使用相同的 Grace Blackwell 架構(gòu)和 NVIDIA AI Enterprise 軟件平臺的云端或數(shù)據(jù)中心基礎(chǔ)設(shè)施上進行擴展。
Project DIGITS 用戶可以訪問用于實驗和原型設(shè)計的龐大 NVIDIA AI 軟件庫,包括 NVIDIA NGC 目錄和 NVIDIA 開發(fā)者門戶網(wǎng)站中提供的軟件開發(fā)套件、編排工具、框架和模型。開發(fā)者可使用 NVIDIA NeMo? 框架進行模型微調(diào),利用 NVIDIA RAPIDS? 庫來加速數(shù)據(jù)科學(xué),并運行 PyTorch、Python 和 Jupyter notebooks 等常用框架。
開發(fā)者還可以通過 NVIDIA 開發(fā)者計劃使用 NVIDIA Blueprint 和 NVIDIA NIM? 微服務(wù),進行研究、開發(fā)和測試,以構(gòu)建代理式 AI 應(yīng)用。當(dāng) AI 應(yīng)用準(zhǔn)備就緒,可從實驗階段轉(zhuǎn)向生產(chǎn)環(huán)境時,NVIDIA AI Enterprise 許可證提供企業(yè)級的安全性、支持和 NVIDIA AI 軟件的產(chǎn)品發(fā)布。