2025年7月25日，閃迪官宣前英特爾圖形架構負責人Raja Koduri正式加入其HBF（High-Bandwidth Flash，高帶寬閃存）內(nèi)存技術顧問委員會，要在不增加成本前提下，實現(xiàn)AI GPU顯存容量的提升，目標是最高部署4TB內(nèi)存，遠超當前HBM標準8-16倍。

Raja與閃迪的合作意義重大，因為其擁有GPU開發(fā)背景，尤其是在計算架構設計方面的經(jīng)驗，這與閃迪致力于生產(chǎn)HBF實現(xiàn)更高容量VRAM（顯存）的使命契合。未來，閃迪計劃將HBF打造為一個開放標準生態(tài)系統(tǒng)，進一步促進與GPU供應商的合作。

以下是關于HBM與HBF GPU內(nèi)存對比及運行Frontier LLM的相關情況：

192GB配置HBM的GPU，HBM內(nèi)存具有較高的帶寬和較低的延遲，適合處理需要快速數(shù)據(jù)訪問的計算任務。

3,120GB配置HBF的GPU，HBF內(nèi)存能夠提供更大的存儲容量，適合處理大規(guī)模數(shù)據(jù)集和復雜模型，尤其是在需要長時間數(shù)據(jù)存儲和頻繁數(shù)據(jù)交換的場景中表現(xiàn)優(yōu)異。

在運行Frontier LLM時：

? 模型參數(shù)：Frontier LLM擁有1.8萬億（1.8T）參數(shù)。

? 權重精度：以16位權重進行計算。

內(nèi)存需求方面，對于配置HBF的GPU，需要3600GB內(nèi)存來運行該模型，而配置HBF的GPU的總內(nèi)存為4096GB，能滿足運行需求。相比之下，配置HBM的GPU的192GB內(nèi)存顯然無法滿足此類大規(guī)模模型的內(nèi)存需求。

總結來說，HBF GPU擁有超大內(nèi)存容量，在運行大規(guī)模模型如Frontier LLM時展現(xiàn)出明顯優(yōu)勢，而HBM GPU則在需要高帶寬和低延遲的小規(guī)模、高性能計算任務中更為適用。

Raja Koduri是這樣說的：當我們開始開發(fā) HBM 時，我們的重點是提高每瓦帶寬和每平方毫米帶寬（這兩者都是移動設備的重要制約因素），同時保持與現(xiàn)有解決方案的競爭力。HBF 的重點是大幅提升內(nèi)存容量（每美元、每瓦和每平方毫米），同時提供具有競爭力的帶寬。

理解一下就是，HBM（高帶寬內(nèi)存）和HBF（高帶寬閃存）在內(nèi)存技術的發(fā)展路徑上，兩者設計不同，HBM的出現(xiàn)重點是為了提升單位功耗（每瓦）和單位面積（每平方毫米）的帶寬密度，滿足移動設備、顯卡等對高帶寬和低功耗的雙重要求。而HBF則轉(zhuǎn)向解決大模型時代最核心的痛點——內(nèi)存容量不足。

兩者分別服務于“算的快”和“裝的多”兩種不同任務場景，共同推動AI存力架構的演進。

最后分享一下Raja Koduri這位大佬的背景：

AMD時期：2001年加入AMD的前身ATI Technologies，擔任高級技術開發(fā)總監(jiān)。

ATI 被AMD收購后2009年之前一直擔任AMD的圖形首席技術官。

2015年AMD重組圖形部門并成立Radeon技術部門，他被提升為高級副總裁兼首席架構師，簡單來說，這個部門負責從零開始設計、生產(chǎn)、優(yōu)化Radeon系列顯卡，讓它能跑得快、玩得爽、畫得美，還支持新技術。

蘋果時期：2009年至2013年，在蘋果公司擔任圖形架構總監(jiān)，參與蘋果的圖形硬件開發(fā)，助力蘋果Mac電腦實現(xiàn)向高分辨率視網(wǎng)膜顯示屏的轉(zhuǎn)變。

重返AMD時期：2013年重返AMD，擔任視覺計算副總裁，負責GPU硬件和軟件。2015年AMD重組其圖形部門后，其被任命為新成立的Radeon技術集團的高級副總裁兼首席架構師。

英特爾時期：2017年加入英特爾，擔任核心和視覺計算集團的首席架構師和高級副總裁，負責開發(fā)高端獨立GPU，并擴展英特爾在PC市場的集成顯卡領先地位。

2023年3月，英特爾CEO帕特?基爾辛格宣布，Raja Koduri 將于3月底離開公司，此后他創(chuàng)立了一家專注于游戲、媒體和娛樂領域生成式人工智能的初創(chuàng)公司，并加入了 Tenstorrent在人工智能和 RISC-V半導體領域的董事會。

然后是現(xiàn)在加盟閃迪，開啟HBF新時代。

崔歡歡