在 AI 訓(xùn)推過程中,尤其是在處理如醫(yī)療影像、高清圖片、視頻等大型數(shù)據(jù)時(shí),極高的順序讀取帶寬配合高吞吐量的網(wǎng)絡(luò)可以確保數(shù)據(jù)的海量吞吐,確保GPU 等AI 芯片性能得到充分利用。

KVCache 負(fù)載測試:支撐高頻訪問,穩(wěn)定超低延遲

針對(duì)當(dāng)前流行的大規(guī)模推理業(yè)務(wù),我們還進(jìn)行了大集群下KVCache 負(fù)載模擬。

測試顯示:在百萬級(jí)請(qǐng)求QPS 下,SSD 能穩(wěn)定提供單次讀取延遲小于 100 微秒的表現(xiàn)順序讀取緩存頁命中率高,帶寬使用高效,沒有明顯抖動(dòng)為AI 推理系統(tǒng)大幅降低了整體延遲。注:受限于集群節(jié)點(diǎn)數(shù)量,圖表顯示內(nèi)容為多輪測試數(shù)據(jù)合集。

AI 在實(shí)時(shí)推理環(huán)節(jié),穩(wěn)定以及極小的延遲是大模型快速檢索數(shù)據(jù)進(jìn)行預(yù)測的基礎(chǔ)。

TCO 優(yōu)勢分析:D5-P5336 讓AI 集群更具規(guī)模效益

在大規(guī)模服務(wù)器集群中,存儲(chǔ)設(shè)備的TCO(整體擁有成本)至關(guān)重要。D5-P5336 在這方面表現(xiàn)非常突出:

1,單盤超大容量,節(jié)省服務(wù)器與機(jī)架空間單盤可達(dá) 61.44TB 及 122.88TB 容量,同TLC SSD JBOF配置相比節(jié)省高達(dá)4倍的存儲(chǔ)占用空間,同 HDD JBOD 相比節(jié)省高達(dá)8倍的存儲(chǔ)占用空間。相同存儲(chǔ)需求下,服務(wù)器數(shù)量將大幅減少全部采用QLC存儲(chǔ)的服務(wù)器數(shù)量比采用HDD+TLC的數(shù)量將大幅減少

2,更優(yōu)價(jià)格,每TB 成本更低QLC NAND 架構(gòu)大幅降低單位成本

3,合理耐久度設(shè)計(jì)官方額定 0.6 DWPD在推理緩存、順序讀取負(fù)載下,完全滿足企業(yè)級(jí)生命周期要求

綜合來看,使用D5-P5336 可以讓每PB 存儲(chǔ)整體TCO 降低超過 35%,在超大規(guī)模部署中性價(jià)比優(yōu)勢巨大。

PCIe 5.0 的前景展望:

性能想象空間巨大目前D5-P5336 采用的是 PCIe 4.0 接口,即便如此已達(dá)到驚人的讀取帶寬。展望未來,隨著PCIe 5.0 大容量QLC SSD 普及:

單盤理論帶寬將翻倍增長

整體吞吐瓶頸將進(jìn)一步被突破

QLC 優(yōu)勢會(huì)被進(jìn)一步放大,特別是在超大模型推理場景

可以預(yù)見,基于PCIe 5.0 的新一代D5 系列產(chǎn)品,將成為新一輪AI 基礎(chǔ)設(shè)施升級(jí)的重要力量。

總結(jié)

QLC 不只是性價(jià)比高,更能在合理場景下發(fā)揮出色性能:

Solidigm D5 系列順序讀取吞吐接近線性擴(kuò)展;

DeepSeek 3FS 環(huán)境下驗(yàn)證了高可用與低延遲能力;

超大容量帶來的TCO 優(yōu)勢,讓AI 集群部署更具規(guī)模效益;

隨著人工智能的發(fā)展和技術(shù)突破,存儲(chǔ)性能將迎來新爆發(fā)。

Solidigm D5 服務(wù)器系列NVME SSD 硬盤,不只是容量革命,更是下一代AI 基礎(chǔ)設(shè)施的中堅(jiān)力量!

分享到

zhupb

相關(guān)推薦