Stefan Mandl,西部數(shù)據(jù)中國(guó)、日本及亞太地區(qū)銷售與市場(chǎng)營(yíng)銷副總裁
大眾針對(duì) AI 與數(shù)據(jù)的討論主要集中在GPU和閃存性能,卻很少提及這些數(shù)據(jù)從何而來(lái),又最終存放在哪里。從訓(xùn)練數(shù)據(jù)集和模型檢查點(diǎn),到推理日志與遙測(cè)技術(shù),AI應(yīng)用會(huì)生成熱(hot data)、溫(warm data)、冷(cold data)等不同類型的數(shù)據(jù),因而需要根據(jù)各自不同的性能與容量需求定制存儲(chǔ)解決方案。機(jī)械硬盤(pán)(HDD) 在AI基礎(chǔ)設(shè)施中發(fā)揮著關(guān)鍵作用,為長(zhǎng)期、大容量的數(shù)據(jù)存儲(chǔ)提供堅(jiān)實(shí)支撐,并與高性能、低延遲的固態(tài)硬盤(pán)(SSD)協(xié)同運(yùn)作。
AI工作負(fù)載的現(xiàn)實(shí):并非全是“實(shí)時(shí)”運(yùn)算
隨著科技巨頭在亞洲迅速擴(kuò)展其AI應(yīng)用能力,AI在數(shù)據(jù)生命周期的每一個(gè)階段都會(huì)消耗并生成海量數(shù)據(jù),使數(shù)據(jù)存儲(chǔ)需求隨之激增。這些海量數(shù)據(jù)往往達(dá)到PB(Petabyte)級(jí)別,為 AI 模型提供所需的數(shù)據(jù)智能,助力在關(guān)鍵時(shí)刻和大規(guī)模場(chǎng)景中快速、精準(zhǔn)地做出決策。數(shù)據(jù)越多,模型表現(xiàn)越佳。整個(gè)過(guò)程包括數(shù)據(jù)準(zhǔn)備與攝取、模型訓(xùn)練、推理與提示、推理引擎以及新內(nèi)容生成,使AI高度依賴具備不同特性和功能的存儲(chǔ)解決方案。
性能表現(xiàn)固然重要,但容量、彈性、可擴(kuò)展性等因素同樣關(guān)鍵。許多數(shù)據(jù)是一次寫(xiě)入、后續(xù)讀取,或在訓(xùn)練與遙測(cè)日志等特定階段呈現(xiàn)寫(xiě)入密集型特征。這些數(shù)據(jù)通常會(huì)因?yàn)楹弦?guī)要求、模型再訓(xùn)練、快照保存以及未來(lái)審計(jì)所需等不同需求,需要長(zhǎng)期保存,但并非所有數(shù)據(jù)都需要高性能的閃存存儲(chǔ)。事實(shí)上,具前瞻性的AI平臺(tái)必須將高速存儲(chǔ)層與高效益存儲(chǔ)層結(jié)合配置。
超大規(guī)模云端服務(wù)供應(yīng)商高度依賴HDD
高容量、高性價(jià)比的HDD解決方案為當(dāng)今廣泛的大數(shù)據(jù)與數(shù)據(jù)湖提供了基礎(chǔ),這些數(shù)據(jù)湖存儲(chǔ)著用于訓(xùn)練模型的海量數(shù)據(jù)集。其來(lái)源包括原始數(shù)據(jù)檔案、視頻內(nèi)容、對(duì)象存儲(chǔ)、系統(tǒng)日志、元數(shù)據(jù)和備份。因此,每一個(gè)AI應(yīng)用都需要智能、可擴(kuò)展且具成本效益的容量支撐,而這正是HDD持續(xù)發(fā)揮優(yōu)勢(shì)的領(lǐng)域。
1. 成本優(yōu)勢(shì)
在構(gòu)建AI應(yīng)用動(dòng)態(tài)存儲(chǔ)環(huán)境時(shí),單位TB成本是企業(yè)關(guān)鍵考量指標(biāo)。企業(yè)需要優(yōu)化預(yù)算分配,最大化可用資源利用率。大多數(shù)AI數(shù)據(jù)屬于溫?cái)?shù)據(jù)或冷數(shù)據(jù),因此高容量HDD是實(shí)現(xiàn)規(guī)?;⒌统杀敬鎯?chǔ)的理想選擇。根據(jù)西部數(shù)據(jù)的研究, HDD 在單位TB成本上相比閃存具備 6 倍優(yōu)勢(shì),特別是在大規(guī)模、高容量環(huán)境中表現(xiàn)突出。與此同時(shí),HDD架構(gòu)持續(xù)創(chuàng)新,使其能夠提供更高的存儲(chǔ)成本效益,隨著HDD容量增長(zhǎng),總體擁有成本 (TCO) 將進(jìn)一步下降。
2. 性能表現(xiàn)
明確的性價(jià)比指標(biāo)是影響存儲(chǔ)解決方案選擇的關(guān)鍵——核心在于為你的工作負(fù)載選擇最合適的解決方案。HDD持續(xù)在AI數(shù)據(jù)生命周期的多個(gè)工作負(fù)載中展現(xiàn)出強(qiáng)勁性能,實(shí)現(xiàn)了成本與性能的平衡。與其為冗余性能支付多余費(fèi)用,各企業(yè)組織組織可以通過(guò)將存儲(chǔ)性能與實(shí)際需求對(duì)齊,來(lái)優(yōu)化總擁有成本。供應(yīng)商如西部數(shù)據(jù)提供了兼?zhèn)涓咝芗俺杀拘б娴膬?chǔ)存解決方案,幫助客戶根據(jù)不同工作負(fù)載需求,打造合適的存儲(chǔ)組合。
3. 技術(shù)創(chuàng)新
HDD技術(shù)正在不斷演進(jìn),以更高容量、更優(yōu)性能和更大價(jià)值賦能企業(yè)。這包括磁記錄系統(tǒng)創(chuàng)新,如能量輔助磁記錄 (EAMR) 技術(shù)和疊瓦式磁記錄 (SMR) 技術(shù);以及機(jī)械結(jié)構(gòu)創(chuàng)新,例如氦氣封裝HDD,讓3.5英寸硬盤(pán)可容納多達(dá)11個(gè)磁碟,從而在存儲(chǔ)密度、性能與能源效率方面不斷突破。展望未來(lái),隨著熱輔助磁記錄 (HAMR) 的廣泛應(yīng)用,HDD的容量還將迎來(lái)更進(jìn)一步提升。
存儲(chǔ)命題不是非此即彼,而是分層共進(jìn)
AI應(yīng)用對(duì)存儲(chǔ)的需求極為廣泛,而HDD一直是滿足亞太地區(qū)長(zhǎng)期、大規(guī)模存儲(chǔ)需求的中堅(jiān)力量,幫助企業(yè)組織以高效、高性價(jià)比的方式,滿足不斷增長(zhǎng)的高容量需求。如今的HDD并非“傳統(tǒng)技術(shù)”,而是數(shù)據(jù)基礎(chǔ)設(shè)施中,不斷進(jìn)化的核心引擎,承載當(dāng)下乃至未來(lái)AI工作負(fù)載所帶來(lái),龐大且持續(xù)增長(zhǎng)的存儲(chǔ)需求。
作者:Stefan Mandl,西部數(shù)據(jù)中國(guó)、日本及亞太地區(qū)銷售與市場(chǎng)營(yíng)銷副總裁