1

公有云底座面臨的問題

三大核心問題揭露發(fā)展目標(biāo)

（一）算力增長(zhǎng)不匹配

過去五年，算力規(guī)模增長(zhǎng)4-8倍，但云廠商單個(gè)計(jì)算實(shí)例（虛擬機(jī)、容器）增長(zhǎng)僅2-3倍，增長(zhǎng)速度滯后于整體算力規(guī)模。

（二）資源不均問題突出

在公有云云基礎(chǔ)設(shè)施領(lǐng)域，普遍存在云服務(wù)器資源售賣不均衡問題，部分資源池CPU售賣高但內(nèi)存空閑多。同時(shí)，不同類型主機(jī)售賣不均，如裸金屬集群暢銷，而通算產(chǎn)品滯銷，導(dǎo)致資源碎片化問題嚴(yán)重。

（三）超大規(guī)格計(jì)算實(shí)例需求難滿足

SAP HANA數(shù)據(jù)庫(kù)需求：SAP HANA數(shù)據(jù)庫(kù)對(duì)內(nèi)存需求大，是本地磁盤的4倍，需要6TB、12TB等大規(guī)格內(nèi)存。央國(guó)企及大型企業(yè)的財(cái)務(wù)分析、報(bào)表系統(tǒng)多依賴該數(shù)據(jù)庫(kù)。目前，SAP HANA頭部廠商采用AWS多路服務(wù)器方案，提供12T-32TB內(nèi)存實(shí)例，但價(jià)格昂貴。

大數(shù)據(jù)集群需求：行業(yè)大數(shù)據(jù)集群?jiǎn)喂?jié)點(diǎn)多為96C、768G，大規(guī)模集群運(yùn)維成本高。聚合計(jì)算若能擴(kuò)大單節(jié)點(diǎn)規(guī)模，可減少集群數(shù)量，降低運(yùn)維成本。

高頻交易場(chǎng)景需求：股票交易中，每只股票數(shù)據(jù)需獨(dú)立處理，單節(jié)點(diǎn)核數(shù)多、內(nèi)存大可降低量化交易集群時(shí)間成本，增加收入。

總結(jié)來(lái)看，當(dāng)前數(shù)據(jù)中心面臨的核心挑戰(zhàn)集中體現(xiàn)在“內(nèi)存墻”“IO墻”的性能瓶頸以及公有云資源碎片化帶來(lái)的效率損失。針對(duì)內(nèi)存墻問題，行業(yè)形成兩條主流技術(shù)路徑：一是基于開放生態(tài)的CXL 1.0/1.1標(biāo)準(zhǔn)，通過內(nèi)存擴(kuò)展實(shí)現(xiàn)跨節(jié)點(diǎn)容量突破；二是依托華為高速互聯(lián)架構(gòu)，支持多節(jié)點(diǎn)間內(nèi)存動(dòng)態(tài)調(diào)度借用。對(duì)于IO墻，核心思路是利用CXL總線特性重構(gòu)通信模式——傳統(tǒng)跨節(jié)點(diǎn)數(shù)據(jù)搬遷可通過內(nèi)存池化大幅縮減，但當(dāng)前實(shí)踐依賴軟件層維護(hù)緩存一致性（Cache Coherency, CC），需頻繁刷新內(nèi)存導(dǎo)致效率折損。該問題將在CXL 3.0硬件級(jí)CC支持及未來(lái)華為互聯(lián)技術(shù)落地后得到根本性解決。而資源碎片的根治方案明確指向池化架構(gòu)，CXL 2.0標(biāo)準(zhǔn)已為此提供內(nèi)存池化與共享的技術(shù)基礎(chǔ)。

2

Scale Up行業(yè)發(fā)展趨勢(shì)：

多元化的產(chǎn)品格局

在技術(shù)產(chǎn)業(yè)化層面，Scale Up生態(tài)呈現(xiàn)多元化產(chǎn)品格局：聯(lián)想ThinkServer率先實(shí)現(xiàn)GPU與CXL內(nèi)存的硬件級(jí)集成，兼具通算超算與AI推理能力；阿里云推出CXL powered PolarDB數(shù)據(jù)庫(kù)，通過內(nèi)存解耦降低TCO；超節(jié)點(diǎn)系統(tǒng)領(lǐng)域，英偉達(dá)GB200/GB300、天翼云與超聚變合作的直連式內(nèi)存池方案（支持6-10TB擴(kuò)展）、浪潮及新華三的國(guó)產(chǎn)化CXL方案共同推動(dòng)架構(gòu)革新；公有云服務(wù)商則競(jìng)相推出超大內(nèi)存實(shí)例，如AWS 32TB規(guī)格、華為8TB實(shí)例及阿里云3TB產(chǎn)品，滿足企業(yè)級(jí)內(nèi)存密集型應(yīng)用需求。

艾天翔先生表示過去五年CXL相關(guān)論文與專利量增長(zhǎng)超200%，分離式資源池化研究同步攀升。產(chǎn)業(yè)界創(chuàng)新實(shí)踐取得突破性進(jìn)展——天璣實(shí)驗(yàn)室驗(yàn)證CXL替代UDP通信可使QPS提升8倍，阿里云實(shí)現(xiàn)CXL總線對(duì)RPC的替代。

關(guān)鍵技術(shù)成熟度分析顯示：英特爾IFMM技術(shù)通過硬件級(jí)內(nèi)存交換將訪問時(shí)延壓縮至130毫秒，達(dá)到近本地內(nèi)存性能；CXL獨(dú)立核擴(kuò)展及多主機(jī)頭直連架構(gòu)已具備商用成熟度；開放互聯(lián)協(xié)議中CXL/UCIe（UALink）生態(tài)進(jìn)展領(lǐng)先，而NVLink、華為互聯(lián)及字節(jié)ETHLink等封閉方案尚未開放生態(tài)接口。

行業(yè)發(fā)展趨勢(shì)呈現(xiàn)三大特征：其一，國(guó)產(chǎn)高速互聯(lián)生態(tài)進(jìn)入全棧自主攻堅(jiān)期；其二，技術(shù)迭代與商業(yè)落地同步加速，超大內(nèi)存實(shí)例逐步覆蓋企業(yè)場(chǎng)景；其三，跨產(chǎn)業(yè)協(xié)同成為破局關(guān)鍵，亟需芯片商、設(shè)備商與云服務(wù)商共建生態(tài)。

三、天翼云聚合計(jì)算的解題思路

架構(gòu)選擇：分布式架構(gòu)有Split Architecture（分布式對(duì)等架構(gòu)）和Pooled Architecture（池化架構(gòu)）兩種。天翼云認(rèn)為未來(lái)數(shù)據(jù)中心將以交換為中心，構(gòu)建資源池，包括計(jì)算池、內(nèi)存池、異構(gòu)加速池等，以解決資源利用率低和“墻稅”問題。未來(lái)天翼云作為云服務(wù)提供商，將同時(shí)兼容兩種架構(gòu)。

建設(shè)Scale Up能力：Rack內(nèi)Scale Up方案主要有CXL2.0、UALink、NVLink；跨Rack技術(shù)目前成熟的是RDMA網(wǎng)絡(luò)，2026年UALink、光互聯(lián)等有望成熟。國(guó)內(nèi)央國(guó)企面臨非國(guó)產(chǎn)化設(shè)備采購(gòu)難題，國(guó)產(chǎn)化設(shè)備生態(tài)進(jìn)展緩慢，總線交換機(jī)商業(yè)化條件不足。

聚合計(jì)算平臺(tái)核心技術(shù)：

• 智能感知與調(diào)度：未來(lái)數(shù)據(jù)中心管理對(duì)象為分離池化的超節(jié)點(diǎn)，對(duì)智能調(diào)度提出新挑戰(zhàn)。
• 分布式虛擬化技術(shù)：不僅支持向下切分服務(wù)器，還支持向上聚合資源。
• 總線零拷貝通信技術(shù)：利用CXL3.2總線通信，提高數(shù)據(jù)傳輸效率。
• 軟件定義內(nèi)存：實(shí)現(xiàn)內(nèi)存熱插拔和冷熱分級(jí)管理。

此外艾天翔先生披露了聚合計(jì)算產(chǎn)品規(guī)劃：

他講到聚合計(jì)算提出要做三款產(chǎn)品，第一是超聚合服務(wù)器，可以把分布式的數(shù)據(jù)中心聚合成超大的服務(wù)器，比如說(shuō)多多個(gè)物理節(jié)點(diǎn)的CPU聚合成超大的虛擬機(jī)，以滿足客戶多樣化需求。第二，內(nèi)存即服務(wù)，把內(nèi)存做成像磁盤一樣可插拔的形態(tài)。第三可以通過零數(shù)據(jù)拷貝的總線通信給整個(gè)計(jì)算集群進(jìn)行加速。

• 實(shí)驗(yàn)論證，性能效率顯著提升

英特爾IFMM技術(shù)測(cè)試：英特爾IFMM技術(shù)通過硬件交換降低遠(yuǎn)端內(nèi)存訪問時(shí)延，無(wú)需軟件搬遷。測(cè)試結(jié)果顯示，開啟IFMM后，內(nèi)存時(shí)延與純本地DRAM相當(dāng)，平均約170納秒，帶寬也與純本地DRAM相當(dāng)。

性能測(cè)試：在小負(fù)載情況下，開啟IFMM后性能比純本地DRAM配置提升2—7個(gè)百分點(diǎn)；讀取操作性能優(yōu)秀，吞吐量可達(dá)35萬(wàn)QPS，時(shí)延1.8毫秒。

成本與內(nèi)存利用率分析：與AWS多路服務(wù)器方案相比，聚合計(jì)算方案成本顯著降低。6TB產(chǎn)品成本從103萬(wàn)降至60萬(wàn)，12TB產(chǎn)品成本從220萬(wàn)降至120萬(wàn)。同時(shí)，與傲騰方案相比，聚合計(jì)算方案內(nèi)存利用率提升17%。

結(jié)語(yǔ)：

當(dāng)前國(guó)產(chǎn)CXL高速互聯(lián)技術(shù)生態(tài)涵蓋應(yīng)用軟件、基礎(chǔ)軟件、服務(wù)器廠商、CXL芯片、控制器和CPU等多個(gè)環(huán)節(jié)。目前基礎(chǔ)軟件主要由國(guó)外廠商主導(dǎo)，國(guó)內(nèi)尚未開放。天翼云希望更多廠商加入，共同推動(dòng)國(guó)產(chǎn)CXL生態(tài)發(fā)展，解決設(shè)備采購(gòu)難題，實(shí)現(xiàn)技術(shù)自主可控。

天璣實(shí)驗(yàn)室在通算超算Scale Up技術(shù)上的探索與實(shí)踐，為解決公有云底座面臨的問題提供了創(chuàng)新思路和解決方案。通過聚合計(jì)算架構(gòu)和核心技術(shù)的研究，以及實(shí)驗(yàn)論證和成本分析，證明了聚合計(jì)算方案的有效性和優(yōu)越性。未來(lái)，天翼云將繼續(xù)與產(chǎn)業(yè)界合作，推動(dòng)國(guó)產(chǎn)CXL高速互聯(lián)技術(shù)生態(tài)的發(fā)展，為云計(jì)算行業(yè)的發(fā)展貢獻(xiàn)力量。

lixiangjing

算力豹主編