NUMA架構(gòu)

2.CCX模塊:協(xié)同計(jì)算的核心單元

CCX作為系統(tǒng)進(jìn)行任務(wù)分配和處理的基本單元之一,源自AMD 在 Zen 架構(gòu),海光 C86 系列CPU延續(xù)了這一設(shè)計(jì)。每個(gè)CCX整合多個(gè)處理器核心,同一 CCX 內(nèi)核心共享 L3 緩存,可減少約 15~20ns的跨核心數(shù)據(jù)訪問延遲。通常一個(gè)NUMA包含2個(gè)CCX,每個(gè)CCX 集成 4 個(gè) CPU 核心,這種模塊化設(shè)計(jì)可靈活擴(kuò)展核心數(shù),從16 核到 64 核,滿足不同場(chǎng)景需求。

圖片2.jpg

CCX模塊

3.跨CCX運(yùn)行:降低了存儲(chǔ)性能

線程是 CPU 調(diào)度的基本單位,其執(zhí)行效率與緩存訪問特性密切相關(guān)。同一 CCX 內(nèi),線程能夠借助本地L3緩存,實(shí)現(xiàn)高效的數(shù)據(jù)交互。

然而在實(shí)際運(yùn)行中,Linux內(nèi)核會(huì)根據(jù) CCX 負(fù)載和內(nèi)存訪問模式,動(dòng)態(tài)調(diào)整線程在不同 CCX 間的分配。這雖提升了系統(tǒng)級(jí)資源利用率,但可能導(dǎo)致存儲(chǔ)虛擬化工作線程分散到不同CCX(如圖①-②所示),造成跨CCX緩存失效和遠(yuǎn)端訪存,最終降低了存儲(chǔ)性能。

圖片3.jpg

跨CCX模塊運(yùn)行

那么,如何破解這一難題,成為提升系統(tǒng)性能的關(guān)鍵。

深信服CCX軟親和調(diào)度,解鎖性能新高度

面對(duì)CCX調(diào)度難題,深信服信創(chuàng)超融合推出軟親和調(diào)度機(jī)制,實(shí)時(shí)監(jiān)測(cè)業(yè)務(wù)負(fù)載變化,實(shí)現(xiàn)CPU資源的動(dòng)態(tài)分配

1.低負(fù)載場(chǎng)景:當(dāng)CPU負(fù)載較低時(shí),優(yōu)先使用軟親和范圍內(nèi)的CPU,充分發(fā)揮資源訪問的局部性優(yōu)勢(shì),降低調(diào)度開銷;

2.高負(fù)載場(chǎng)景:當(dāng)CPU負(fù)載較高時(shí),則會(huì)突破軟親和范圍的限制,增加CPU資源供給,保證業(yè)務(wù)服務(wù)質(zhì)量不受影響。

在C86場(chǎng)景下,深信服基于軟親和調(diào)度機(jī)制,頻繁交互的存儲(chǔ)服務(wù)線程進(jìn)行CCX調(diào)度精細(xì)化編排:

1.CCX 利用率低時(shí),聚合線程降時(shí)延:當(dāng)CCX范圍內(nèi)CPU利用率低于特定閾值,將存儲(chǔ)線程聚合在CCX內(nèi)(如圖③所示),降低通信時(shí)延,提升IO性能;

2.CCX 利用率高時(shí),分散線程保吞吐:當(dāng)CCX范圍內(nèi)CPU利用率高于特定閾值,允許存儲(chǔ)線程在更大CPU范圍內(nèi)運(yùn)行,避免資源爭(zhēng)搶,減少通信延遲,保障系統(tǒng)吞吐。

圖片4.jpg

深信服軟親和調(diào)度機(jī)制

這一優(yōu)化策略,顯著提升了小塊性能,IOPS提高約20%,為用戶帶來了更高效的使用體驗(yàn)。

圖片5.jpg

小塊性能提升20%

深信服 CCX 軟親和調(diào)度VS 傳統(tǒng)方案

相較于業(yè)界其他方案,深信服的軟親和調(diào)度機(jī)制展現(xiàn)出顯著優(yōu)勢(shì):

傳統(tǒng)調(diào)度方案的局限

業(yè)界多普遍依賴操作系統(tǒng)原生調(diào)度器CFS的通用負(fù)載均衡算法,缺乏對(duì)CCX拓?fù)鋵蛹?jí)的深度適配,導(dǎo)致跨CCX線程通信需頻繁穿透L3緩存層級(jí),影響系統(tǒng)性能。

加之,部分廠商采用硬親和性綁定策略,雖避免了跨CCX開銷,但犧牲了調(diào)度彈性。當(dāng)綁定的CCX內(nèi)運(yùn)行高優(yōu)先級(jí)計(jì)算任務(wù)時(shí),容易引發(fā)資源爭(zhēng)搶面臨饑餓風(fēng)險(xiǎn)。

深信服軟親和調(diào)度機(jī)制

深信服通過為操作系統(tǒng)調(diào)度器提供CPU拓?fù)浜拓?fù)載指導(dǎo)信息,輔助系統(tǒng)做出更合理的調(diào)度決策,靈活調(diào)整CPU資源供給,實(shí)現(xiàn)低負(fù)載場(chǎng)景降時(shí)延,高負(fù)載場(chǎng)景保吞吐的效果,實(shí)現(xiàn)了性能與靈活性的平衡。

信創(chuàng)超融合的新未來

在國產(chǎn)海光CPU多核心、多CCX架構(gòu)下,深信服信創(chuàng)超融合采用軟親和調(diào)度優(yōu)化機(jī)制,為信創(chuàng)超融合領(lǐng)域的 IO 性能提升提供了切實(shí)可行的解決方案 。通過自適應(yīng)的調(diào)整策略,充分發(fā)揮了CCX的架構(gòu)優(yōu)勢(shì),有效提升了系統(tǒng)的整體性能。

展望未來,隨著信創(chuàng)產(chǎn)業(yè)的持續(xù)發(fā)展,深信服將繼續(xù)深化技術(shù)創(chuàng)新,為推動(dòng)信創(chuàng)超融合技術(shù)的進(jìn)步,貢獻(xiàn)更多的智慧與力量。

分享到

xiesc

相關(guān)推薦