騰訊云CBS產(chǎn)品架構(gòu)圖
騰訊云CBS產(chǎn)品由CBS接入、MDS(Meta data Server)控制集群和CBS存儲集群構(gòu)成。CBS接入收到CVM云主機(jī)集群的數(shù)據(jù)讀寫請求后，根據(jù)MDS提供的集群路由信息，將讀寫請求轉(zhuǎn)發(fā)至對應(yīng)的CBS存儲節(jié)點(diǎn)中。
目前其單磁盤容量最大可支持32TB，單個云主機(jī)累計可掛載640TB容量，可為用戶業(yè)務(wù)場景提供單盤最大110W的隨機(jī)IOPS性能，以及最高每秒4Gbps的帶寬能力，憑借三副本分布式機(jī)制，可提供高達(dá)99.9999999%的數(shù)據(jù)可靠性。
云服務(wù)的快速發(fā)展對云存儲性能提出更高要求
憑借自身高性能，高可靠性等優(yōu)勢，騰訊云CBS在如高負(fù)載OLTP (聯(lián)機(jī)事務(wù)處理) 金融交易系統(tǒng)、高吞吐電商系統(tǒng)、面向人工智能的數(shù)據(jù)分析系統(tǒng)、高并發(fā)的CDN網(wǎng)絡(luò)等中得到了廣泛部署和應(yīng)用。
但基于分布式構(gòu)建的存儲集群，整體性能會受到來自網(wǎng)絡(luò)接入、傳輸延遲等因素影響，從而與本地存儲產(chǎn)生差異。這也是用戶對在核心數(shù)據(jù)庫、內(nèi)容分發(fā)網(wǎng)絡(luò)等要求性能和靈敏度的場景中采用CBS產(chǎn)品存疑的原因之一。
隨著云服務(wù)在企業(yè)業(yè)務(wù)系統(tǒng)中比重加大，更多更復(fù)雜的核心業(yè)務(wù)數(shù)據(jù)讀寫需求驅(qū)動騰訊云對極速存儲體驗(yàn)的CBS產(chǎn)品開展深度優(yōu)化并提升性能，以此打消用戶對CBS產(chǎn)品的顧慮。
英特爾助力騰訊云CBS產(chǎn)品打造極速云存儲體驗(yàn)
針對CBS產(chǎn)品的架構(gòu)、存儲引擎以及硬件基礎(chǔ)設(shè)施，騰訊云開始支持遠(yuǎn)程直接數(shù)據(jù)存取(Remote Direct Memory Access，RDMA)協(xié)議，并與英特爾攜手開展了存儲引擎以及基于英特爾SPDK開發(fā)套件對SSD的性能優(yōu)化。但實(shí)際上，SSD本身的高延遲就是CBS產(chǎn)品提升整體性能的障礙。
為此，騰訊云與英特爾的聯(lián)合更進(jìn)一步，以高耐用性和低延遲的英特爾? 傲騰?持久內(nèi)存作為新一代極速型CBS產(chǎn)品存儲核心，重構(gòu)數(shù)據(jù)落盤方案，以便滿足性能密集場景在延遲上的更高要求。
在騰訊云既有的極速型CBS產(chǎn)品設(shè)計中，以數(shù)據(jù)落盤為例，在此過程中，云主機(jī)數(shù)據(jù)首先通過HASH找到或分配到對應(yīng)的塊節(jié)點(diǎn)里，然后數(shù)據(jù)被緩存到不同頁面。接著系統(tǒng)要執(zhí)行兩次寫操作，一次把業(yè)務(wù)數(shù)據(jù)寫入SSD對應(yīng)的數(shù)據(jù)區(qū)，另一次是把元數(shù)據(jù)以日志形式寫入SSD中。
整個過程，SSD一次寫入延遲通常為數(shù)十微秒，兩次寫入就會有數(shù)十乃至近百微秒的延遲。數(shù)字雖然看起來小，但為了適配端到端網(wǎng)絡(luò)延遲1毫秒 (1000微秒)的5G時代，整體性能仍需突破。除此之外，還有反復(fù)擦寫導(dǎo)致SSD使用壽命縮短，日志回收過程中存在的相應(yīng)毛刺問題等。
基于英特爾? 傲騰?技術(shù)構(gòu)建的英特爾? 傲騰?持久內(nèi)存能幫助CBS產(chǎn)品有效應(yīng)對以上問題。英特爾? 傲騰?技術(shù)通過一種全新的無晶體管存儲架構(gòu)，在三維矩陣中堆疊存儲網(wǎng)格，從而在提高存儲密度、增強(qiáng)讀寫性能的同時，提供持久化的存儲能力。持久內(nèi)存可按字節(jié)尋址，可以像內(nèi)存一樣精準(zhǔn)控制讀寫的位置和大小。
與傳統(tǒng)DRAM內(nèi)存相比，英特爾??傲騰??持久內(nèi)存的兩大優(yōu)勢包括存儲密度更高、單位存儲成本更低，具有良好的經(jīng)濟(jì)效益，其次通App Direct模式下的英特爾??傲騰? 持久內(nèi)存能夠有效充當(dāng)CBS產(chǎn)品的數(shù)據(jù)持久化存儲載體。
優(yōu)化后騰訊云極速型CBS產(chǎn)品數(shù)據(jù)落盤過程
優(yōu)化之后的極速型CBS產(chǎn)品,數(shù)據(jù)通過HASH分配到對應(yīng)的塊節(jié)點(diǎn)并緩存到頁面中，然后數(shù)據(jù)就馬上被持久化存儲到英特爾? 傲騰?持久內(nèi)存中，同時頁面/塊的元數(shù)據(jù)也會直接更新到對應(yīng)的數(shù)據(jù)區(qū)中。
除數(shù)據(jù)落盤過程實(shí)現(xiàn)優(yōu)化之外，企業(yè)還可以通過定制化的策略和算法，決定英特爾??傲騰??持久內(nèi)存中的數(shù)據(jù)分配。例如，將需要頻繁讀寫的“熱數(shù)據(jù)”保留在持久內(nèi)存中，而長時間不需訪問的“冷數(shù)據(jù)”定期被后臺轉(zhuǎn)移至SSD里降低TCO。
還有英特爾??持久內(nèi)存開發(fā)工具包PMDK(Persistent Memory Development Kit) 為CBS產(chǎn)品提供面向英特爾? 傲騰?持久內(nèi)存的編程模型和環(huán)境。以其中的libpmem庫為例，作為PMDK?中的底層庫，其支持用內(nèi)存映射方式訪問持久內(nèi)存，這一方式可將持久內(nèi)存上的文件映射到應(yīng)用的虛擬內(nèi)存空間進(jìn)行操作。通過規(guī)避內(nèi)核參與和上下文切換帶來的開銷，持久內(nèi)存的性能可直接為應(yīng)用提供助力。
除此之外，libpmem還封裝了?NTW?(NonTemporal Write) 指令，該指令能利用寫合并方式來繞過處理器緩存 (Cache), 直接將數(shù)據(jù)從存儲緩沖區(qū)中寫入內(nèi)存控制器的WPQ（寫請求隊列）里，從而提高性能。
創(chuàng)新硬件與優(yōu)化設(shè)計為極速CBS帶來的效果增益
數(shù)據(jù)讀寫延遲縮短。英特爾傲騰持久內(nèi)存的讀寫延遲可控制在1微秒以內(nèi);另一方面，借助PMDK提供的函數(shù)庫與工具， 英特爾傲騰持久內(nèi)存能對整個寫流程實(shí)現(xiàn)更細(xì)致和準(zhǔn)確的控制，并有效提升系統(tǒng)的寫入性能。
系統(tǒng)使用壽命提升。英特爾傲騰持久內(nèi)存的按字節(jié)尋址特性有效避免了因反復(fù)擦寫造成的設(shè)備使用壽命縮短問題。另一方面，英特爾傲騰技術(shù)獨(dú)有的存儲結(jié)構(gòu)也使其具有更長的使用期限。
空間使用率增強(qiáng)。英特爾傲騰技術(shù)允許單獨(dú)訪問和更新內(nèi)存單元，無需再執(zhí)行垃圾收集，進(jìn)而避免了NAND盤面臨的回收毛刺問題，提升存儲空間的使用效率。
為驗(yàn)證新硬件與優(yōu)化設(shè)計對CBS產(chǎn)品產(chǎn)生的效果，騰訊云與英特爾開展了驗(yàn)證測試。測試結(jié)果顯示，采用英特爾傲騰持久內(nèi)存構(gòu)建的CBS產(chǎn)品方案整體寫延遲從120微秒下降到60微秒，整體讀延遲從130微秒下降到40微秒， 同 IOPS可高達(dá)200W 以上，性能得到有效提升。
云存儲的未來展望
隨著云存儲技術(shù)的不斷完善，云服務(wù)正在企業(yè)級業(yè)務(wù)系統(tǒng)中扮演越來越重要的角色，用戶也勢必會對各類云服務(wù)的性能提出更多和更高的要求，這些技術(shù)與應(yīng)用場景的互動將大力推動著相關(guān)產(chǎn)品與技術(shù)的持續(xù)演進(jìn)與優(yōu)化。
作為云服務(wù)行業(yè)的重要參與者和引領(lǐng)者，騰訊云與英特爾基于英特爾? 傲騰?持久內(nèi)存開展的CBS產(chǎn)品優(yōu)化及所取得的收益，正是這一趨勢的顯著體現(xiàn)。
面向未來，國內(nèi)云計算市場飛速發(fā)展，更多IT巨頭基于自身業(yè)務(wù)優(yōu)勢拿到了市場準(zhǔn)入券，競爭之勢漸起。因此，擁抱更多先進(jìn)產(chǎn)品和技術(shù)持續(xù)創(chuàng)新和優(yōu)化自身云服務(wù)產(chǎn)品，為用戶數(shù)據(jù)打造更好的云存儲體驗(yàn)，有助于騰訊云鞏固自身市場地位，使CBS等云存儲產(chǎn)品成為未來企業(yè)級業(yè)務(wù)數(shù)據(jù)存儲的可靠依托。
