經(jīng)實(shí)測(cè),在客戶端、服務(wù)端分機(jī)部署模式下,兩節(jié)點(diǎn)1000倉(cāng)700并發(fā)運(yùn)行10分鐘,TPCC性能達(dá)312W;并且基于此環(huán)境,共享集群產(chǎn)品穩(wěn)定運(yùn)行,通過(guò)7*24小時(shí)長(zhǎng)穩(wěn)測(cè)試。
組網(wǎng)環(huán)境如下:
客戶端服務(wù)器
CPU 96 Core/256G Mem/100Gb Nic/ SATA 500GB*1
數(shù)據(jù)庫(kù)服務(wù)器
CPU 96 Core/512G Mem/100Gb Nic/NVMe 3.84TB*2
WDS存儲(chǔ)服務(wù)器
CPU 96 Core/256G Mem/100Gb Nic/4 x NVMe 3.84TB
網(wǎng)絡(luò)交換機(jī)
100Gb/s 交換機(jī)
存儲(chǔ)配置如下:
設(shè)備類型
分布式塊存儲(chǔ)產(chǎn)品
設(shè)備型號(hào)
華瑞指數(shù)云SDS2.0 WDS V3
詳細(xì)參數(shù)
硬盤:4 x NVMe 3.84TB
端口:100Gb Nic
緩存容量:256GB緩存
數(shù)量
服務(wù)器:3臺(tái)
每臺(tái)硬盤數(shù)量:4塊 (容量14TB)
增量同步性能提升8倍
對(duì)于數(shù)據(jù)倉(cāng)庫(kù),數(shù)據(jù)增量同步入庫(kù)能力是一個(gè)非常關(guān)鍵的能力。23.2 LTS對(duì)這部分能力進(jìn)行了優(yōu)化,極大提升了數(shù)據(jù)增量同步入庫(kù)的性能,對(duì)于lineitem表模型,單任務(wù)同步性能由原來(lái)1MB/s提升到8MB/s:
通過(guò)優(yōu)化降低數(shù)據(jù)同步任務(wù)的內(nèi)存開(kāi)銷,使得并發(fā)數(shù)據(jù)同步得到提升,并且保持接近1的擴(kuò)展比;
通過(guò)對(duì)同步任務(wù)流水線優(yōu)化,提升同步任務(wù)的性能;
將增量同步入庫(kù)的數(shù)據(jù)直接寫入穩(wěn)態(tài)數(shù)據(jù),使得數(shù)據(jù)存儲(chǔ)具備較高的壓縮比,同時(shí)使得數(shù)據(jù)入庫(kù)即可獲得較高的查詢?cè)L問(wèn)性能。
更強(qiáng)的兼容性:Oracle兼容能力大幅提升
V23.2 LTS在V23.1版本的基礎(chǔ)上,廣泛吸納了在銀行、證券、能源、政務(wù)等多個(gè)業(yè)務(wù)場(chǎng)景中的實(shí)際需求,持續(xù)提升產(chǎn)品的Oracle兼容性,讓更多的業(yè)務(wù)場(chǎng)景可以利用V23.2 LTS進(jìn)行平滑應(yīng)用遷移。
語(yǔ)法、語(yǔ)義、高級(jí)特性兼容能力全面增強(qiáng)
首先是數(shù)據(jù)類型方面。V23.2 LTS開(kāi)發(fā)了float(n)類型,為用戶提供更高精度的浮點(diǎn)數(shù)類型。該數(shù)據(jù)類型的使用語(yǔ)法、數(shù)值范圍、有效數(shù)字,均與Oracle完全兼容。
其次是內(nèi)置高級(jí)包。V23.2 LTS自帶一系列程序包,這些程序包將用戶使用SQL語(yǔ)句或PL語(yǔ)句難以完成的功能以PL函數(shù)、存儲(chǔ)過(guò)程的方式提供給用戶,以方便用戶完成復(fù)雜的數(shù)據(jù)管理、系統(tǒng)運(yùn)維任務(wù)。V23.2 LTS新增對(duì)以下高級(jí)包的支持:
高級(jí)包
功能
DBMS_SQL
解析、執(zhí)行動(dòng)態(tài)SQL
DBMS_LOB
創(chuàng)建、讀取、修改LOB
DBMS_ROWID
提取ROWID中的信息
最后,在過(guò)程語(yǔ)言(PL)方面,V23.2 LTS新增與Oracle兼容的批量能力,包括BULK_COLLECT、FORALL,以提升存儲(chǔ)過(guò)程中批量語(yǔ)句執(zhí)行的效率。
共享集群內(nèi)核功能增強(qiáng)
V23.2 LTS共享集群支持了DBLink、二級(jí)分區(qū)以及統(tǒng)計(jì)信息自動(dòng)收集等,同時(shí)支持用戶創(chuàng)建自定義本地臨時(shí)表空間、本地swap表空間,提供實(shí)例級(jí)的臨時(shí)數(shù)據(jù)訪問(wèn)服務(wù),降低實(shí)例間的信息交互,提升相應(yīng)業(yè)務(wù)場(chǎng)景下的性能。
支持外部表,數(shù)據(jù)查詢更便捷
V23.2 LTS新增了對(duì)外部表功能的支持,語(yǔ)法上兼容了Oracle 19C。在YashanDB中創(chuàng)建只讀外部表,可以指定鏈接存儲(chǔ)系統(tǒng)上的具體CSV文件或者是數(shù)據(jù)目錄對(duì)象DIRECTORY的文件,用戶無(wú)需將外部數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)后再進(jìn)行處理,而是可以像訪問(wèn)普通表一樣訪問(wèn)外部表。當(dāng)涉及大規(guī)模數(shù)據(jù)處理和分析時(shí),外部表可以直接在存儲(chǔ)系統(tǒng)上執(zhí)行查詢,避免了數(shù)據(jù)傳輸?shù)拈_(kāi)銷,顯著降低了數(shù)據(jù)存儲(chǔ)成本,提高了查詢性能。
更加完備的高可用能力
備份恢復(fù)功能增強(qiáng)
數(shù)據(jù)備份和恢復(fù)是數(shù)據(jù)高可用的最后一道防線,對(duì)于用戶系統(tǒng)的穩(wěn)健運(yùn)營(yíng)至關(guān)重要。缺乏有效的備份和冗余機(jī)制,可能導(dǎo)致重要數(shù)據(jù)的永久丟失和損壞。V23.2 LTS共享集群支持了yasrman備份恢復(fù)工具,方便用戶備份與備份管理,同時(shí)支持PITR(Point-In-Time Recovery,基于時(shí)間點(diǎn)的數(shù)據(jù)恢復(fù)技術(shù))恢復(fù)以及遠(yuǎn)程備份,用戶可以靈活使用相關(guān)的備份恢復(fù)能力。
數(shù)據(jù)容災(zāi)恢復(fù)增強(qiáng)
另外,V23.2 LTS共享集群在YFS元數(shù)據(jù)被破壞時(shí),可以從fast recovery area(快速恢復(fù)區(qū)域)獲取備份數(shù)據(jù),并做自動(dòng)恢復(fù)。同時(shí)在多failgroup的情況下,支持?jǐn)?shù)據(jù)多副本能力,用戶可以通過(guò)多副本機(jī)制進(jìn)行數(shù)據(jù)校驗(yàn)和恢復(fù),從多方面增強(qiáng)系統(tǒng)的可靠性。
更低的使用成本
新增2副本部署,數(shù)據(jù)存儲(chǔ)成本降低1/3
數(shù)據(jù)存儲(chǔ)是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中最昂貴的組件,尤其是在處理大數(shù)據(jù)時(shí),數(shù)據(jù)存儲(chǔ)的成本尤為突出。為了降低業(yè)務(wù)高可用模式下的數(shù)據(jù)存儲(chǔ)成本,V23.2 LTS存儲(chǔ)服務(wù)DN組引入了一主一備這種高可用部署形態(tài),使得業(yè)務(wù)在獲得高可用能力的同時(shí),數(shù)據(jù)存儲(chǔ)由3副本變成2副本,數(shù)據(jù)存儲(chǔ)成本下降1/3。同時(shí),DN組一主一備的部署形態(tài)還支持故障自動(dòng)切換能力,高可用能力滿足RTO<10S,RPO=0。
更好的易用性
V23.2 LTS在易用性上做了大量提升,讓運(yùn)維、數(shù)據(jù)壓縮等操作都變得更加簡(jiǎn)單和高效。
易運(yùn)維,高效管理
AWR報(bào)告中增加了共享集群相關(guān)的章節(jié)信息(Global Cache Load Profile、Global Cache Efficiency Percentages等),提供了運(yùn)行期間各種集群相關(guān)的統(tǒng)計(jì)數(shù)據(jù),用戶可以更好的了解共享集群性能表現(xiàn)。同時(shí),V23.2版本對(duì)集群相關(guān)的參數(shù)做了優(yōu)化,部分參數(shù)采用了自調(diào)優(yōu)策略,降低用戶使用成本,同時(shí)實(shí)現(xiàn)共享集群后臺(tái)服務(wù)線程自管理。
自適應(yīng)編碼,提供高效的數(shù)據(jù)壓縮能力
存儲(chǔ)支持表字段的自適應(yīng)編碼,用戶建表不用指定字段的編碼類型,系統(tǒng)自動(dòng)探測(cè)選擇較優(yōu)的編碼類型,達(dá)到較優(yōu)的編碼壓縮效果,做到”用戶無(wú)感知“,大大降低用戶使用門檻。
支持一鍵式收集操作系統(tǒng)和數(shù)據(jù)庫(kù)信息
為了更快定位問(wèn)題和優(yōu)化系統(tǒng),YashanDB在V23.2版本提供一鍵式診斷所需信息,包含操作系統(tǒng)基本信息、操作系統(tǒng)和數(shù)據(jù)庫(kù)日志、數(shù)據(jù)庫(kù)配置信息和數(shù)據(jù)庫(kù)視圖等信息,同時(shí)打包到指定目錄,可以更快、更準(zhǔn)地獲取到便于定位定界的相關(guān)信息,支撐問(wèn)題解決和性能優(yōu)化。
更完備的工具體系
在此次版本迭代中,YashanDB全新上線開(kāi)發(fā)、遷移以及運(yùn)維工具,實(shí)現(xiàn)從安裝部署、一鍵遷移、智能運(yùn)維到應(yīng)用開(kāi)發(fā)的全生命周期管理,幫助用戶簡(jiǎn)化學(xué)習(xí)及運(yùn)維成本。
支持MySQL、DM8等多款數(shù)據(jù)庫(kù)遷移
V23.2 LTS配套的崖山遷移平臺(tái)(Yashan Migration Platform,YMP)新增MySQL、DM8等數(shù)據(jù)庫(kù)離線遷移至YashanDB鏈路,同時(shí)新增統(tǒng)計(jì)校驗(yàn)、全量校驗(yàn)、失敗重試、批量改寫、遷移容錯(cuò)、暫?;謴?fù)等功能。
新增分布式可視化運(yùn)維能力
V23.2 LTS實(shí)現(xiàn)了分布式可視化運(yùn)維能力,通過(guò)YashanDB 監(jiān)控運(yùn)維工具(YashanDB Cloud Manager,YCM)納管YashanDB分布式數(shù)據(jù)庫(kù),目前支持對(duì)單機(jī)、共享集群以及分布式全產(chǎn)品形態(tài)的巡檢管理、監(jiān)控告警、備份恢復(fù)和慢SQL分析等可視化功能,實(shí)現(xiàn)了便捷的運(yùn)維效率。
開(kāi)發(fā)者工具全新發(fā)布
V23.2 LTS同時(shí)配套全新的開(kāi)發(fā)者工具YDC V1.0 (YashanDB Developer Center,YDC),用戶可通過(guò)YDC可視化地管理數(shù)據(jù)庫(kù)中的表、視圖、函數(shù)等數(shù)據(jù)庫(kù)對(duì)象。具有豐富的功能和工具,支持?jǐn)?shù)據(jù)庫(kù)連接管理、SQL編輯及運(yùn)行、智能IDE、圖形化對(duì)象管理、執(zhí)行記錄、日志、結(jié)果集顯示以及PL/SQL DUBUG等。
強(qiáng)化開(kāi)源產(chǎn)品化應(yīng)用能力
支持sqlalchemy方言包,可通過(guò)sqlalchemy框架訪問(wèn)YashanDB數(shù)據(jù)庫(kù);
支持Prometheus監(jiān)控系統(tǒng),通過(guò)yashandb-exporter組件可以自定義采集yashandb的監(jiān)控項(xiàng);
支持使用數(shù)據(jù)同步工具DataX向YashanDB數(shù)據(jù)庫(kù)進(jìn)行全量遷移;
支持通過(guò)GeoServer地理空間系統(tǒng)對(duì)YashanDB地理空間數(shù)據(jù)進(jìn)行可視化訪問(wèn)。
自YashanDB個(gè)人版全面開(kāi)放下載以來(lái)已收到很多寶貴的產(chǎn)品改進(jìn)建議,在此也全新推出YashanDB V23.2個(gè)人版(download.yashandb.com),歡迎前往官網(wǎng)關(guān)注了解更多新增和優(yōu)化特性。通信世