在過去幾年,我們看到疫情加速了全球數(shù)字化的成長,數(shù)據(jù)技術(shù)也變成了一個熱門的賽道。數(shù)據(jù)技術(shù)本身在過去的兩三年里面,最重要的是受到了三種外部形態(tài):開源、云計算、人工智能地重塑。
開源數(shù)據(jù)技術(shù)在過去幾年快速興起,形成了很多細(xì)分賽道,而云計算由1.0的資源型現(xiàn)在走向了2.0,尤其進(jìn)入了多元的型態(tài),如多云云原生數(shù)倉的出現(xiàn);另外人工智能逐步加入到數(shù)據(jù)價值的發(fā)現(xiàn)中,與數(shù)據(jù)技術(shù)融合形成新的數(shù)據(jù)智能平臺。
分布式數(shù)據(jù)庫仍然是比較熱門技術(shù),逐步走向了云源生,已經(jīng)開始在多云環(huán)境提供全托管服務(wù);此外,大數(shù)據(jù)技術(shù)還在不斷向前發(fā)展,尤其是在實時性技術(shù)方面不斷的向前演進(jìn)。再有就是數(shù)據(jù)湖、數(shù)據(jù)倉庫兩種技術(shù)融合的趨勢,多模數(shù)據(jù)化也在不斷發(fā)展。
總之,數(shù)據(jù)技術(shù)已經(jīng)成為了企業(yè)軟件最黃金的一個賽道,在此,我提醒大家特別關(guān)注“數(shù)據(jù)庫”這個賽道。
今天的數(shù)據(jù)庫已經(jīng)不是單機(jī)版的,或者是第一代云數(shù)據(jù)庫RDS(關(guān)系型數(shù)據(jù)庫)形態(tài),而數(shù)據(jù)庫如今已經(jīng)升華一個新的黃金時代,數(shù)據(jù)庫與分布式技術(shù)、云計算,尤其是云原生技術(shù)的融合,產(chǎn)生了一個新的物種。其與20年前應(yīng)用于信息化時代的數(shù)據(jù)庫不同,此前的數(shù)據(jù)庫多用來做記錄和統(tǒng)計,是OLTP核心交易系統(tǒng),如銀行的核心交易,電信營業(yè)系統(tǒng)、BOSS系統(tǒng)等,這些都是以記錄交易和統(tǒng)計業(yè)務(wù)為主的。
數(shù)字化時代,業(yè)務(wù)從穩(wěn)態(tài)進(jìn)入到敏態(tài),數(shù)據(jù)需求就由被動存儲、統(tǒng)計進(jìn)入到數(shù)據(jù)驅(qū)動,對于實時性、實效性的業(yè)務(wù)追求。此前,用戶大多采用各種ETL工具、Hadoop集群、消息隊列,以及分庫分表,如此,客戶往往會三個以上的數(shù)據(jù)庫類型,4個以上數(shù)據(jù)工具,技術(shù)應(yīng)用非常復(fù)雜。
對此,新一代的數(shù)據(jù)庫應(yīng)運而生,尤以分布式數(shù)據(jù)庫走向云原生為代表,如果說,此前的數(shù)據(jù)庫應(yīng)用以O(shè)LTP為主,如今,新的數(shù)據(jù)庫就上升到處理OLAP為主;之前離線的速倉,第二天才能看到分析的結(jié)果,到現(xiàn)在,要以分鐘甚至以秒為單位得到結(jié)果,實時反饋,這些都使得數(shù)據(jù)庫技術(shù)進(jìn)入到了一個新的以實時應(yīng)用為主的簡化和融合的應(yīng)用。
那么簡化的意思,就是要把交易系統(tǒng)、分析系統(tǒng)一體化,為此產(chǎn)生了融合的需求,最有代表性的就是HTAP(Hybrid Transaction / Analytical Processing,混合事務(wù)分析處理))技術(shù),也就是在同一個數(shù)據(jù)庫里,能夠既處理交易(OLTP),又能夠做實時的分析(OLAP),對于所有的互聯(lián)網(wǎng)企業(yè),對于做數(shù)字化的企業(yè)都是一個必備的需求。在數(shù)字化的時代,它借助開源不斷迭代;借助云原生、新一代的技術(shù)資源的調(diào)度以及與人工智能的融合,已經(jīng)變成了一個具備在PB級別處理的新產(chǎn)品。
我們今天的整個數(shù)據(jù)庫分論壇也是聚焦這個新的數(shù)據(jù)技術(shù)時代,分享一些關(guān)鍵技術(shù)的趨勢,我們也會有很多廠商在分布式數(shù)據(jù)庫,在云原生的數(shù)倉,以及在分析型數(shù)據(jù)庫、數(shù)據(jù)倉庫方面有更多的介紹。我們也很期待大家能從這些分享里面看到今天數(shù)據(jù)技術(shù)未來的發(fā)展趨勢,也能夠知道我們應(yīng)該在哪一個賽道上面投入更多的時間。
劉松:
PingCAP 副總裁 阿里巴巴原副總裁,負(fù)責(zé)公共事務(wù)與產(chǎn)學(xué)研生態(tài)構(gòu)建,是阿里巴巴云計算與大數(shù) 據(jù)生態(tài)體系的主要推動者。2022中國數(shù)據(jù)與存儲峰會,數(shù)據(jù)庫技術(shù)應(yīng)用分論壇出品人。