以下為速記內(nèi)容,未經(jīng)演講人確認(rèn):
昨天我的同事講了一些閃存SAN存儲(chǔ)的發(fā)展和趨勢(shì)方向,我的話題會(huì)進(jìn)行一些延展。這是過(guò)去幾年計(jì)算和數(shù)據(jù)的發(fā)展,計(jì)算的發(fā)展近幾年非常的緩慢;在閃存出現(xiàn)之前,最近五年存儲(chǔ)的發(fā)展也是非常緩慢的。所以昨天雖然講到,對(duì)計(jì)算來(lái)說(shuō),發(fā)生巨大的變革,這個(gè)變革就是以CPU為中心轉(zhuǎn)變到以內(nèi)存為中心。過(guò)去,在每臺(tái)服務(wù)器上有很多的CPU,CPU與內(nèi)存的通信是,不同的業(yè)務(wù)過(guò)來(lái),處理同一個(gè)數(shù)據(jù)的時(shí)候,CPU跟內(nèi)存要做很多的交互讀寫(xiě),CPU之間內(nèi)存的數(shù)據(jù)是不能共享的。這樣的狀況之下,內(nèi)存的開(kāi)銷(xiāo)和CPU的負(fù)載非常高,為了改變這種現(xiàn)狀,我們開(kāi)始以內(nèi)存為導(dǎo)向。
具體到存儲(chǔ)來(lái)說(shuō),我們來(lái)看一下SCM能做什么。
1.數(shù)據(jù)緩存
2.元數(shù)據(jù)掃描
3.數(shù)據(jù)存儲(chǔ)
未來(lái),用戶會(huì)使用SCM存儲(chǔ)數(shù)據(jù),這是我們?cè)妇?。到那一天,SCM會(huì)大范圍的取代現(xiàn)有的NAND。NAND則會(huì)降級(jí)為今天的機(jī)械硬盤(pán)。
下面我們來(lái)看存儲(chǔ)為什么會(huì)用NVMe,原因很簡(jiǎn)單:SCSI太老了,基本上從2005年以后就沒(méi)有更新。所以這就是為什么我們要將一個(gè)新的協(xié)議用在存儲(chǔ)上面,為了避免SCSI拖慢我們的存儲(chǔ),我們要進(jìn)一步在存儲(chǔ)上把NVMe推廣出來(lái)。
現(xiàn)在NVMe有兩種路線,不論NVMe over Fabric,還是FC-NVMe。現(xiàn)在存儲(chǔ)的用戶都是光纖存儲(chǔ),光纖交換機(jī)。
另外一個(gè)就是大家討論的存儲(chǔ)內(nèi)部,包括存儲(chǔ)之間的協(xié)議到底是用那種?現(xiàn)在,很多存儲(chǔ)廠商都在推廣SCM+NVMe的方式。很多廠商都在將自己的閃存有多快,延遲為0.1毫米,但這個(gè)其實(shí)是相對(duì)的。除非用戶的應(yīng)用都是極小的I/O,那么延時(shí)會(huì)始終保持很低。但是,一旦用戶是混合的業(yè)務(wù)類(lèi)型,我們?cè)谧鯪VMe或SCM時(shí),第一次做加速時(shí),我們可以保證用戶基本上所有的硬盤(pán)延時(shí)都在0.5毫秒以下,因?yàn)镹VMe的帶寬很高,比我們現(xiàn)有的要好很多。
另外我想講一下,閃存上面的創(chuàng)新技術(shù),比如說(shuō)大家都知道,SSD其實(shí)是有壽命的,NVMe比傳統(tǒng)的NAND要好很多。但是目前在未來(lái)五到十年之內(nèi),NAND還是一個(gè)主力的產(chǎn)品,無(wú)論是未來(lái)過(guò)渡到TLC還是QLC,壽命都是非常重要的。越廉價(jià),越后端的產(chǎn)品,壽命相對(duì)來(lái)說(shuō)就會(huì)越差一些。這時(shí)候我們會(huì)有一些專(zhuān)利的技術(shù),在SSD上,大家用的筆記本都會(huì)用SSD,一個(gè)64G的閃盤(pán),后面藏起來(lái)的有十幾G的空間。因?yàn)橛脩舻臉I(yè)務(wù)不一樣,壓力不一樣,用戶的內(nèi)存也不一樣,所以對(duì)不同的用戶就要做定制化。有的用戶閃存壓力很大,連續(xù)性IO會(huì)多,他的OP隱藏區(qū)域就要多一些,這時(shí)候我們可以放大,在SSD上放大,通過(guò)存儲(chǔ)將SSD放大,這樣可以得到很好的壽命和很好的性能。
第二個(gè)是重刪和壓縮,對(duì)于閃存來(lái)說(shuō),重刪幾乎現(xiàn)在已經(jīng)成了標(biāo)配。
批量大數(shù)據(jù)的寫(xiě)入后,數(shù)據(jù)放在內(nèi)存里,再一次性批量的落盤(pán),降低前端生產(chǎn)壓力,會(huì)對(duì)閃存的性能帶來(lái)整體的提升。
之后是重刪指紋,用來(lái)標(biāo)記重復(fù)和非重復(fù)的數(shù)據(jù)。目前80%的廠商都用了SHA256的技術(shù)。如果你用整個(gè)的SHA256對(duì)比的話,基本上百分之百的確定你的數(shù)據(jù)是否重復(fù),發(fā)生沖突的可能性非常小。最好的重刪方法,是你要了解存進(jìn)來(lái)的數(shù)據(jù)是什么。首先,將數(shù)據(jù)進(jìn)行分類(lèi),之后再進(jìn)行重刪,可以提高效率,減小開(kāi)銷(xiāo)。
另外一個(gè)是數(shù)據(jù)的壓縮技術(shù),其原理就是把一些0和1做重新的整合,把一些低密度的文件,或者低密度的塊壓縮成高密度的塊。這種技術(shù)其實(shí)早在操作系統(tǒng)里就有了,近年來(lái)在存儲(chǔ)中應(yīng)用了起來(lái)。Oracle和虛擬桌面中,可以帶來(lái)很好的壓縮效果。一般可以做到1:2-1:3。
壓縮技術(shù)有兩個(gè)陣營(yíng),就是我進(jìn)來(lái)是多少就是多少,比如進(jìn)來(lái)一個(gè)16K,我存在后端的也是4-6K,而我們現(xiàn)在可以做到的是再打包,把多個(gè)文件壓縮成文件塊,之后再壓縮再放到后端,這樣可以節(jié)省空間和帶寬。但弊端是,你要讀一個(gè)數(shù)據(jù)的時(shí)候,要拿出整個(gè)包來(lái)讀。每一種方式都有利弊。
昨天我們還重點(diǎn)談到關(guān)于后標(biāo)準(zhǔn)化,以后所有的產(chǎn)品都會(huì)是SCM或NVMe,我們?cè)趺礃訁^(qū)分這些產(chǎn)品好壞?哪些對(duì)產(chǎn)品的優(yōu)化更好?有一非常重要的話題,就是人工智能AI,最近一到兩年才正式被各個(gè)廠商拿出來(lái)去研發(fā)。
InfoSight AI的好處是什么?
現(xiàn)在已經(jīng)有很多用戶在使用這個(gè)人工智能平臺(tái)了。
我們發(fā)布這個(gè)AI平臺(tái)以后,發(fā)現(xiàn)大量的用戶開(kāi)始在VMware上進(jìn)行部署,首先這個(gè)部署是免費(fèi)的行為,第二個(gè)它不需要真正的部署,你只要告訴我們VMware系統(tǒng)的權(quán)限就可以了,所以是一個(gè)非常簡(jiǎn)單的事情。有25%的問(wèn)題都是用戶不知情的情況下修復(fù)的。前提是用戶授權(quán)給我們。
這于用戶來(lái)說(shuō),產(chǎn)品同質(zhì)化嚴(yán)重,因此未來(lái)會(huì)更多的通過(guò)AI為客戶服務(wù)。
未來(lái)的后標(biāo)準(zhǔn)化時(shí)代,全部要仰仗于AI。不論是故障的處理,風(fēng)向的掌控,還是解決性能問(wèn)題,AI平臺(tái)都是可以幫助用戶解決很多的問(wèn)題,以前我們說(shuō)AI平臺(tái)停留在應(yīng)用層面,今天,我們把AI平臺(tái)應(yīng)用在存儲(chǔ)層面。目前新華三的產(chǎn)品在整個(gè)應(yīng)用層面來(lái)說(shuō)都是很全,尤其是近幾年的勢(shì)頭非常的強(qiáng)。