紫光西部數據有限公司高級產品經理田成
以下為嘉賓演講實錄:
這是一個數據大爆發(fā)的時代,人工智能,AI,包括現在增強虛擬現實都是比較新的技術,Docker最近炒的非?;穑驗樗苡锌赡苋〈F在非?;鸬奶摂M主機技術,當然這只是大家的一個想法,但目前來看虛擬主機在主流行業(yè)當中還是占據非常主導的地位,那Docker憑什么能夠取代虛擬主機,這個是值得大家思考的問題。
我的體會是它作為一個新興技術是怎么樣充分滿足用戶新需求,我們就先說一下虛擬主機,大家都很熟悉,你買一臺物理主機,安裝相應的一些軟件,就可以把這臺主機虛擬成多臺虛擬主機,你會在不同的虛擬主機上不同的OS在上面,這就是虛擬主機的概念。但是Docker完全顛覆了這個概念,大家在同一個物理主機里面共享OS(操作系統(tǒng))層,這樣可以給客戶帶來幾大好處,第一OS層省掉了,我啟動一個Docker,它的速度就變得非???,以前啟動一個OS速度是分鐘級,對于Docker來說它是秒級啟動,我在給一個用戶部署一個應用的時候,幾乎是不需要花時間,就能夠把這個應用完全啟動起來。這個技術帶來的,我們現在有個中文名稱叫容器技術,容器技術給大家?guī)淼母淖兪欠浅>薮蟮摹?/p>
一些比較大型的銀行業(yè),他們現在已經非常深入的在研究容器技術,其中最主要的就是Docker技術,研究這個容器技術的時候把握了幾個點,如果大家做過傳統(tǒng)銀行業(yè)務,你會發(fā)現它的運營部門和開發(fā)部門是兩個完全獨立的部門,兩個部門之間會有一個溝通的橋梁,如果這個溝通橋梁做的不好的情況下,這時候開發(fā)速度也好,上線速度也好都會變得非常非常緩慢。
我們知道一家傳統(tǒng)的銀行系統(tǒng)至少都是一個上百級的應用,如果我們在上百個應用里面,每一個應用開發(fā)速度都是以月為周期作為單位的話,那這個開發(fā)進度是不可想象的,所以銀行業(yè)決定變革,怎么變革,他們充分運用新的技術,新的容器技術或者新的開發(fā)理念能夠加快從開發(fā)測試到上線的時間和速度,我之前的一些經歷表示,一個新的系統(tǒng)上線現在已經縮短到以周或者以天為計算單位,這種變革實際上是發(fā)生在我們每一個人的周圍,大家都是做IT的,也都是做存儲的,這種變化我們生活當中已經非常深刻的領會到了。
我之前還做過一些項目,比如跟智能工廠,智能物聯網相關的比較大型的項目,這些項目的共同特點跟我們過去的想法完全不一樣,過去是什么想法呢,我按一個訂單,比如我生產汽車,這個汽車我生產出來什么顏色,用戶就只能購買這個顏色,現在汽車生產方式已經變成了訂單化的生產模式,我要什么顏色會生產出什么顏色,我們能夠不停的發(fā)現數據的變革,也是用戶需求的變革,這就是我的主題,這是一個數據爆發(fā)的時代。
既然有這么大量的數據存在,必然就會有一些數據是快數據,什么叫快數據,交易類型的數據,建模數據,智能工廠的數據,這些快數據對數據的要求就是IO的速度一定要快,它的性能一定要高,它的延遲一定要低。有快數據的同時還會有一些溫數據或者慢數據,什么樣的數據是溫數據或者是慢數據呢,比如說我們要做一些分析,要做一些預測,要做一些合規(guī)的數據,這個數據我們叫慢數據或者溫數據,這個數據的特別就是容量非常高,高容量的數據。所以我們現在的數據業(yè)務特點從我現在的歸納來看主要分為兩大塊,一個是對性能要求很高的數據,一個對容量要求很高的數據,看似是兩個矛盾的東西,我們能不能整合在一起,這是我們今天要討論的重點話題。
剛才提了數據的多樣性,我們來看一下不同的數據介質能夠帶來什么樣的結果,我們的CPU,有緩存一二三級,這個CPU是作為數據處理終極介質,處理速度非??欤且约{秒級的速度處理。這個是我們常用的內存還有NAND的存儲介質,容量比CPU高一些,但是速度降低,以毫秒級為計算單位。再往上就是FLASH,我們已經能做到7.68TB,這個容量已經非常大了,以至于我們現在普通的HDD可能都比不上,最后就是我們普通的硬盤,它的容量是逐漸上升的,速度是逐漸下降的,成本也是逐漸下降的,我們對數據不同的介質給我們帶來的好處是不一樣的,怎么通過不同的介質最終使整個系統(tǒng)有效的運行下來。
我們就需要考慮幾個話題,一個就是存儲介質的性能是不是足夠好,有幾個指標,IOPS、延遲和帶寬,作為存儲最基本的指標我們應該了解,這個數據存儲設備是不是能夠滿足性能的要求。
第二點就是可靠性,因為我們知道做數據存儲最關鍵的就是可靠性,我們有沒有相應的內存的保護機制,緩存如果失效了,我們是不是能夠把緩存的信息及時的保存下來,有沒有雙活的架構,你的架構設計是不是雙活的,一個控制器失效,另外一個控制器是不是能接著工作。第三有沒有一個完整的數據完整性的保護措施。然后是效率,我們都會關心數據精簡,元數據加速,應用程序集成,統(tǒng)一管理,第四就是特性,你這個存儲設備是不是能夠實現多協(xié)議訪問。最后一點就是你這個存儲設備是不是具有足夠的經濟性,是不是夠便宜,是不是能夠買得起,你的介質是不是具有自適應的特性,這些都是我們對一個存儲系統(tǒng)所需要關注的幾個點。
一款存儲設備,是內存優(yōu)先的一個存儲架構,我們數據在讀取的時候,是優(yōu)先把數據存在內存里面,那怎么在內存里面對數據進行處理,這是我們非常關注的一個話題,我們后面會有詳細的解釋。再往下存,就是我們剛才提的flash硬盤還有普通的硬盤,這幾者之間是什么關系,我們數據進來以后首先經過內存,然后經過非適應性內存,DRAM在這里面起到什么作用,一旦緩存的數據失效了,它能夠有效的保護或者保存數據,這個也是我們西部數據的一個創(chuàng)新點。
怎么做到極速性能提升,我們來看一下,左邊這個是傳統(tǒng)的存儲設備,兩個完全混雜在磁盤里面,這樣有個問題,使整個IO訪問速度非常受限,右面是現在我們做的。剛才提到了企業(yè)特性,就是我們作為存儲系統(tǒng)常用的在線壓縮和重刪,在我們紫光西部數據里面,壓縮和重刪有一點不一樣,數據進來之后首先進行在線的壓縮,直接在內存或者緩存里面做壓縮,壓縮以后再做重刪,重刪的數據還是保留在內存里面,通過數據精簡提高整個緩存或者閃存利用率,我們數據進來以后首先就能看到有哪些數據被保留下來了,能夠實現整體的數據性能的提升。
這個是應用在不同的應用場景,有非結構化數據,還有一些消息、社交、虛擬化、桌面、分析、交易之類的,所有的這些應用都可以通過這一個設備實現。為什么能夠實現,是因為它有非常豐富的企業(yè)級特性,有全面的數據完整性,有元數據加速,有智能的緩存,有通過簡單的滑塊實現硬盤的對比,還有多協(xié)議的數據訪問,因為它可以支持非結構化數據,一些最基本的閃存系統(tǒng)的功能我們都有。
謝教授是專門研究閃存持久性的,大家知道閃存是有壽命的,什么樣的情況下我們能夠使閃存的持久性保存的更好,肯定要用一個非常先進的算法來實現,這個算法就是我們現在OS的核心,可以采用大數據塊寫入的方式,或者順序的寫入方式,實現整個閃存長久的使用。上午有的廠商提到我們的閃存可以使用100年,我也可以承諾我們閃存的持久性可以達到100年。
我們承諾數據縮減達到4:1的比例,這個是史無前例的,全閃和混閃都有,這個不是所有廠商都能做到的。第二個我們能夠承諾全閃性能達到或者接近100萬IOPS,時延能夠達到0.1毫秒。這個是我們實驗室的實測數據,所以我們也敢在這個地方給大家做一個承諾。全承諾,真賠償,我們不是做廣告,我們是在這邊會有一個正式的承諾給到大家,如果有合作伙伴或者是廠商對這個承諾感興趣,可以直接找我們銷售,銷售會告訴大家怎么做這個承諾,怎么做這個賠償。
上午胡總也發(fā)布了一個新產品,其實就是基于NVMe新的全閃存儲產品,我在這邊強調一點,我們在NVMe全閃存儲里面我們是第一家可以支持統(tǒng)一存儲的,我們支持任意的結構化和非結構化數據。第二點我們是統(tǒng)一的軟件平臺,我們的NVMe這個平臺跟普通的平臺用的是同一個軟件,也就意味著用戶使用起來的時候不會感覺到任何不方便,因為它的使用習慣完全都是一樣的。最后一個很重要,支持企業(yè)級全特性,剛才提到的克隆、快照、復制之類的所有的企業(yè)級特性在我們現在這塊全部都能提供。紫光西部數據在一年之前成立這家公司,最早的目的就是能夠把世界上最先進的存儲和磁盤產品帶給大家,所以我相信一年以后我們也會秉承這個理念,能夠把最新產品和最新的技術帶給大家或者帶給合作伙伴,或者客戶。最后,紫光西部數據我們雖然是一家新成立的公司,但是我們是一家具有開拓性和創(chuàng)新性的公司,我們希望通過這款創(chuàng)新的閃存系統(tǒng)能夠幫助客戶全面實現業(yè)務轉型,謝謝大家。