近年來,軟件定義數(shù)據(jù)中心(Softwares Defined Data Center,SDDC)備受業(yè)界關(guān)注,業(yè)內(nèi)專家指出,SDDC可以讓企業(yè)以更少代價獲得更靈活、更快速的業(yè)務(wù)部署、管理和實現(xiàn)。因而,SDDC的概念從誕生之日起就長盛不衰。
軟件定義存儲(Software Defined Storage:SDS)的好處與SDDC的優(yōu)勢如出一轍:更快、更靈活的業(yè)務(wù)支撐所帶來的敏捷性;隨業(yè)務(wù)需求可動態(tài)伸縮資源的彈性;以及軟件定義機制避免重復(fù)硬件投資和資源浪費帶來的成本節(jié)省。
事實上,傳統(tǒng)存儲在擴展性、性能、價格方面應(yīng)對企業(yè)私有云建設(shè)已開始力不從心。軟件定義存儲成為云數(shù)據(jù)中心的最佳解決之道。對于云數(shù)據(jù)中心來說,SDS可謂生逢其時。
那么,對于企業(yè)用戶特別關(guān)心的存儲系統(tǒng)擴展性、性能等核心問題,SDS如何在系統(tǒng)設(shè)計層面去應(yīng)對?目前業(yè)界又有哪些可供選擇的SDS解決方案呢?
帶著這些問題,我們一步一步走近SDS的世界。
近年來,隨著云計算和大數(shù)據(jù)技術(shù)的迅猛發(fā)展,用戶新業(yè)務(wù)層出不窮,數(shù)據(jù)規(guī)模呈指數(shù)級增長,傳統(tǒng)存儲局限性被無限放大,日益成為制約業(yè)務(wù)增長的瓶頸。云計算平臺對存儲提出的諸多要求,傳統(tǒng)存儲方式無法直接搞定。
傳統(tǒng)的存儲,包括SAN、NAS等集中式存儲,在構(gòu)建企業(yè)云數(shù)據(jù)中心時存在三大明顯的局限性。
一:擴展瓶頸,傳統(tǒng)集中式存儲的控制器數(shù)量難以擴展,嚴重制約系統(tǒng)性能和容量。
二:運維管理復(fù)雜,傳統(tǒng)存儲結(jié)構(gòu)復(fù)雜,系統(tǒng)部署周期長,操作管理難度大,對運維人員素質(zhì)要求比較高。
三:硬件定制化帶來的高成本。傳統(tǒng)存儲多采用專用硬件,用戶采購成本高,且易形成廠商依賴,異構(gòu)存儲平臺之間的數(shù)據(jù)互聯(lián)互通也會增加用戶系統(tǒng)的難度與成本。
既然傳統(tǒng)存儲存在著這些不足,那么,云數(shù)據(jù)中心對于存儲到底存在哪些具體需求呢?
首先是數(shù)據(jù)的可靠性。生產(chǎn)數(shù)據(jù)是關(guān)乎企業(yè)存亡的關(guān)鍵,任何情況下,數(shù)據(jù)決不能丟失。
其次是云規(guī)模的擴展性要求。存儲系統(tǒng)應(yīng)能夠根據(jù)業(yè)務(wù)需要可持續(xù)擴展,容量能夠從TB級平滑擴展到PB級,性能也能隨之線性增長。
再次是高性能。存儲系統(tǒng)應(yīng)能高效發(fā)揮新型存儲介質(zhì)(如 NVMe SSD)的性能,同時對系統(tǒng)資源消耗要盡可能低。
最后是成本問題。包括存儲系統(tǒng)的購買和運維成本。購買成本應(yīng)考慮軟硬件采購價格,而運維成本則是系統(tǒng)在運行過程中的維護代價,其中主要是人力成本。
當然企業(yè)在構(gòu)建線上存儲系統(tǒng)時還會有各種針對性需求,例如:多租戶支持、服務(wù)間IO隔離等。
需要說明的是,SDS與之前企業(yè)級存儲領(lǐng)域的存儲虛擬化有著本質(zhì)的區(qū)別。SDS是一種脫胎于SDDC概念下的全新存儲管理模式,是一種軟件與硬件松耦合的方式,可以讓服務(wù)器直接訪問底層存儲設(shè)備;而存儲虛擬化是管理異構(gòu)硬件的統(tǒng)一存儲管理模式,擴展性較弱。
其實,SDS之所以興起,與大數(shù)據(jù)、社交媒體、移動性及云的發(fā)展,以及影響和主宰企業(yè)用戶業(yè)務(wù)的創(chuàng)新不無關(guān)系。包括谷歌、FaceBook、阿里云、百度、騰訊等這些國內(nèi)外互聯(lián)網(wǎng)公司、公有云廠商、社交媒體企業(yè)都采用軟件定義存儲的方案,實現(xiàn)自身更優(yōu)質(zhì)、低廉的數(shù)據(jù)存儲模式,同時在長期應(yīng)用過程中,也在促進SDS技術(shù)架構(gòu)的優(yōu)化與創(chuàng)新。此外,開源云計算產(chǎn)品如OpenStack、Ceph的廣泛應(yīng)用,也在很大程度上促進了SDS在企業(yè)用戶中的普及。
全球第三方分析機構(gòu)IDC分析認為:軟件定義存儲 (SDS)解決方案則截然不同,其存儲控制軟件與基礎(chǔ)硬件分離。SDS 運行于工業(yè)標準(COTS)硬 件上,以“云規(guī)?!苯桓兜耐暾鎯Ψ?wù)。當然,SDS可以作為單獨的系統(tǒng)部署,也可以作為云框架一部分部署。SDS 解決方案支持如文件、塊及對象的各類數(shù)據(jù)組織模式,支持資源編配及交付模式。
當然,SDS應(yīng)云而生,應(yīng)云而發(fā)展的最根本原因在于:軟件定義存儲可以幫助用戶在公有云、私有云、混合云環(huán)境中實現(xiàn)資源整合與自動化管理,并有助于企業(yè)數(shù)據(jù)更好地被利用以發(fā)揮其最大價值。
實際上,在醫(yī)療、金融、媒體等領(lǐng)域,SDS解決方案已經(jīng)被證明是非常成功的,如中國移動、中國電信等運營商建立的通信數(shù)據(jù)中心,采用SDS的分布式存儲架構(gòu),其高擴展性、高靈活性和高性能都得到了長期的驗證,其投資回報率(ROI)得到了明顯改善??梢哉f:SDS可以幫助企業(yè)用戶構(gòu)建一個高性能、高可用、高擴展、高性價比的基礎(chǔ)存儲系統(tǒng),正是企業(yè)夢寐以求的。
首先,要將數(shù)據(jù)的可靠性植入系統(tǒng)基因中。同時,系統(tǒng)應(yīng)能夠提供靈活的數(shù)據(jù)保護策略,讓客戶可以根據(jù)業(yè)務(wù)需求設(shè)定數(shù)據(jù)保護級別。
其次,架構(gòu)上,需要擯棄傳統(tǒng)存儲系統(tǒng)中的集中式元數(shù)據(jù)服務(wù)器,拋棄系統(tǒng)擴展性瓶頸,讓系統(tǒng)插上可擴展的翅膀。
再次,一個良好的SDS系統(tǒng)內(nèi)部需要進行大量優(yōu)化以最大限度地發(fā)揮出硬件性能,如減少IO路徑,提高網(wǎng)絡(luò)并發(fā)性等;。
最后,需要支持現(xiàn)代企業(yè)存儲的一些高級特性,例如:快照、克隆、精簡配置等對客戶極其有價值的附加功能。
從SDS市場發(fā)展趨勢來看,云數(shù)據(jù)中心對于軟件定義存儲系統(tǒng)的需求將越來越多。這里特別介紹兩個國內(nèi)與國外的SDS存儲系統(tǒng)。
一個是業(yè)界大名鼎鼎的EMC收購過來的ScaleIO,一個是來自上海霄云信息科技的碧海存儲系統(tǒng)BlueOcean Stor。
ScaleIO是在2014年初EMC收購的以色列存儲廠商提供的塊存儲解決方案。ScaleIO完全采用標準硬件,通過軟件定義的方式來為應(yīng)用提供高可靠、高性能、高可擴展的存儲能力。ScaleIO可以在單一集群中擴展至數(shù)千節(jié)點。
ESG在ScaleIO的測試報告就指出,ScaleIO借助通用硬件就可以構(gòu)建一個彈性的、融合的、可伸縮的數(shù)據(jù)平臺。
因為集群中的每個服務(wù)器和本地存儲設(shè)備都被并行地用來處理I/O操作和保護數(shù)據(jù),利于將額外的服務(wù)器和存儲設(shè)備添加到配置中,具有可以線性擴張的系統(tǒng)性能。同時ScaleIO自動重建和重新平衡數(shù)據(jù)資源,存儲和服務(wù)器的添加、刪除不影響系統(tǒng)運行,也不用停機,從而實現(xiàn)了系統(tǒng)自治與自愈能力。
ESG實驗室采用最小配置的3節(jié)點ScaleIO集群,使用思科UCS-C240M3S服務(wù)器,配置兩顆10核心2.8Ghz Intel Xeon E5-2680v2 CPU,內(nèi)存為64GB。每個服務(wù)器使用一塊美光P320 700GB PCIe閃存卡作為數(shù)據(jù)存儲。使用FIO軟件測試,在4KB隨機讀情況下,ScaleIO三節(jié)點集群能夠?qū)崿F(xiàn)660k的IOPS,平均每個節(jié)點220k的IOPS。
ESG又在相同的硬件環(huán)境下陸續(xù)做了32節(jié)點、64節(jié)點和128節(jié)點的測試。
其中:128節(jié)點集群隨機讀取IOPS超過3100萬IOPS, 混合工作負載(70%讀30%寫)場景的IOPS可以達到2670萬。意外的是:128節(jié)點測試中隨機讀IOPS平均每個節(jié)點為24萬,但是3節(jié)點的測試結(jié)果是每個節(jié)點隨機讀IOPS為22萬。ESG沒有解釋平均每個節(jié)點IOPS結(jié)果存在2萬差異性的原因。后來仔細讀了一遍ESG測試報告,原來是128節(jié)點測試中使用內(nèi)存模擬硬盤,內(nèi)存速度自然高于PCIe閃存卡,ESG測試結(jié)果也說明ScaleIO的單節(jié)點IOPS上限就是24萬。
需要說明的是:ESG在測試中將測試客戶端與存儲節(jié)點混合部署,這會產(chǎn)生一定的性能損失。
對于ScaleIO性能伸縮性測試能夠做到3節(jié)點、32節(jié)點、64節(jié)點、128節(jié)點的分別實測,這點確實說明了EMC很土豪,也證明了EMC對于ScaleIO性能測試的重視和客觀。這一點,不得不佩服EMC ScaleIO對測試的嚴謹和客觀態(tài)度。
那么,霄云科技自主設(shè)計的碧海存儲系統(tǒng)BlueOcean Stor又表現(xiàn)如何呢?
霄云BlueOcean Stor的分布式塊存儲解決方案架構(gòu)系統(tǒng)組件由管理模塊(Monitor)、數(shù)據(jù)服務(wù)模塊(DS:DataServer)、接入模塊(客戶端 BClient、iSCSI網(wǎng)關(guān)等)組成。
管理模塊(Monitor)主要負責集中化的系統(tǒng)配置、管理、狀態(tài)監(jiān)控以及系統(tǒng)拓撲分發(fā)。管理模塊部署在2個不同的存儲節(jié)點上,以提供服務(wù)高可用。
數(shù)據(jù)服務(wù)模塊(DS:DataServer)主要提供數(shù)據(jù)讀寫服務(wù)。數(shù)據(jù)服務(wù)模塊部署在每個存儲節(jié)點上,存儲節(jié)點之間完全對等,存儲節(jié)點可以大規(guī)模擴展。
接入模塊主要針對不同的應(yīng)用類型提供存儲系統(tǒng)訪問接口。接入模塊包括 Native客戶端、iSCSI網(wǎng)關(guān)、NFS網(wǎng)關(guān)等。接入模塊可以智能感知數(shù)據(jù)是否位于本地并提供最短的最短I/O訪問路徑。
去中心化的架構(gòu)設(shè)計,讓霄云BlueOcean Stor徹底消除傳統(tǒng)存儲中元數(shù)據(jù)服務(wù)器所帶來的擴展瓶頸,單集群可輕松擴展至上千節(jié)點。
支持數(shù)據(jù)多副本與強一致性,數(shù)據(jù)副本保存在不同存儲節(jié)點與機架中,支持磁盤、節(jié)點、機架多級容錯。BlueOcean Stor采用在線和離線修復(fù)雙重機制保障數(shù)據(jù)高可靠。在線修復(fù)機制在數(shù)據(jù)訪問時實時檢測數(shù)據(jù)損壞并進行即時修復(fù),離線修復(fù)機制則定期掃描系統(tǒng)數(shù)據(jù)集并修復(fù)損壞數(shù)據(jù)。
智能IO修復(fù)。BlueOcean Stor可根據(jù)系統(tǒng)I/O負載,自動調(diào)整修復(fù)速率,在系統(tǒng)工作時減少對正常業(yè)務(wù)的沖擊,而系統(tǒng)空閑時以最大速率修復(fù)數(shù)據(jù),降低數(shù)據(jù)丟失風(fēng)險。
霄云BlueOcean Stor從通信協(xié)議設(shè)計、編解碼方式、緩存管理算法、I/O 調(diào)度算法、基于事件驅(qū)動的高并發(fā)編程模型、基于零拷貝的緩沖區(qū)管理等多個關(guān)鍵環(huán)節(jié)都進行了優(yōu)化設(shè)計,充分發(fā)揮存儲硬件性能,滿足云計算數(shù)據(jù)中心虛擬機、數(shù)據(jù)庫等業(yè)務(wù)對高IOPS和低延遲的性能需求。
所謂“光說不練假把式”?;谲浖x存儲SDS 設(shè)計理念,采用分布式架構(gòu)的塊存儲系統(tǒng),霄云BlueOcean Stor到底性能幾何?
作為SDS國產(chǎn)存儲初創(chuàng)公司,霄云科技僅靠自身財力,無法做到如EMC ScaleIO那樣分別針對32、64、128節(jié)點實測,業(yè)內(nèi)朋友也清楚,要實現(xiàn)128節(jié)點的實測,沒有千萬元的預(yù)算是很難完成的。不過,霄云科技找到了中國銀聯(lián)電子支付研究院,以企業(yè)級用戶自身的環(huán)境為基礎(chǔ),做了兩個批次的測試,我們來看看中國銀聯(lián)電子支付研究院針對霄云BlueOcean Stor的兩次測試情況。
首次測試,中國銀聯(lián)電子支付研究院采用的硬件環(huán)境為:測試用例服務(wù)器為浪潮服務(wù)器NF5270 M3,帶有兩顆8核心的 2.4Ghz Intel Xeon E5-2630v3 CPU,配置了32GB RAM。部署4個存儲節(jié)點,每個存儲節(jié)點掛載了4塊600G容量的Intel DC S3500 SATA SSD盤。
數(shù)據(jù)保護級別為雙副本模式,最終測試結(jié)果表明:4k隨機讀IOPS達到83.2萬,單節(jié)點平均為20.8萬;4k隨機寫IOPS達到32.15萬,平均單節(jié)點為8萬。測試表現(xiàn)出來了良好的線性擴展能力,4個節(jié)點集群性能達到單節(jié)點性能的4倍,充分發(fā)揮出SSD盤的性能。
測試過程中,系統(tǒng)運行穩(wěn)定,壓力測試中未出現(xiàn)明顯的性能波動。
第二次測試,中國銀聯(lián)電子支付研究院采用硬件環(huán)境為:浪潮服務(wù)器NF5270 M3,配置兩顆8核心的2.4Ghz Intel Xeon E5-2630v3 CPU,配置了32GB RAM,每個節(jié)點配置了一塊1.2TB容量的Intel P3600 PCIe SSD盤。
P3600 PCIe SSD的性能指標還不錯,采用了PCIe傳輸接口,消除了SAS / SATA瓶頸問題,性能獲得大幅提升,官方標注性能隨機讀取可以達到2800MB /S,IOPS達到46萬;隨機寫入達到1900MB/秒,IOPS達到9萬 。
另外值得注意的是:中國銀聯(lián)電子支付研究院測試采用了一塊萬兆網(wǎng)卡雙端口綁定的方式,更利于測試存儲軟件的真實表現(xiàn)。
測試結(jié)果頗為驚人:4KB隨機讀IOPS性能值達到143萬,單節(jié)點平均為35.75萬;4KB隨機寫IOPS性能達到43.5萬,單節(jié)點平均為10.8萬。測試也表明了,在提供性能更強勁的硬件配置條件下,BlueOcean Stor可以獲得更佳的性能表現(xiàn)。對于土豪用戶來說,這絕對是一個福音。
除了中國銀聯(lián)電子支付研究院的這兩次測試之外,上海市教育委員會信息中心也同樣進行了BlueOcean Stor的特定場景測試。
上海市教育委員會信息中心部署了20臺規(guī)模的霄云BlueOcean Stor節(jié)點,采用浪潮服務(wù)器,配置兩顆16核的2.5Ghz Intel Xeon E5-2682v4 CPU與128GB RAM,其中10個節(jié)點每個配置12個800GB SATA SSD,另外10個節(jié)點每個配置12塊4TB SATA 硬盤。
根據(jù)用戶業(yè)務(wù)需求創(chuàng)建了兩個存儲池,一個是SSD存儲池,10個節(jié)點總計容量96TB;另外一個是SATA磁盤存儲池,10個節(jié)點總計容量為480TB。
為了評估系統(tǒng)性能,首先在配置SSD的服務(wù)器上使用FIO軟件進行本地性能測試,單個SSD的隨機讀為6萬,12個SSD盤總的隨機讀IOPS為24.3萬,這說明單個服務(wù)器的RAID卡性能上限就是24.3萬IOPS。
使用10節(jié)點客戶端測試,BlueOcean Stor表現(xiàn)如下:
測試表明了,10個存儲節(jié)點的隨機讀性能為243萬IOPS,達到單個節(jié)點本地性能的10倍,說明霄云BlueOcean Stor具有不錯的線性擴展能力。
霄云BlueOcean Stor系統(tǒng)部署相當快捷,20節(jié)點240個盤的存儲系統(tǒng)在15分鐘內(nèi)就可搞定。
無論是被國際權(quán)威分析機構(gòu)認可的ScaleIO,還是國內(nèi)存儲技術(shù)初創(chuàng)公司霄云BlueOcean Stor,在性能、擴展性上都表現(xiàn)不俗,那么軟件定義存儲在云數(shù)據(jù)中心都有哪些具體應(yīng)用場景呢?
霄云BlueOcean Stor相關(guān)人員指出,包括虛擬化、云計算、VDI、海量文件存儲、企業(yè)關(guān)鍵業(yè)務(wù)的數(shù)據(jù)庫、郵件服務(wù)器等場景都非常適合使用。霄云BlueOcean Stor基于分布式塊存儲技術(shù),為客戶提供整套存儲解決方案,已經(jīng)在金融、教育等領(lǐng)域獲得了成功應(yīng)用,也為自己在SDS領(lǐng)域的進一步發(fā)展贏得了更廣闊前景。
方案一:云計算、虛擬化與VDI應(yīng)用
當前,云計算大行其道,各種云平臺層出不窮,代表性的有VMware vCenter、Openstack、ZStack,霄云BlueOcean Stor不僅對主流云平臺有著完善的支持,也支持主流的虛擬機VMware Vsphere、KVM、Xen、Hyper-V,更是利用其高效IO性能完美解決了讓用戶頭疼的虛擬機啟動風(fēng)暴問題,也能夠讓用戶真正享受到云計算帶來的敏捷性與按需擴展的能力。
方案二:傳統(tǒng)企業(yè)核心業(yè)務(wù)數(shù)據(jù)庫、郵件服務(wù)器等應(yīng)用
軟件定義存儲系統(tǒng)對標準化協(xié)議的完整支持也讓用戶受益匪淺。如霄云BlueOcean Stor支持標準的 IP SAN 協(xié)議iSCSI,支持Windows、Unix、Linux等操作系統(tǒng),支持VMFS、GPFS等集群文件系統(tǒng),可取代傳統(tǒng)的SAN存儲。這樣,企業(yè)的核心業(yè)務(wù)(如數(shù)據(jù)庫系統(tǒng)、郵件系統(tǒng)等)在遷移至新興的SDS系統(tǒng)時便不再有任何阻礙。
而且,相比于傳統(tǒng)SAN,BlueOcean Stor的iSCSI網(wǎng)關(guān)可隨系統(tǒng)擴展而增加,進一步打破了傳統(tǒng)SAN的機頭數(shù)量瓶頸,系統(tǒng)吞吐量更大,延遲更低。
方案三:海量文件存儲應(yīng)用
海量無結(jié)構(gòu)化數(shù)據(jù)存儲也是企業(yè)當前面臨的難題之一。霄云BlueOcean Stor的全分布式架構(gòu)設(shè)計,結(jié)合其天生的高性能、特色的數(shù)據(jù)分布、高效可靠的數(shù)據(jù)保護技術(shù),在文件共享、醫(yī)療圖像、歸檔與備份等場景中具備廣闊的應(yīng)用空間。
每個公司都有自身的行業(yè)優(yōu)勢與發(fā)展特點,霄云科技憑借三大行業(yè)解決方案,針對企業(yè)用戶的云計算與數(shù)字化轉(zhuǎn)型的需求,提供更為靈活高效、隨需擴展、高性價比的SDS方案,勢必吸引更多用戶的關(guān)注與合作。
誠然,SDS目前的市場規(guī)模與傳統(tǒng)存儲陣營相比還相對弱小。但是來自軟件定義存儲催化的商業(yè)價值,卻表現(xiàn)得越來越明顯,影響力也越來越大。
北美已有差不多50家左右的SDS初創(chuàng)公司,國內(nèi)與SDS相關(guān)的公司也有近40家。而且,目前全球所有服務(wù)器與存儲廠商,幾乎沒有哪一家不支持SDS解決方案,可見大家對于SDS所帶來的商業(yè)價值還是非常認可,積極投身于存儲行業(yè)的下一波技術(shù)浪潮。
展望未來技術(shù)變革,云計算與大數(shù)據(jù)還會深入發(fā)展,并繼續(xù)在多行業(yè)、多領(lǐng)域得到普及,SDS作為數(shù)據(jù)中心的核心組件,也勢必成為大家爭奪的市場高地,其市場潛力還是相當吸引人。(Aming)