容器在生產環(huán)境的應用的比例快速上漲,從2016年首次調查的23%,到2018年上漲到73%,實際到2020年已經上漲到84%

云原生應用正在引領各個應用領域實現云原生化,同時也在深刻改變著應用服務的方方面面。存儲作為應用運行的基石,也在服務云原生化過程中提出了更多的需求。云原生存儲為了滿足云原生特性的要求,可用性、穩(wěn)定性、擴展性、性能等核心能力都有大幅的優(yōu)化。

作為國內最大的云產商,阿里云提供了豐富的云原生服務。和網絡,計算的編排不同的是,存儲需要考慮如何無縫的接入到K8S中進行編排和調度。K8S推出了CSI,通過統(tǒng)一的標準將存儲和K8S進行了無縫的對接。本文討論云原生容器對存儲的挑戰(zhàn),面向云原生和容器等領域的發(fā)展,阿里云文件存儲不斷進行云原生適配和演進,完美應對云原生存儲挑戰(zhàn),阿里云NAS是容器存儲的自然選擇。

云原生帶來的存儲挑戰(zhàn)

新的企業(yè)負載/智能工作負載容器化、遷云、存儲方面遇到的性能、彈性、高可用、安全及生命周期等方面的問題,不但需要存儲產品層次的改進,還需要在云原生的控制/數據平面的改進,推進云原生存儲和云存儲的演進。

1.存儲性能挑戰(zhàn):云原生應用在大數據分析、AI 等場景得到廣泛應用,這些場景對存儲吞吐和IOPS的需求也非常高。通過容器集群,集中處理海量數據,同時啟動數千Pod,彈出海量Pod對共享文件系統(tǒng)進行讀寫。重負載下導致時延增加,高延遲毛刺增多,讀寫穩(wěn)定性不足,同時云原生應用的快速擴容、極致伸縮等特性也會考驗存儲服務在短時間內迎接峰值流量的能力。
a.集中式高吞吐對共享存儲池沖擊:高性能計算場景中,集中處理批量數據,同一個存儲集群中帶寬擠占,造成訪問質量下降。
b.峰值吞吐不足:大規(guī)模數據處理,文件數目少,峰值吞吐高,請求密集,接近獨占集群的極限帶寬。
c.時延增加導致 GPU 等待:多機多卡 GPU 訓練,讀密集型。時延增加導致 IOwait 和 GPU 等待。

2.存儲彈性挑戰(zhàn):云原生的極致彈性,給存儲在彈性方面帶來了新的挑戰(zhàn)。隨著云原生多元業(yè)務發(fā)展,數據庫如MySQL等擴容,元數據管理應用如Zookeeper等在線擴容,本地盤存儲容量無法彈性擴容。

3.存儲高可用挑戰(zhàn):應用運維、系統(tǒng)運維時,存儲隨容器遷移的穩(wěn)定性和可發(fā)現性挑戰(zhàn)。

4.存儲的安全挑戰(zhàn):面向的隔離性要求場景主要是多應用共享,文件系統(tǒng)多租戶環(huán)境的容量配合,集群級文件系統(tǒng)共享訪問的權限控制。用戶應用的全鏈路數據加密要求。

5.存儲的生命周期管理挑戰(zhàn):共享文件系統(tǒng)、緩存系統(tǒng)的聲明方式創(chuàng)建和刪除。

阿里云文件存儲如何來應對這些挑戰(zhàn)

針對以上在新的計算模式下,存儲方面遇到的性能,彈性,高可用,安全,生命周期等方面的問題,不但是需要存儲產品層次的改進,更需要在云原生的控制/數據平面的改進,在不久的將來實現穩(wěn)定,安全,和效率并舉的云原生存儲。需要在云原生應用層、存儲云產品層、底層存儲適配和存儲核心層都需要做相應的改進和提升才有可能提供更加穩(wěn)定,安全和高效的面向應用的云原生存儲。
隨著云原生技術的發(fā)展,各個公有云廠商都開始對其云服務進行云原生化改造或適配,提供更加敏捷、高效的服務來適應云原生應用的需求。阿里云存儲服務也在云原生應用適配做了很多優(yōu)化,阿里云文件存儲支持 CSI 、Flexvolume存儲驅動無縫的銜接了云原生應用和存儲服務之間的數據接口。實現了用戶使用存儲資源時對底層存儲無感知,而專注于自己的業(yè)務開發(fā)。
文件存儲NAS為云原生提供了一個完全彈性和共享的文件系統(tǒng),按需使用,滿足云原生極致的彈性。文件存儲從性能,彈性,安全,生命周期管理等方面對云原生存儲進行了打造和演進。

1.在AI,大數據分析,高性能計算領域,阿里云文件系統(tǒng)分散工作負載多文件系統(tǒng)和多個存儲集群、多個可用區(qū)通過容器編排分散IO到多文件系統(tǒng)。支持客戶端本地只讀緩存技術、分布式存儲,降低網絡延遲和IO、GPU等待時間??梢灾С謩傂越桓稊凳瓽B吞吐的能力,提升算力。

2.彈性方面,NAS支持自由擴縮容,按量付費,是完全托管的文件系統(tǒng)。極速型NAS提供了百us的延時,在金融,互聯網等典型的突發(fā)彈性場景中,能夠在幾分鐘內啟動數千個容器,并完成數據的極速加載、卸載。

3.高可用方面,NAS支持容器快速Failover,同時支持存儲快照、備份等企業(yè)級特性。

4.在安全方面,支持全面的AD/ACL權限管理,支持配額,打造了統(tǒng)一命名空間,支持對海量pod間的IO進行隔離和統(tǒng)一管理;文件存儲產品支持傳輸加密、落盤加密等功能。

5.面對海量數據,提供了數據生命周期管理,自動歸檔冷數據,可以降低90%的用戶成本。

為什么選擇阿里云文件存儲作為容器存儲?

阿里云文件存儲NAS為非結構化數據提供存儲服務。隨著云原生的快速發(fā)展,許多公司的容器化應用程序使用NAS存儲數據,有些甚至存儲PB級數據。阿里云在云原生布局上提供容器K8s服務(ACK)和彈性容器實例(ECI),容器實例使用NAS文件系統(tǒng)作為持久化存儲。容器存儲離不開共享文件存儲。

阿里云文件存儲是云原生、高可用、成本優(yōu)化的完全托管的文件系統(tǒng)。阿里云文件存儲有三款產品,通用型NAS,極速型NAS和并行文件系統(tǒng)CPFS。

阿里云NAS是容器存儲的自然選擇,因為它是一種完全托管的服務,配置簡單,添加或刪除數據時自動擴展,和容器基礎架構一樣靈活便捷。

通常,彼此共享數據的容器自然需要共享文件存儲,長期運行的容器也可使用共享文件存儲應對故障。阿里云文件存儲同時滿足容器應用場景對持久化存儲彈性伸縮、靈活掛載、高性能的需求。此外,容器鏡像的配置文件或初始加載數據存儲可以在 NAS 文件存儲上實現共享,在容器批量加載時實時讀取,多 POD 間通過 NAS 共享持久化數據,在 POD 故障時可以進行故障切換。

隨著新技術的發(fā)展,機器學習AI和基因處理等大量使用共享文件存儲。我們通??吹饺缦乱恍┦纠?/p>

總結

以容器和云原生計算被企業(yè)快速接納,Kubernetes 逐漸成為云原生時代的基礎設施,容器服務成為云原生時代基礎設施。新的工作負載推進云原生存儲和云存儲的演進,云原生控制平面實現效率等方面的能力,從數據面提升存儲穩(wěn)定和減小安全隱患,云存儲繼續(xù)夯實性能,容量,彈性,密度等基礎能力,共建云原生環(huán)境下的存儲生態(tài)。

阿里云文件存儲是容器存儲的自然選擇,完美應對云原生存儲在性能,彈性,高可用,安全,生命周期等方面的數據挑戰(zhàn)。阿里云基于云原生文件存儲技術的快速演進將不斷賦能云原生和容器領域的快速發(fā)展。(轉載自阿里云,侵刪)

分享到

zhupb

相關推薦