根據(jù)微軟的介紹，DeepSpeed 庫中有一個名為 ZeRO（零冗余優(yōu)化器，Zero Redundancy Optimizer）的組件，這是一種新的并行優(yōu)化器，它可以大大減少模型和數(shù)據(jù)并行所需的資源，同時可以大量增加可訓練的參數(shù)數(shù)量。研究人員利用這些突破創(chuàng)建了圖靈自然語言生成模型（Turing-NLG），這是最大的公開語言模型，參數(shù)為 170 億。
ZeRO 作為 DeepSpeed 的一部分，是一種用于大規(guī)模分布式深度學習的新內存優(yōu)化技術，它可以在當前的 GPU 集群上訓練具有 1000 億個參數(shù)的深度學習模型，其吞吐量是當前最佳系統(tǒng)的 3 到 5 倍。它還為訓練具有數(shù)萬億個參數(shù)的模型提供了一條清晰的思路。
ZeRO 具有三個主要的優(yōu)化階段，分別對應于優(yōu)化器狀態(tài)、梯度和參數(shù)分區(qū)。
ZeRO 克服了數(shù)據(jù)并行和模型并行的局限性，同時實現(xiàn)兩者的優(yōu)點，它通過跨數(shù)據(jù)并行進程將模型狀態(tài)劃分為上圖所示的參數(shù)、梯度和優(yōu)化器狀態(tài)分區(qū)，而不是復制它們，從而消除了數(shù)據(jù)并行進程之間的內存冗余。在訓練期間使用動態(tài)通信規(guī)劃（dynamic communication schedule），在分布式設備之間共享必要的狀態(tài)，以保持數(shù)據(jù)并行的計算粒度和通信量。
目前實施了 ZeRO 的第一階段，即優(yōu)化器狀態(tài)分區(qū)（簡稱 ZeRO-OS），具有支持 1000 億參數(shù)模型的強大能力，此階段與 DeepSpeed 一起發(fā)布。
DeepSpeed 與 PyTorch 兼容，DeepSpeed API 是在 PyTorch 上進行的輕量級封裝，這意味著開發(fā)者可以使用 PyTorch 中的一切，而無需學習新平臺。此外，DeepSpeed 管理著所有樣板化的 SOTA 訓練技術，例如分布式訓練、混合精度、梯度累積和檢查點，開發(fā)者可以專注于模型開發(fā)。同時，開發(fā)者僅需對 PyTorch 模型進行幾行代碼的更改，就可以利用 DeepSpeed 獨特的效率和效益優(yōu)勢來提高速度和規(guī)模。
DeepSpeed 在以下四個方面都表現(xiàn)出色：
