中文字幕精品亚洲一区,在线成人a毛片免费播放

飛槳開源框架2.0 API參考文檔：

https://www.paddlepaddle.org.cn/documentation/docs/zh/api/index_cn.html

使用飛槳框架2.0更高效地訓練AI模型

訓練更大規(guī)模的模型

眾所周知，飛槳框架的英文名Paddle便是并行分布式訓練學習的縮寫，分布式可以說是飛槳與生俱來的特性。飛槳支持包括數(shù)據(jù)并行、模型并行、流水線并行在內(nèi)的廣泛并行模式和多種加速策略。在飛槳框架2.0版本中，新增支持了混合并行模式，即數(shù)據(jù)并行、模型并行、流水線并行這三種并行模式可以相互組合使用，更高效地將模型的各網(wǎng)絡層甚至某一層的參數(shù)切分到多張GPU卡上進行訓練，從而實現(xiàn)支持訓練千億參數(shù)規(guī)模的模型。

業(yè)內(nèi)首個通用異構參數(shù)服務器架構

飛槳框架2.0推出了業(yè)內(nèi)首個通用異構參數(shù)服務器技術，解除了傳統(tǒng)參數(shù)服務器模式必須嚴格使用同一種硬件型號Trainer節(jié)點的枷鎖，使訓練任務對硬件型號不敏感，即可以同時使用不同的硬件進行混合異構訓練，如CPU、GPU(也包括例如V100、P40、K40的混合)、AI專用加速硬件如昆侖芯片等，同時解決了搜索推薦領域大規(guī)模稀疏特征模型訓練場景下，IO占比過高導致的計算資源利用率過低的問題。通過異構參數(shù)服務器架構，用戶可以在硬件異構集群中部署分布式訓練任務，實現(xiàn)對不同算力的芯片高效利用，為用戶提供更高吞吐，更低資源消耗的訓練能力。

　　圖異構參數(shù)服務器架構示意圖

　　通用異構參數(shù)服務器架構之所以被稱之為通用，主要在于其兼容支持三種訓練模式：

　　1、可兼容全部由CPU機器組成的傳統(tǒng)參數(shù)服務器架構所支持的訓練任務。

　　2、可兼容全部由GPU或其他AI加速芯片對應機器組成的參數(shù)服務器，充分利用機器內(nèi)部的異構設備。

　　3、支持通過CPU機器和GPU或其他AI加速芯片對應機器的混布，組成機器間異構參數(shù)服務器架構。

　　異構參數(shù)服務器擁有非常高的性價比，如下圖所示，僅用兩個CPU機器加兩個GPU機器就可以達到與4個GPU機器相仿的訓練速度，而成本至少可以節(jié)約35%。

　　分布式訓練教程：

https://fleet-x.readthedocs.io/en/latest/paddle_fleet_rst/distributed_introduction.html

使用飛槳框架2.0更廣泛地部署AI模型到各種硬件

全面深度適配各種人工智能硬件

AI產(chǎn)業(yè)的廣泛應用離不開各種各樣的人工智能硬件的繁榮，飛槳可以說深諳其道，持續(xù)努力打造繁榮的硬件生態(tài)。當前包括英特爾、英偉達、ARM等諸多芯片廠商紛紛開展對飛槳的支持。飛槳還跟飛騰、海光、鯤鵬、龍芯、申威等CPU進行深入適配，并結合麒麟、統(tǒng)信、普華操作系統(tǒng)，以及百度昆侖、海光DCU、寒武紀、比特大陸、瑞芯微、高通、英偉達等AI芯片深度融合，與浪潮、中科曙光等服務器廠商合作形成軟硬一體的全棧AI基礎設施。當前飛槳已經(jīng)適配和正在適配的芯片或IP型號達到29種，處于業(yè)界領先地位。