智源研究院成立于2018年，其推出的「智源悟道大模型」，是中國首個大模型，為中國人工智能技術發(fā)展奠定了深遠的研究基礎。在2024北京智源大會上，智源研究院公布了大模型全家桶。當前，智源研究院正在優(yōu)刻得國產智算集群上持續(xù)進行更為復雜的模型結構設計和參數調整，以不斷提升大模型迭代速度和自研水平。
基于全自研的虛擬機技術和顯卡高效直通技術，優(yōu)刻得國產智算集群還實現了多用戶機器隔離和快速處理GPU故障等功能，確保GPU算力的高效利用。目前，優(yōu)刻得國產GPU算力底座不僅提供海量算力支持，有效支撐了智源研究院進行國內領先的大模型研發(fā)，也進一步論證了國產芯片在收斂性上對于千億模型的訓練的有效性，性能比肩國際一流的同類GPU產品。
支持異構混訓，模型研發(fā)更高效
隨著多元異構算力成為新的發(fā)展趨勢，當前智源團隊也正致力于研究在多芯片上實現大模型穩(wěn)定高效訓練與推理的并行框架，助力國產算力規(guī)模應用和大模型成果轉化。智源聯(lián)合優(yōu)刻得、國產芯片廠商，共同探索“混訓集群”的構建，并證實了優(yōu)刻得國產智算集群與英偉達主流計算平臺混合組網、異構混訓的可行性。
得益于國產AI算力加持，智源研究院基于優(yōu)刻得國產智算集群完成了多元異構大模型訓練平臺的搭建，并在實訓中實現了長時間的穩(wěn)定訓練不中斷。聯(lián)合測試表明，智源研究院推出的開源大模型并行訓練框架FlagScale可以支持國產芯片做為算力支撐：FlagScale支持基于國產算力的8x16B千億參數MoE語言大模型1024卡40天以上的穩(wěn)定訓練，全面幫助用戶實現高效穩(wěn)定的集群管理、資源優(yōu)化、大模型研發(fā)。
生態(tài)兼容，靈活支撐業(yè)務發(fā)展
優(yōu)刻得國產智算集群全面兼容CUDA等主流GPU生態(tài)軟件棧，這意味著企業(yè)能夠將業(yè)務零成本遷移到國產智算平臺，實現快速適配。集群還提供了完善高效的軟件棧工具，集成多種主流的深度學習編程框架，通過測試驗證，確保了對行業(yè)領先人工智能模型的高效支持，做到開箱即用，用戶可快速投入模型的開發(fā)和部署，加速了其在人工智能領域的布局和發(fā)展。
其中，FlagGemm是智源研究院主導開發(fā)的一套高性能大模型算子庫，技術路線上是基于OpenAI Triton編譯器，具有高性能、覆蓋廣、輕量級的多個優(yōu)勢。優(yōu)刻得國產智算集群通過適配和支持FlagGemm算子庫，實現了強大的生態(tài)兼容性和靈活的業(yè)務支撐能力。
隨著OpenAI決定終止對中國大陸的AI服務，國內對于建設自主可控智算平臺的需求愈發(fā)迫切。優(yōu)刻得致力于構建先進的AGI算力底座，攜手合作伙伴共建大型國產智算集群，以高性能算力和全棧智算解決方案服務大模型訓練和推理。隨著更多用戶的入駐和應用深入，優(yōu)刻得國產千卡智算集群將不斷推動我國科技創(chuàng)新與智算產業(yè)升級邁向新的高度。
