AI賽道進入全面競爭,AndesGPT會為每個人堅定而來

這一系列的大動作的宣布,也再次印證了當下大模型的全面競爭時代。

發(fā)布會先從“智能體驗”切入,強調“更有用、更專業(yè)、更專屬”。比如,跟隨ColorOS 14一起發(fā)布的全新小布,就內置了豐富的智能體,不同的智能體為用戶提供不同的場景體驗。

這個思路下,OPPO給出了AndesGPT的目標:為每個人打造有用的大模型及智能體,并且也將開源智能體框架,打造一站式的“智能體開發(fā)平臺”。

據(jù)介紹,AndesGPT有三大類規(guī)格:AndesGPT-Tiny、AndesGPT-Turbo 和AndesGPT-Titan,可涵蓋十億至千億以上多種不同參數(shù)規(guī)模的模型規(guī)格,并根據(jù)不同場景智能調度。在AndesGPT的網(wǎng)絡架構中,OPPO也提出了兩個組合創(chuàng)新:“RoPE 位置編碼探索base最優(yōu)值”——來極?提升上下?擴展能?,還有“GQA 結合復雜移動窗?加速訓練和推理”——來實現(xiàn) O(Nd)的線性復雜度。

四大核心能力凸顯,AndesGPT賦能多個大模型應用場景

AndesGPT將核心能力聚焦在知識、記憶、工具和創(chuàng)作四大方向。

在知識能力上,AndesGPT提供了“融合知識庫、知識圖譜及通用搜索,提供更專業(yè)的問答”的能力,同時也通過“?動識別知識依賴模塊、準確判別引?外部知識實際、引?精準召回機制”來將外部知識與模型融合?成結果,降低“幻覺”的產(chǎn)生。

在記憶能力上,AndesGPT具備了?時記憶機制,可以?持?限?度的上下?。長時記憶主要包括用戶交互過程中產(chǎn)生的交互歷史、個人數(shù)據(jù),以及從中提取的結構化信息等。為了解決長時記憶引入的首字推理時長的問題,OPPO?研了名為SwappedAttention的機制。

這個機制有一定的領先性和原創(chuàng)性,相對PagedAttention,在PagedAttention基礎上做了技術的演進和擴展。

比如在首字生成場景,需要對歷史序列進行編碼計算,當歷史序列較長時,容易出現(xiàn)計算瓶頸,表現(xiàn)為首字計算耗時長,并發(fā)度低。SwappedAttention可緩存歷史KV值,大幅降低首字計算量。并使用GPU顯存、主機內存、GDS連接外部存儲等多層級緩存方式,根據(jù)緩存時長、對話頻率等策略進行分級存儲與交換。

在實際應用中,如常見的“多輪對話場景“中,隨著聊天輪次累積,Prompt越來越長,每個Query的首字時耗越來越長。SwappedAttention可以緩存歷史KV值至多級緩存中,有效減少對話時首字推理時間,使得用戶獲得更快的系統(tǒng)響應。

在“FileChat文檔對話場景”中,SwappedAttention可以讀取歷史計算好的KV值信息,避免長文本的KV值重計算,大量減少計算開銷,縮短首字推理時間,并且可以提升首字計算的并發(fā)度;在非首字的推理過程中,SwappedAttention可以動態(tài)壓縮KV值,進一步降低顯存占用,提升整體吞吐。

在工具使用上,AndesGPT在訓練階段引?代碼和??本進?強化訓練,并通過指令構建和微調,提升模型遵循指令的效果。同時還?持“系統(tǒng)設置、??應?、三?服務、代碼解釋器”等各類?具。

在創(chuàng)作能力上,除了不斷提升的“對話”能力,AndesGPT還具備“文生圖、圖生圖、中國風、高清壁紙”等能力,并且已經(jīng)全流程支持音樂生成。此前小布剛發(fā)布的單曲《專屬于你:小布永相伴》,其歌詞、旋律、音色等元素均由AndesGPT生成。

篤定端與云的協(xié)同,AndesGPT有條不紊地展開大模型未來之路

AndesGPT通過端云協(xié)同的設計,來為用戶提供智能化服務:端側解決方案的優(yōu)勢非常明顯,能夠提升針對任務執(zhí)?、降級應答等場景,提升極端場景下的可?性;同時在云端,OPPO同樣提供可信的大模型服務,會結合機密計算技術,構建加密、可信通道,充分保障用戶隱私。

不久前,OPPO也與聯(lián)發(fā)科宣布“共建輕量化?模型端側部署?案”,能夠看到OPPO從底層來構建“端云協(xié)同、全棧優(yōu)化”的充分思考和周到考慮,正不斷為未來技術發(fā)展做好扎實鋪墊。

聯(lián)想到剛剛過去的OPPO Find N3新機發(fā)布,幾個“天花板”級別的“安全隱私”設計確實讓人心動,可見OPPO一直在安全領域下功夫,想必大模型領域的安全可信也會有自己獨特的技術積累,為?戶的數(shù)據(jù)保駕護航。

不畏蜀道難,“閃著中國AI生態(tài)希望之火”的官宣發(fā)布

從這次干貨滿滿的發(fā)布會可以看出,OPPO做大模型有自己的思考,期望將大模型落到實處、并搭建一個人人可參與的大模型應用生態(tài)。大模型之難不僅在“算力、數(shù)據(jù)、算法”等,搭起來只是完成了一部分,更在如何落地于每個人的“個性化需求”和“便捷可用、可定制”,而智能體的開源便是OPPO找到的關鍵一環(huán)。

也許,OPPO 早早地看到了大模型應用生態(tài)不可替代的重要作用,才會以全局化的努力在 AndesGPT 正式發(fā)布的當下就明確提出這樣一個長期主義的思路。這也將持續(xù)成為未來OPPO在大模型發(fā)展之路上的底層思考。

與本次一起發(fā)布的ColorOS14聯(lián)系起來看,就會發(fā)現(xiàn),AndesGPT賦能整體ColorOS?態(tài),為OPPO的整體科技化與智能化助力,也已是必然的路徑選擇。AndesGPT作為驅動OPPO公司AI戰(zhàn)略的核?引擎,全?賦能OPPO智慧終端只是時間問題。

技術之火會因為眾人的加入而勃發(fā)。也許不遠的未來,就能看到一個欣欣向榮的,OPPO與??開發(fā)者?起打造的大模型應??態(tài)。

songjy