這是在網(wǎng)上找到的LLmOS圖，還有幾年后對(duì)大語(yǔ)言模型的愿景——知識(shí)比任何一個(gè)人都多，能瀏覽網(wǎng)頁(yè)，能使用現(xiàn)有軟件，比如計(jì)算器，Python等，還可以查看和生成圖像和視頻，能聽(tīng)能說(shuō)，能生成音樂(lè)，會(huì)慢速思考，能自我升級(jí)，能為定制任務(wù)進(jìn)行微調(diào)，還可以和其他大模型通信。

感言：自我升級(jí)，任務(wù)微調(diào)，這讓我想到劉慈欣的一部科幻小說(shuō)《贍養(yǎng)上帝》，未來(lái)隨著AI無(wú)所不能，機(jī)器可以自我維護(hù)，人類僅僅作為服務(wù)對(duì)象存在，他們會(huì)忘記生存的手段，忘記技術(shù)與科學(xué)…雖然百年內(nèi)不會(huì)發(fā)生，但依然讓人毛骨悚然。

AI模型發(fā)展的關(guān)鍵因素：

在AI模型的發(fā)展中,模型的規(guī)模無(wú)疑是最重要的因素。但除了規(guī)模之外,還有很多其他重要因素,例如數(shù)據(jù)質(zhì)量、算法選擇、訓(xùn)練技巧等等。規(guī)?？梢钥醋魇悄Ｐ托阅艿纳舷?而這些其他因素則決定了我們能在多大程度上逼近這個(gè)上限。

此外,強(qiáng)大的計(jì)算基礎(chǔ)設(shè)施和優(yōu)秀的人才也是不可或缺的。單靠資金和計(jì)算資源是不夠的，還需要在算法、工程等方面有深厚積累的團(tuán)隊(duì)。

開(kāi)源AI生態(tài)的現(xiàn)狀和發(fā)展：

目前所謂的開(kāi)源AI模型往往只是開(kāi)放了訓(xùn)練后的模型權(quán)重,并沒(méi)有提供數(shù)據(jù)、代碼等一整套訓(xùn)練基礎(chǔ)設(shè)施,因此還不能算是真正意義上的開(kāi)源。開(kāi)放大模型權(quán)重但不公開(kāi)數(shù)據(jù)和代碼，類似一個(gè)廚子公開(kāi)分享了他拿手菜的精確配料比例（權(quán)重），但沒(méi)有提供購(gòu)買這些配料的地點(diǎn)（數(shù)據(jù)）或具體的烹飪步驟（代碼）。

真正的開(kāi)源需要對(duì)整個(gè)流程進(jìn)行開(kāi)放,讓社區(qū)可以基于這些模塊進(jìn)行創(chuàng)新。一些大公司可以考慮更多地支持開(kāi)源生態(tài)的發(fā)展,這不僅有利于推動(dòng)AI民主化,也有利于整個(gè)產(chǎn)業(yè)的進(jìn)步。

模型組合性方面的進(jìn)展和思考

與傳統(tǒng)軟件開(kāi)發(fā)相比,當(dāng)前的神經(jīng)網(wǎng)絡(luò)模型在組合性方面還有所欠缺。不過(guò)也有一些組合使用的例子,比如可以將預(yù)訓(xùn)練好的模型組件進(jìn)行組裝,然后在下游任務(wù)上進(jìn)行微調(diào)。但總的來(lái)說(shuō),目前還沒(méi)有一套系統(tǒng)性的模型組合方法論。未來(lái)可能需要在模塊化、標(biāo)準(zhǔn)化等方面做更多的研究。

成本和性能的權(quán)衡

在實(shí)際的開(kāi)發(fā)中,我們通常會(huì)面臨模型性能和計(jì)算成本之間權(quán)衡。一般的策略是先追求盡可能好的性能指標(biāo),而把成本優(yōu)化放到后面。比如我們可以先用盡量好的模型去生成高質(zhì)量的訓(xùn)練數(shù)據(jù),然后再訓(xùn)練一個(gè)更小更便宜的模型去擬合這些數(shù)據(jù)?？偟膩?lái)說(shuō),我們應(yīng)該遵循”先讓系統(tǒng)work起來(lái),再去考慮優(yōu)化”的原則,即功能第一,優(yōu)化第二。

AI的局限性

AI尤其是如ChatGPT這樣的大模型，在處理復(fù)雜問(wèn)題時(shí)存在局限性。雖然它們?cè)谑占瘮?shù)據(jù)和推理方面很強(qiáng)大，但并不能理解或處理問(wèn)題的深層邏輯。人類和模型的思維差異導(dǎo)致了處理問(wèn)題的難易程度不同，模型難以完全模擬人類的邏輯推理過(guò)程。

對(duì)未來(lái)AI發(fā)展的期待

為了讓AI模型更加高效和智能，需要探索新的訓(xùn)練方法，使模型的學(xué)習(xí)過(guò)程更加符合人類的學(xué)習(xí)方式，包括練習(xí)、筆記、重構(gòu)概念等。他將AI發(fā)展比作是要進(jìn)入“研究院”，強(qiáng)調(diào)AI也需要像人類一樣進(jìn)行深入的自主學(xué)習(xí)。

崔歡歡