左圖為PLATO-2中文對話演示，右圖為《隱秘的角落》劇照
如今，智能對話正以肉眼可見的速度成為人們熱愛談?wù)摰脑掝}，不管是《向往的生活》里的國民機靈鬼小度，或者是手機里隨叫隨到的“hi，siri！”，我們越來越習(xí)慣以語言來和機器進行溝通。但不論是家庭、或是手機端，當(dāng)下有明確功能性的智能助手對比真正能與人類在開放話題中自由對話仍然有差距。
針對這一問題，近年來，基于大量語料和超大規(guī)模預(yù)訓(xùn)練模型的對話生成技術(shù)取得了非常多喜人進展，如谷歌Meena、Facebook Blender等模型依托數(shù)十億級的參數(shù)和語料，已能模擬生成與人類非常相近的對話。
但是，龐大的對話語料下隱藏著豐富的信息，同樣的對話語境可以有多種不同的回復(fù)，這樣“一對多”問題是當(dāng)前對話系統(tǒng)面臨的一個重要難點。我們知道，人與人的對話不僅與上下文相關(guān)，也和背景知識相關(guān)，不論是個人屬性、知識背景、或是價值觀、情緒狀態(tài)等。但每段對話背后，對話者的背景知識是模型訓(xùn)練中難以獲取的，這就給訓(xùn)練帶來了很大噪音。如谷歌Meena、臉書Blender等一般的編碼-解碼神經(jīng)網(wǎng)絡(luò)不論結(jié)構(gòu)多復(fù)雜，仍然是一個“一對一”的函數(shù)，直接應(yīng)用很容易產(chǎn)生大量“哈哈，不知道”這類的安全回復(fù)。
針對這一問題，百度去年發(fā)布的PLATO模型和微軟近期發(fā)布的OPTIMUS模型中都提到了運用隱變量來建模這種不可見多樣性的方法。百度PLATO更獨特地采用了離散隱變量建模，運用多樣化生成+合適度判斷的方式，在三個不同各類型的公開數(shù)據(jù)集上均取得了SOTA效果。
此次公布的PLATO-2,是百度在PLATO工作基礎(chǔ)上的進一步擴展，通過擴展網(wǎng)絡(luò)增加訓(xùn)練數(shù)據(jù)集，模型的參數(shù)規(guī)模擴展到了16億。同時，PLATO采取了課程學(xué)習(xí)的方法，解決大規(guī)模參數(shù)隱變量網(wǎng)絡(luò)訓(xùn)練的計算消耗問題，逐步優(yōu)化參數(shù)、加快訓(xùn)練效率。
PLATO-2模型結(jié)構(gòu)簡圖
這樣大體量的模型訓(xùn)練，離不開百度深度學(xué)習(xí)平臺飛槳強大的并行能力支持。PLATO-2包含中英文兩部分模型。其中，中文模型在12億中文開放域多輪對話數(shù)據(jù)集上進行訓(xùn)練，而英文模型則在7億英文開放域多輪數(shù)據(jù)集上訓(xùn)練。PLATO-2訓(xùn)練耗費了64張V100卡共3周的時間，依托了飛槳強大并行能力，包括Fleet并行庫和Recompute等擴展顯存的方式。單個Batch包含52萬Token，訓(xùn)練過程中約進行了30萬次梯度回傳。
為了驗證模型效果，百度對PLATO-2進行了全面的靜態(tài)和動態(tài)評估。靜態(tài)評估為利用現(xiàn)有對話從上文預(yù)測下文，以及人機對話、兩個模型相互對話形式的中英文動態(tài)評估。評測結(jié)果顯示，百度PLATO在動態(tài)和靜態(tài)評估中均明顯超越了微軟DialoGPT,谷歌Meena和Facebook Blender模型。更在中文上，與微軟小冰在連貫性、信息量、吸引力、人性化
等維度拉開了極大的差距。
在對話演示中，也可以明顯看出PLATO不僅在對話內(nèi)容豐富度上提升明顯，還能夠就一個話題深入聊天并擴展到相關(guān)話題。而此前的最佳模型Blender，則會頻繁地轉(zhuǎn)換話題。
PLATO-2英文對話演示和Blender使用相同對話種子對比
基于PLATO-2在對話內(nèi)容的豐富度和連貫性上展現(xiàn)出了來的高度，有望為智能對話開辟出全新的領(lǐng)域。此外，百度POLATO-2相關(guān)英文模型和代碼將在Github中陸續(xù)開放，中文模型未來也將開放接口服務(wù)。也期待在全球領(lǐng)軍AI企業(yè)的共同努力下，我們將離人機自由對話的終極夢想更近一步。
