圖表取自《FP8 Formats for Deep Learning》白皮書

此外，F(xiàn)P8最大限度地減少了它與IEEE 754浮點(diǎn)格式的偏差，在軟硬件之間取得了良好的平衡，因而得以利用現(xiàn)有的實(shí)作，加速采用，并改善開發(fā)者的生產(chǎn)力。

根據(jù)實(shí)驗(yàn)，不管是在Transformer、電腦視覺或是GAN網(wǎng)絡(luò)上，F(xiàn)P8訓(xùn)練的準(zhǔn)確性都類似16比特位的結(jié)果，但能效上卻有極大的進(jìn)步。例如英偉達(dá)的Hopper在BERT高精確模型上采用FP8格式，在無損準(zhǔn)確性的狀態(tài)下創(chuàng)造了4.5倍的速度。

此一規(guī)格將采用開放及免費(fèi)授權(quán)形式，旨在由一個(gè)可維持準(zhǔn)確性的交換格式，讓AI模型于所有硬件平臺(tái)上都能有一致的表現(xiàn)。

崔歡歡