MLPerf的AI訓(xùn)練基準(zhǔn)測試套件于2018年5月推出，初步結(jié)果于2018年12月公布。MLPerf推理套件發(fā)布于2019年6月24日，此次最新發(fā)布MLPerfAI推理基準(zhǔn)測試有全球23家公司和機構(gòu)參與，在數(shù)據(jù)中心及邊緣等場景進(jìn)行AI計算產(chǎn)品的性能比試。其中，數(shù)據(jù)中心部分最受關(guān)注，全部參與機構(gòu)提交了507項性能測試數(shù)據(jù)。

就此次測試，11月22日，國內(nèi)服務(wù)器廠商陸續(xù)發(fā)布新聞，浪潮宣稱其配置

8顆第三代NVLink A100 GPU的NF5488A5，一舉創(chuàng)造18項MLPerf推理性能記錄，成為創(chuàng)紀(jì)錄最多AI服務(wù)器。其中，浪潮NF5488A5創(chuàng)下了數(shù)據(jù)中心22個賽項中的13項性能記錄以絕對優(yōu)勢領(lǐng)先，NVIDIA DGX取得了5項數(shù)據(jù)中心性能記錄，單機性能高居榜首。

浪潮NF5488A5服務(wù)器

當(dāng)天，國內(nèi)服務(wù)器新銳廠商寧暢也宣布，其配置NVIDIA T4_/A100 GPU卡的Nettrix X640 G30 AI服務(wù)器，在ResNet、BERT、DLRM等基準(zhǔn)測試中取得30項世界第一成績。寧暢工程師表示，Nettrix X640 G30 AI服務(wù)器，最高可支持10張NVIDIA A100 PCIe卡或21張NVIDIA T4 PCIe卡。

寧暢 X640 AI服務(wù)器

對比同樣搭載4張A100 GPU卡(4顆A100 GPU)的AI服務(wù)器，寧暢Nettrix X640 G30在Resnet50、SSD、RNN-T、BERT、DLRM等10項測試中分?jǐn)?shù)值取得世界第一；搭載16張T4 GPU卡配置的情況下，打破6項世界紀(jì)錄。搭配21張T4 GPU卡的X640 G30，測試分?jǐn)?shù)斬獲14項世界第一。

配置/環(huán)境不同，成績眾多

為什么MLPerf基準(zhǔn)測試要發(fā)布如此多的紀(jì)錄和第一呢?

作為MLPerf基準(zhǔn)測試的開創(chuàng)者，為什么David?Patterson、David Kanter等不做一個單一的MLPerf分?jǐn)?shù)呢?其實也很簡單，因為Kanter和他的同事希望MLPerf不僅能適用于廣泛的工作負(fù)載，而且還能適用于大量的體系結(jié)構(gòu)，因此，MLPerf不僅分為AI訓(xùn)練工作負(fù)載和AI推理，而且還根據(jù)圖像分類、目標(biāo)檢測和自然語言翻譯等不同任務(wù)，按照Single stream、Multiple stream、Server和Offline等四個場景進(jìn)行衡量，此外還有“開放(Open)”和“封閉(Close)”場景劃分。

配置、環(huán)境、場景不同，測試的指標(biāo)以及約束條件就不同。其中，或考察延遲、或考察流數(shù)量處理性能、每秒查詢數(shù)量以及數(shù)據(jù)吞吐量等。對聚焦不同AI應(yīng)用場景的從業(yè)者，就需要對Resnet50、SSD、RNN-T、BERT、DLRM等進(jìn)行深人比較，從中選擇最具參考價值的信息。

要追求MLPerf基準(zhǔn)測試成績，主要取決于AI服務(wù)器所能夠支持異構(gòu)計算GPU卡的類型和數(shù)量，這也是AI服務(wù)器性能首要的影響因素。正因如此，擁有8塊NVIDIA A100 GPU卡的NF5488A5和搭載21張T4 GPU卡的X640 G30都取得了超10項紀(jì)錄的好成績。

配置以及環(huán)境不一樣，這就是兩家公司都是“AI服務(wù)器性能第一”的原因，兩家強調(diào)的方向不同，一個高舉高打，追求性能；另一個強調(diào)，在同配置下，通過定制化追逐對CPU、GPU產(chǎn)品的性能挖掘能力。

小結(jié)

高舉高打也好，追求定制“優(yōu)化能力”也罷!應(yīng)該說，都有各自擁躉和市場。同樣針對圖像分類、目標(biāo)檢測和自然語言翻譯等AI應(yīng)用，實力不同，階段不同，用戶的選擇側(cè)重，自然也會不同。

作為老牌服務(wù)器領(lǐng)導(dǎo)廠商，浪潮表現(xiàn)可說在意料之中，而作為新銳廠商的寧暢，則更讓人眼前一亮。但好產(chǎn)品畢竟不是只用來“打榜”或“評分”的。期待兩個性能第一AI服務(wù)器的市場表現(xiàn)，尤其是寧暢，作為初創(chuàng)企業(yè)其近日消息表明已中標(biāo)6000萬元知名互聯(lián)網(wǎng)公司訂單，并成為UCloud的主要服務(wù)器供應(yīng)商之一，勢頭很猛。

songjy