今天是MLPerf Inference基準測試結果的第二輪發(fā)布(0.7版)。與7月份宣布的最新培訓結果一樣，新的推論數字表明提交的公司數量有所增加，支持的平臺和工作負載也有所增加。MLPerf推斷編號分為四類(lèi)-數據中心，邊緣，移動(dòng)和筆記本。提交的數量從43個(gè)增加到327個(gè)，提交的公司數量從僅僅9個(gè)增加到21個(gè)。提交的公司包括半導體公司，設備OEM和幾個(gè)測試實(shí)驗室。這輪提交的明顯遺漏包括Google和所有中國公司，包括先前的參與者阿里巴巴和騰訊。
作為快速更新，MLPerf是一個(gè)行業(yè)協(xié)會(huì )，旨在開(kāi)發(fā)機器學(xué)習(ML)/人工智能(AI)解決方案的標準。MLPerf是一組基準測試的匯編，用于測量ML / AL硬件，軟件和服務(wù)的訓練和推理性能。最新的Inference v0.7結果僅是第二次發(fā)布推理結果。第一次是大約一年前。MLPerf組織正在不斷努力，以代表真實(shí)AI工作負載的新模型或增強模型來(lái)增強基準套件。此外，該組織正在努力提高測試頻率，以每年至少兩次為目標，正在考慮允許在主要版本之間發(fā)布測試結果，并努力添加其他限定詞，例如用于評估AI平臺效率的功耗數據。測試結果可以由電子價(jià)值鏈中的任何公司提供，并可以進(jìn)行隨機審核。
每個(gè)細分類(lèi)別都包括一個(gè)“封閉”和“開(kāi)放”細分。“封閉”部分是指使用與參考模型相同的工作量模型運行的測試。“開(kāi)放”部分允許更改模型，以便供應商可以展示相對于其他目標工作負載的性能。此外，還有一些細分市場(chǎng)-當前市場(chǎng)上的產(chǎn)品“可用”，未來(lái)六個(gè)月內市場(chǎng)上的產(chǎn)品的“預覽”，以及仍在開(kāi)發(fā)中或剛剛考慮的產(chǎn)品的“研究，開(kāi)發(fā)或內部”實(shí)驗室項目。為了保持一致，我們大多數分析都集中在封閉和可用的細分上。在某些情況下，產(chǎn)品沒(méi)有所有測試的編號，因為沒(méi)有提交編號或無(wú)法達到最低99%的準確度等級。由于基準套件不斷變化，在套件達到更成熟的狀態(tài)之前，將數字與以前的結果進(jìn)行比較并不是特別有用。但是，從結果中可以收集到很多東西。
對于數據中心應用，推理0.7v測試包括四個(gè)新基準測試-代表自然語(yǔ)言處理工作負載的雙向編碼器表示和轉換(BERT)，代表推薦工作負載的深度學(xué)習推薦模型(DLRM)，代表醫學(xué)成像的3D U-Net工作量，以及代表語(yǔ)音到文本工作量的遞歸神經(jīng)網(wǎng)絡(luò )轉換器(RNN-T)。在封閉類(lèi)別中，結果類(lèi)似于7月份發(fā)布的培訓測試結果。加速平臺在性能上大大超過(guò)了純CPU平臺，領(lǐng)先的加速器是GPU，領(lǐng)先的GPU則是英偉達基于A(yíng)mpere架構的新型A-100 GPU。在每個(gè)工作負載中，前任領(lǐng)導者特斯拉(T4)GPU的性能提升顯然是顯而易見(jiàn)的。這證明了Ampere架構的價(jià)值，該架構允許在單個(gè)GPU上進(jìn)行七個(gè)推理分區。在其他加速器方面，僅Xilinx FPGA代表并且僅在開(kāi)放類(lèi)別中。
