這些數(shù)字重要嗎？它們中的大多數(shù)都是在實(shí)驗(yàn)室類型的環(huán)境中生產(chǎn)的，其中理想的條件和工作負(fù)載允許被測(cè)設(shè)備（SUT）產(chǎn)生用于營(yíng)銷目的的最高分?jǐn)?shù)。另一方面，大多數(shù)工程師可能不太關(guān)心這些理論可能性。他們更關(guān)心的是技術(shù)如何影響其推理設(shè)備的準(zhǔn)確性、吞吐量和/或延遲。

將計(jì)算元素與特定工作負(fù)載進(jìn)行比較的行業(yè)標(biāo)準(zhǔn)基準(zhǔn)測(cè)試更有用。例如，圖像分類工程師可以確定滿足其性能要求的多個(gè)選項(xiàng)，然后根據(jù)功耗、成本等對(duì)其進(jìn)行縮減。語(yǔ)音識(shí)別設(shè)計(jì)人員可以使用基準(zhǔn)測(cè)試結(jié)果來(lái)分析各種處理器和內(nèi)存組合，然后決定是在本地還是在云中合成語(yǔ)音。

但是，AI和ML模型，開(kāi)發(fā)框架和工具的快速引入使這種比較復(fù)雜化。如圖 1 所示，AI 技術(shù)堆棧中越來(lái)越多的選項(xiàng)也意味著可用于判斷推理性能的排列呈指數(shù)級(jí)增長(zhǎng)。這是在考慮模型和算法可以針對(duì)給定系統(tǒng)架構(gòu)進(jìn)行優(yōu)化的所有方法之前。

圖 1.AI開(kāi)發(fā)堆棧中越來(lái)越多的選項(xiàng)使行業(yè)標(biāo)準(zhǔn)基準(zhǔn)測(cè)試變得復(fù)雜。

毋庸置疑，制定這樣一個(gè)全面的基準(zhǔn)超出了大多數(shù)公司的能力或愿望。即使有人能夠完成這一壯舉，工程界真的會(huì)接受它作為“標(biāo)準(zhǔn)基準(zhǔn)”嗎？

機(jī)器學(xué)習(xí)成果：人工智能推理的更好基準(zhǔn)

更廣泛地說(shuō)，在過(guò)去幾年中，工業(yè)界和學(xué)術(shù)界已經(jīng)開(kāi)發(fā)了幾個(gè)推理基準(zhǔn)，但他們傾向于關(guān)注新興人工智能市場(chǎng)的更多利基領(lǐng)域。一些例子包括EEMBC用于嵌入式圖像分類和對(duì)象檢測(cè)的MLMark，蘇黎世聯(lián)邦理工學(xué)院的AI基準(zhǔn)測(cè)試，針對(duì)Android智能手機(jī)上的計(jì)算機(jī)視覺(jué)，以及哈佛的Fathom基準(zhǔn)測(cè)試，強(qiáng)調(diào)各種神經(jīng)網(wǎng)絡(luò)的吞吐量，但不是準(zhǔn)確性。

對(duì) AI 推理格局的更完整評(píng)估可以在 MLPerf 最近發(fā)布的推理 v0.5 基準(zhǔn)測(cè)試中找到。MLPerf 推理是社區(qū)開(kāi)發(fā)的測(cè)試套件，可用于測(cè)量 AI 硬件、軟件、系統(tǒng)和服務(wù)的推理性能。這是來(lái)自30多家公司的200多名工程師合作的結(jié)果。

正如您對(duì)任何基準(zhǔn)測(cè)試所期望的那樣，MLPerf 推理定義了一套標(biāo)準(zhǔn)化工作負(fù)載，這些工作負(fù)載被組織成圖像分類、對(duì)象檢測(cè)和機(jī)器翻譯用例的“任務(wù)”。每個(gè)任務(wù)都由與正在執(zhí)行的功能相關(guān)的 AI 模型和數(shù)據(jù)集組成，其中圖像分類任務(wù)支持 ResNet-50 和 MobileNet-v1 模型，對(duì)象檢測(cè)任務(wù)利用具有 ResNet34 或 MobileNet-v1 主干的 SSD 模型，以及使用 GNMT 模型的機(jī)器轉(zhuǎn)換任務(wù)。

除了這些任務(wù)之外，MLPerf 推理開(kāi)始偏離傳統(tǒng)基準(zhǔn)測(cè)試的規(guī)范。由于準(zhǔn)確性、延遲、吞吐量和成本的重要性在不同用例中具有不同的權(quán)重，因此 MLPerf 推理通過(guò)在移動(dòng)設(shè)備、自動(dòng)駕駛汽車、機(jī)器人和云這四個(gè)關(guān)鍵應(yīng)用領(lǐng)域中根據(jù)質(zhì)量目標(biāo)對(duì)推理性能進(jìn)行分級(jí)來(lái)權(quán)衡。

為了在盡可能接近在這些應(yīng)用領(lǐng)域中運(yùn)行的真實(shí)系統(tǒng)的上下文中有效地對(duì)任務(wù)進(jìn)行分級(jí)，MLPerf 推理引入了一個(gè)負(fù)載生成器工具，該工具根據(jù)四種不同的方案生成查詢流量：

樣本大小為 1 的連續(xù)單流查詢，在移動(dòng)設(shè)備中很常見(jiàn)

連續(xù)的多流查詢，每個(gè)流有多個(gè)樣本，就像在延遲至關(guān)重要的自動(dòng)駕駛汽車中發(fā)現(xiàn)的那樣

請(qǐng)求隨機(jī)到達(dá)的服務(wù)器查詢，例如在延遲也很重要的 Web 服務(wù)中

執(zhí)行批處理且吞吐量是一個(gè)突出考慮因素的脫機(jī)查詢

負(fù)載生成器在測(cè)試準(zhǔn)確性和吞吐量（性能）的模式下提供這些方案。圖 2 描述了 SUT 如何從負(fù)載生成器接收請(qǐng)求，相應(yīng)地將數(shù)據(jù)集中的樣本加載到內(nèi)存中，運(yùn)行基準(zhǔn)測(cè)試并將結(jié)果返回到負(fù)載生成器。然后，準(zhǔn)確性腳本將驗(yàn)證結(jié)果。

圖 2. MLPerf 推理基準(zhǔn)測(cè)試依賴于負(fù)載生成器，該負(fù)載生成器根據(jù)許多實(shí)際方案查詢被測(cè)系統(tǒng) （SUT）。

作為基準(zhǔn)測(cè)試的一部分，每個(gè) SUT 必須執(zhí)行最少數(shù)量的查詢，以確保統(tǒng)計(jì)置信度。

提高靈活性

如前所述，人工智能技術(shù)市場(chǎng)中使用的各種框架和工具是任何推理基準(zhǔn)測(cè)試的關(guān)鍵挑戰(zhàn)。前面提到的另一個(gè)考慮因素是調(diào)整模型和算法，以從AI推理系統(tǒng)中擠出最高的準(zhǔn)確性，吞吐量或最低延遲。就后者而言，量化和圖像重塑等技術(shù)現(xiàn)在是常見(jiàn)的做法。

MLPerf 推理是一種語(yǔ)義級(jí)基準(zhǔn)測(cè)試，這意味著，雖然基準(zhǔn)測(cè)試提供了特定的工作負(fù)載（或一組工作負(fù)載）以及執(zhí)行它的一般規(guī)則，但實(shí)際實(shí)現(xiàn)取決于執(zhí)行基準(zhǔn)測(cè)試的公司。公司可以優(yōu)化提供的參考模型，使用他們想要的工具鏈，并在他們選擇的硬件目標(biāo)上運(yùn)行基準(zhǔn)測(cè)試，只要它們保持在特定的指導(dǎo)方針之內(nèi)。

但是，重要的是要注意，這并不意味著提交公司可以對(duì)MLPerf模型或數(shù)據(jù)集采取任何和所有自由，并且仍然有資格獲得主要基準(zhǔn)。MLPerf 推理基準(zhǔn)分為兩個(gè)部分 - 封閉式和開(kāi)放式 - 封閉式部門對(duì)可以使用哪些類型的優(yōu)化技術(shù)以及其他禁止的優(yōu)化技術(shù)有更嚴(yán)格的要求。

要獲得封閉分區(qū)的資格，提交者必須使用提供的模型和數(shù)據(jù)集，但允許量化。為了確保兼容性，封閉部門的參賽者不能使用重新訓(xùn)練或修剪的模型，也不能使用緩存或已調(diào)整為基準(zhǔn)或數(shù)據(jù)集感知的網(wǎng)絡(luò)。

另一方面，開(kāi)放式劃分旨在促進(jìn)AI模型和算法的創(chuàng)新。仍需要向開(kāi)放分區(qū)提交以執(zhí)行相同的任務(wù)，但可以更改模型類型、重新訓(xùn)練和修剪其模型、使用緩存等。

盡管封閉式劃分可能聽(tīng)起來(lái)很嚴(yán)格，但超過(guò) 150 個(gè)條目成功獲得了 MLPerf 推理 v0.5 發(fā)布資格。圖3和圖4展示了參賽者使用的AI技術(shù)堆棧的多樣性，這些堆棧幾乎涵蓋了從ONNX和PyTorch到TensorFlow，OpenVINO和Arm NN的各種處理器架構(gòu)和軟件框架。

圖 3.數(shù)字信號(hào)處理器、FPGA、CPU、ASIC 和 GPU 都成功完成了 MLPerf 推理封閉式除法要求。

圖 4. 人工智能軟件開(kāi)發(fā)框架，如 ONNX、畢拓、張量流、OpenVINO、Arm NN 等，被用于開(kāi)發(fā)符合封閉分區(qū)基準(zhǔn)測(cè)試的 MLPerf 推理系統(tǒng)。

消除評(píng)估中的猜測(cè)

雖然 MLPerf 推理的初始版本包含一組有限的模型和用例，但基準(zhǔn)測(cè)試套件是以模塊化、可擴(kuò)展的方式構(gòu)建的。這將使MLPerf能夠隨著技術(shù)和行業(yè)的發(fā)展而擴(kuò)展任務(wù)，模型和應(yīng)用領(lǐng)域，并且組織已經(jīng)計(jì)劃這樣做。

最新的AI推理基準(zhǔn)顯然是目前可用的最接近真實(shí)世界AI推理性能的衡量標(biāo)準(zhǔn)。但隨著它的成熟并吸引更多的提交，它也將成為成功部署的技術(shù)堆棧的晴雨表，以及新實(shí)施的試驗(yàn)場(chǎng)。

審核編輯：郭婷