人工智能 （AI） 在相對較短的時間內從科幻小說變成了我們生活中不可或缺的一部分。當您想到 AI 時，您可能會想到能夠在國際象棋、圍棋或“危險”中超越人類的自動駕駛汽車或計算機?，F(xiàn)實情況是，你會發(fā)現(xiàn)人工智能應用無處不在——在定制的谷歌新聞源、潘多拉播放列表、Netflix 推薦、智能揚聲器語音識別、智能助手中的自然語言處理、車輛中的計算機視覺、智能工廠——還有無數(shù)更多的例子。當您從亞馬遜購物時，機器學習 （ML） 會在幕后工作，從提出購買建議到將點擊發(fā)貨時間縮短到僅 15 分鐘。

隨著人工智能應用程序對消費者越來越重要，數(shù)十億美元現(xiàn)在在商業(yè)世界中處于危險之中。例如，97% 的手機用戶使用人工智能語音助手。Siri 或 Cortana 誤解的語音命令對我們來說可能是一個小麻煩，但在語音助手市場上的失敗代表了蘋果、亞馬遜和谷歌之間的競爭中損失了數(shù)十億美元的份額 。還有更嚴重的挑戰(zhàn)——錯誤的自動駕駛算法或醫(yī)療保健行業(yè)的誤診可能導致致命后果和法律影響。

讓 AI 結果具有相關性、可靠性和易于獲得性是一場競賽。只有那些在最好的機器/深度學習基礎設施上訓練過的人工智能模型，來自最大的數(shù)據(jù)集，才能生存下來。

ML/深度學習：不是您的平均計算工作量

機器學習——尤其是它的子集——深度學習系統(tǒng)——構成了人工智能基礎設施的基礎。拋開復雜的數(shù)學問題不談，最簡單的 ML 算法通過對答案進行重復“猜測”來實現(xiàn)一個目標（例如，成功識別手寫符號），并通過檢查預期答案來從每個不準確的猜測中學習，直到猜測以非常高的準確度匹配預期的答案。這種反饋結構稱為神經(jīng)網(wǎng)絡，訓練神經(jīng)網(wǎng)絡是機器/深度學習的過程。圖 1 顯示了一個用于手寫識別的相對簡單的神經(jīng)網(wǎng)絡示例。

圖1 用于手寫識別的神經(jīng)網(wǎng)絡示例［6］

深度神經(jīng)網(wǎng)絡使用更多層來獲得復雜目標的準確答案。深度學習過程使用不斷增加的訓練數(shù)據(jù)集來訓練深度神經(jīng)網(wǎng)絡。目標越復雜，神經(jīng)網(wǎng)絡中的層數(shù)就越多，神經(jīng)網(wǎng)絡就越難訓練。例如，百度的中文語音識別模型使用約 12，000 小時的語音訓練數(shù)據(jù)，需要數(shù)十 exaflops 的計算，這需要長達六周的時間才能完成。圖像識別工作負載的計算要求呈指數(shù)級增長。

傳統(tǒng)的中央處理器 （CPU） 專為通用控制數(shù)據(jù)流而設計，對于 AI/ML 計算密集型工作負載效率不高。由于摩爾定律失效，供應商無法跟上 CPU 的速度或大到足以處理 AI/ML 工作負載的速度。

分布式機器學習：摩爾定律的治愈方法

設計用于處理 AI/ML 工作負載的現(xiàn)代服務器遵循分散式架構 - 一個由多個專用加速器包圍的通用 CPU，用于處理從 ML 到加密、安全、存儲和網(wǎng)絡的任務。加速器可以是圖形處理單元 （GPU）、定制的現(xiàn)場可編程門陣列 （FPGA） 或定制的專用集成電路的組合。開放計算項目 （OCP） ［10］ 最近發(fā)布了 OCP 加速器模塊 （OAM）的通用外形規(guī)格，以簡化服務器設計并實現(xiàn)模塊化服務器架構。

分散式架構通過使用多個優(yōu)化的數(shù)據(jù)處理器提供原始 exaflops。然而，為了實現(xiàn)更大規(guī)模的機器學習，處理單元需要相互充分連接。在 2018 年分布式計算原理研討會上的演講展示了使用 TensorFlow在 ResNet-152 圖像分類方面的速度提高了近 10 倍。

圖 2中顯示的 ResNet-152 圖像分類示例 還強調了連接性在現(xiàn)代高度分布式機器學習系統(tǒng)中的重要性，其中多達 90% 的時間可能用于節(jié)點通信。

圖 2 分布式機器學習的好處 - 19 天到 2.4 天

審核編輯：郭婷