當前，各式各樣深度學習框架的發(fā)展充分賦能機器學習，尤其是深度學習領(lǐng)域，為開發(fā)者提供了極致便利。在本文中，Waymo 軟件工程師 Lin Yuan 細數(shù)了二十一世紀以來深度學習框架的發(fā)展歷程，并劃分為了石器、青銅、鐵器、羅馬和工業(yè)化時代。

過去十年，機器學習（尤其是深度學習）領(lǐng)域涌現(xiàn)了大量算法和應用。在這些深度學習算法和應用涌現(xiàn)的背后，是各種各樣的深度學習工具和框架。它們是機器學習革命的腳手架：TensorFlow 和 PyTorch 等深度學習框架的廣泛使用，使得許多 ML 從業(yè)者能夠使用適合的領(lǐng)域特定的編程語言和豐富的構(gòu)建模塊更容易地組裝模型。

回顧深度學習框架的演變，我們可以清楚地看到深度學習框架和深度學習算法之間的緊密耦合關(guān)系。這種相互依賴的良性循環(huán)推動了深度學習框架和工具的快速發(fā)展。

By Nationalmuseet, CC BY-SA 3.0,

https://commons.wikimedia.org/w/index.php?curid=90400464

石器時代（21 世紀初）

神經(jīng)網(wǎng)絡(luò)的概念已經(jīng)出現(xiàn)一段時間了。在 21 世紀初之前，有一些工具可以用來描述和開發(fā)神經(jīng)網(wǎng)絡(luò)。這些工具包括 MATLAB、OpenNN、Torch 等，它們要么不是專門為神經(jīng)網(wǎng)絡(luò)模型開發(fā)定制的，要么擁有復雜的用戶 api，缺乏 GPU 支持。在此期間，ML 實踐者在使用這些原始的深度學習框架時不得不做很多繁重的工作。

By Nationalmuseet, CC BY-SA 3.0,

https://commons.wikimedia.org/w/index.php?curid=90400464

青銅時代（~2012 年）

2012 年，多倫多大學的 Alex Krizhevsky 等人提出了一種深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，后來被稱為 AlexNet[1]，該架構(gòu)在 ImageNet 數(shù)據(jù)集上達到了 SOTA 精度，并大大超過了第二名的選手。這一出色的結(jié)果引發(fā)了深度神經(jīng)網(wǎng)絡(luò)的熱潮，此后各種深度神經(jīng)網(wǎng)絡(luò)模型在 ImageNet 數(shù)據(jù)集的準確性上不斷創(chuàng)下新高。

大約在這個時候，一些早期的深度學習框架，如 Caffe、Chainer 和Theano 應運而生。使用這些框架，用戶可以方便地建立復雜的深度神經(jīng)網(wǎng)絡(luò)模型，如 CNN、RNN、LSTM 等。此外，這些框架還支持多 GPU 訓練，這大大減少了對這些模型的訓練時間，并且能夠?qū)σ郧盁o法裝入單一 GPU 內(nèi)存的大型模型進行訓練。在這些框架中，Caffe 和 Theano 使用聲明式編程風格，而 Chainer 采用命令式編程風格。這兩種不同的編程風格也為即將到來的深度學習框架設(shè)定了兩條不同的開發(fā)路徑。

Nordisk familjebok — Nordisk familjebok (1910), vol.13, Till art. J?rn?ldern. https://commons.wikimedia.org/w/index.php?curid=109777

鐵器時代（2015 ~ 2016）

AlexNet 的成功引起了計算機視覺領(lǐng)域的高度關(guān)注，并重新點燃了神經(jīng)網(wǎng)絡(luò)的希望，大型科技公司加入了開發(fā)深度學習框架的行列。其中，谷歌開源了著名的 TensorFlow 框架，它至今仍是 ML 領(lǐng)域最流行的深度學習框架。Caffe 的發(fā)明者加入了 Facebook 并發(fā)布了 Caffe2；與此同時，F(xiàn)acebook AI 研究（FAIR）團隊也發(fā)布了另一個流行的框架 PyTorch，它基于 Torch 框架，但使用了更流行的 Python api。微軟研究院開發(fā)了 CNTK 框架。亞馬遜采用了 MXNet，這是華盛頓大學、CMU 和其他機構(gòu)的聯(lián)合學術(shù)項目。TensorFlow 和 CNTK 借鑒了 Theano 的聲明式編程風格，而 PyTorch 則繼承了 Torch 的直觀和用戶友好的命令式編程風格。命令式編程風格更加靈活（比如定義一個 While 循環(huán)等）并且容易跟蹤，而聲明式編程風格通常為內(nèi)存和基于計算圖的運行時優(yōu)化提供了更多的空間。另一方面，被稱為「mix」-net 的 MXNet 同時支持一組符號（聲明性）api 和一組命令式 api，并通過一種稱為雜交（hybridization）的方法優(yōu)化了使用命令式 api 描述的模型的性能，從而享受了這兩個領(lǐng)域的好處。 2015 年，何凱明等人提出了 ResNet[2]，再次突破了圖像分類的邊界，在 ImageNet 的準確率上再創(chuàng)新高。業(yè)界和學界已經(jīng)達成共識，深度學習將成為下一個重大技術(shù)趨勢，解決各種領(lǐng)域的挑戰(zhàn)，這些挑戰(zhàn)在過去被認為是不可能的。在此期間，所有深度學習框架都對多 GPU 訓練和分布式訓練進行了優(yōu)化，提供了更加用戶直觀的 api，并衍生出了專門針對計算機視覺、自然語言處理等特定任務的 model zoo 和工具包。還值得注意的是，F(xiàn)rancois Chollet 幾乎是獨自開發(fā)了 Keras 框架，該框架在現(xiàn)有框架（如 TensorFlow 和 MXNet）之上提供了神經(jīng)網(wǎng)絡(luò)和構(gòu)建塊的更直觀的高級抽象。從今天開始，這種抽象成為 TensorFlow 中模型層面事實上的 api。

By User Lamré on sv.wikipedia

https://commons.wikimedia.org/w/index.php?curid=801434

羅馬時代（2019 ~ 2020）

正如人類歷史的發(fā)展一樣，深度學習框架經(jīng)過一輪激烈的競爭，最終形成了兩大「帝國」：TensorFlow 和 PyTorch 的雙頭壟斷，這兩大「帝國」代表了深度學習框架研發(fā)和生產(chǎn)中 95% 以上的用例。2019 年，Chainer 團隊_將他們的開發(fā)工作轉(zhuǎn)移到 PyTorch；類似地，微軟_停止了 CNTK 框架的積極開發(fā)，部分團隊成員轉(zhuǎn)而支持 Windows 和 ONNX 運行時上的 PyTorch。Keras 被 TensorFlow 收編，并在 TensorFlow 2.0 版本中成為其高級 api 之一。在深度學習框架領(lǐng)域，MXNet 仍然位居第三。

在此期間，深度學習框架空間有兩種趨勢。首先是大型模型訓練。隨著 BERT[3] 的誕生，以及它的近親 GPT-3[4] 的誕生，訓練大型模型的能力成為了深度學習框架的理想特性。這就要求深度學習框架能夠在數(shù)百臺（如果不是數(shù)千臺的話）設(shè)備的規(guī)模下有效地進行訓練。第二個趨勢是可用性。這一時期的深度學習框架都采用命令式編程風格，語義靈活，調(diào)試方便。同時，這些框架還提供了用戶級的裝飾器或 api，以通過一些 JIT（即時）編譯器技術(shù)實現(xiàn)高性能。

By Tharunbr77 — Own work, CC BY-SA 4.0,

https://commons.wikimedia.org/w/index.php?curid=86866550

工業(yè)時代（2021+）

深度學習在自動駕駛、個性化推薦、自然語言理解到醫(yī)療保健等廣泛領(lǐng)域取得了巨大成功，帶來了前所未有的用戶、開發(fā)者和投資者浪潮。這也是未來十年開發(fā)深度學習工具和框架的黃金時期。盡管深度學習框架從一開始就有了長足的發(fā)展，但它們之于深度學習的地位還遠遠不如編程語言 JAVA/ c++ 之于互聯(lián)網(wǎng)應用那樣的成熟。還有很多令人興奮的機會和工作有待探索和完成。 展望未來，有幾個技術(shù)趨勢有望成為下一代深度學習框架的主流：

基于編譯器的算子（operator）優(yōu)化。

如今，許多操作符內(nèi)核都是通過手動或第三方庫實現(xiàn)的，比如 BLAS、CuDNN、OneDNN 等，這些庫針對特定的硬件平臺。當模型被訓練或部署在不同的硬件平臺上時，這會造成很大的開銷。此外，新的深度學習算法的增長速度往往比這些庫的迭代速度快得多，這使得這些庫常常不支持新的算子。深度學習編譯器，如 Apache TVM、MLIR、Facebook Glow 等，已經(jīng)提出了在任何硬件后端上有效優(yōu)化和運行計算的建議。它們可以作為深度學習框架的整個后端。

統(tǒng)一的 API 標準。

許多深度學習框架共享類似但略有不同的用戶 api。這給用戶從一個框架切換到另一個框架帶來了困難和不必要的學習曲線。雖然大多數(shù)機器學習從業(yè)者和數(shù)據(jù)科學家都熟悉 NumPy庫，但在新的深度學習框架中，NumPy API 自然會成為 tenor 操作 API 的標準。我們已經(jīng)看到快速發(fā)展的框架 JAX 受到了用戶的熱烈歡迎，它的 api 完全與 NumPy 兼容。

數(shù)據(jù)搬運作為一等公民。

多節(jié)點或多設(shè)備訓練正在成為深度神經(jīng)網(wǎng)絡(luò)訓練的規(guī)范。最近開發(fā)的深度學習框架，如 OneFlow，從設(shè)計的第一天起就將這一觀點納入設(shè)計考慮，并將數(shù)據(jù)通信視為模型訓練的整體計算圖的一部分。這為性能優(yōu)化打開了更多的機會，而且由于它不需要像以前的深度學習框架那樣維護多種訓練策略（單設(shè)備 vs 分布式訓練），因此除了提供更好的性能之外，它還可以提供更簡單的用戶界面。

總結(jié)

我們正處于一場人工智能革命的黎明。人工智能領(lǐng)域的新研究和新應用正在以前所未有的速度涌現(xiàn)。八年前，AlexNet 網(wǎng)絡(luò)包含 6000 萬個參數(shù)，最新的 GPT-3 網(wǎng)絡(luò)包含 1750 億參數(shù)，網(wǎng)絡(luò)規(guī)模在 8 年內(nèi)增加了 3000 倍！另一方面，人類的大腦包含大約 100 萬億個參數(shù)（即突觸）。這表明，如果有可能的話，神經(jīng)網(wǎng)絡(luò)要達到人類的智能水平還有很大的差距。

這種難以接受的網(wǎng)絡(luò)規(guī)模對模型訓練和推理的硬件和軟件計算效率都提出了很大的挑戰(zhàn)。未來的深度學習框架很可能是算法、高性能計算、硬件加速器和分布式系統(tǒng)的跨學科成果。

責任編輯：lq