【新智元導讀】AI模型進入大數(shù)據(jù)時代，單機早已不能滿足訓練模型的要求，最近Google Brain和DeepMind聯(lián)手發(fā)布了一個可以分布式訓練模型的框架Launchpad，堪稱AI界的MapReduce。

正如吳恩達所言，當代機器學習算法的成功很大程度上是由于模型和數(shù)據(jù)集大小的增加，在大規(guī)模數(shù)據(jù)下進行分布式訓練也逐漸變得普遍，而如何在大規(guī)模數(shù)據(jù)、大模型的情況下進行計算，還是一個挑戰(zhàn)。

分布式學習過程也會使實現(xiàn)過程復雜化，這對于許多不熟悉分布式系統(tǒng)機制的機器學習從業(yè)者來說是個問題，尤其是那些具有復雜通信拓撲結(jié)構(gòu)的機器學習從業(yè)者。

在arxiv上一篇新論文中，來自 DeepMind 和 Google Brain 的研究團隊用 Launchpad 解決了這個問題，Launchpad 是一種編程模型，它簡化了定義和啟動分布式計算實例的過程。

論文的第一作者是來自DeepMind的華人Yang Fan，畢業(yè)于香港中文大學。

Launchpad 將分布式系統(tǒng)的拓撲描述為一個圖形數(shù)據(jù)結(jié)構(gòu)，這樣圖中的每個節(jié)點都代表一個服務，即研究人員正在運行的基本計算單元。

將句柄構(gòu)造為節(jié)點的引用，將客戶端表示為尚未構(gòu)造的服務。

圖的邊表示兩個服務之間的通信，并在構(gòu)建時將與一個節(jié)點相關(guān)聯(lián)的句柄給予另一個節(jié)點時創(chuàng)建。

通過這種方式，Launchpad 可以通過傳遞節(jié)點句柄來定義跨服務通信。Launchpad 的計算構(gòu)建塊由不同的服務類型表示，每種服務類型由特定于該類型的節(jié)點和句柄類表示。

論文中提出的 Launchpad 的生命周期可以分為三個階段： 設置、啟動和執(zhí)行。設置階段構(gòu)造程序數(shù)據(jù)結(jié)構(gòu); 在啟動階段，處理這個數(shù)據(jù)結(jié)構(gòu)以分配資源、地址等，并啟動指定服務; 然后執(zhí)行階段運行服務，例如為服務通信創(chuàng)建客戶端。

Launchpad 是用流行的編程語言 Python 實現(xiàn)的，它簡化了定義程序和節(jié)點數(shù)據(jù)結(jié)構(gòu)以及為單個平臺啟動的過程。Launchpad 框架還可以很容易地用任何其他宿主語言實現(xiàn)，包括 c/c + + 等低級編程語言。

Launchpad 編程模型非常豐富，足以容納各種各樣的分布式系統(tǒng)，包括參數(shù)服務器、 MapReduce和 Evolution Strategies。

研究人員用簡潔的代碼詳細描述了如何將 Launchpad 應用到這些常見的分布式系統(tǒng)范例中，并說明了該框架在簡化本研究領(lǐng)域常用機器學習算法和組件的設計過程方面的能力。

總的來說，Launchpad 是一個實用的、用戶友好的、表達性強的框架，用于機器學習研究人員和實踐者詳細說明分布式系統(tǒng)，作者表示，這個框架能夠處理日益復雜的機器學習模型。其他框架

2020年，DeepMind 發(fā)布過一個強化學習優(yōu)化框架Acme，可以讓AI驅(qū)動的智能體在不同的執(zhí)行規(guī)模上運行，從而簡化強化學習算法的開發(fā)過程。

強化學習可以讓智能體與環(huán)境互動，生成他們自己的訓練數(shù)據(jù)，這在電子游戲、機器人技術(shù)、自動駕駛機器人出租車等領(lǐng)域取得了突破。

隨著所使用的訓練數(shù)據(jù)量的增加，這促使設計了一個系統(tǒng)，使智能體與環(huán)境實例相互作用，迅速積累經(jīng)驗。DeepMind 斷言，將算法的單進程原型擴展到分布式系統(tǒng)通常需要重新實現(xiàn)相關(guān)的智能體，這就是 Acme 框架的用武之地。

DeepMind研究員寫道，「Acme 是一個用于構(gòu)建可讀、高效、面向研究的 RL 算法的框架。Acme 的核心是設計用于簡單描述 RL 智能體，這些智能體可以在不同規(guī)模的執(zhí)行中運行，包括分布式智能體?！?/p>

Determined AI也是一個深度學習神器。Determined使深度學習工程師可以集中精力大規(guī)模構(gòu)建和訓練模型，而無需擔心DevOps，或者為常見任務（如容錯或?qū)嶒灨櫍┚帉懘a。更快的分布式訓練，智能的超參優(yōu)化，實驗跟蹤和可視化。

一萬億模型要來了？谷歌大腦和DeepMind聯(lián)手發(fā)布分布式訓練框架Launchpad

Determined主要運用了Horovod，以Horovod為起點，研究人員運用了多年的專業(yè)知識和經(jīng)驗，使得整個訓練過程比庫存配置要快得多。

Horovod 是一套面向TensorFlow 的分布式訓練框架，由Uber 構(gòu)建并開源，目前已經(jīng)運行于Uber 的Michelangelo 機器學習即服務平臺上。Horovod 能夠簡化并加速分布式深度學習項目的啟動與運行。當數(shù)據(jù)較多或者模型較大時，為提高機器學習模型訓練效率，一般采用多 GPU 的分布式訓練。TensorFlow 集群存在諸多缺點，如概念太多、學習曲線陡峭、修改的代碼量大、性能損失較大等，而 Horovod 則讓深度學習變得更加美好，隨著規(guī)模增大，Horovod 性能基本是線性增加的，損失遠小于 TensorFlow。

2019年，字節(jié)跳動AI lab開源了一款高性能分布式框架BytePS，在性能上顛覆了過去幾年allreduce流派一直占據(jù)上風的局面，超出目前其他所有分布式訓練框架一倍以上的性能，且同時能夠支持Tensorflow、PyTorch、MXNet等開源庫。

BytePS 提供了 TensorFlow、PyTorch、 MXNet 以及Keras的插件，用戶只要在代碼中引用BytePS的插件，就可以獲得高性能的分布式訓練。BytePS的核心邏輯，則實現(xiàn)在BytePS core里。具體的通信細節(jié)，完全由BytePS完成，用戶完全不需要操心。

來源：reddit

責任編輯：haq