AutoML 是當(dāng)前深度學(xué)習(xí)領(lǐng)域的熱門話題。只需要很少的工作，AutoML 就能通過快速有效的方式，為你的 ML 任務(wù)構(gòu)建好網(wǎng)絡(luò)模型，并實現(xiàn)高準確率。簡單有效！數(shù)據(jù)預(yù)處理、特征工程、特征提取和特征選擇等任務(wù)皆可通過 AutoML 自動構(gòu)建。

自動機器學(xué)習(xí)（Automated Machine Learning， AutoML）是一個新興的領(lǐng)域，在這個領(lǐng)域中，建立機器學(xué)習(xí)模型來建模數(shù)據(jù)的過程是自動化的。AutoML 使得建模更容易，并且每個人都更容易掌握。

在本文中，作者詳細介紹了四種自動化的 ML 工具包，分別是 auto-sklearn、TPOT、HyperOpt 以及 AutoKeras。如果你對 AutoML 感興趣，這四個 Python 庫是最好的選擇。作者還在文章結(jié)尾文章對這四個工具包進行了比較。

auto-sklearn

auto-sklearn 是一個自動機器學(xué)習(xí)工具包，它與標準 sklearn 接口無縫集成，因此社區(qū)中很多人都很熟悉該工具。通過使用最近的一些方法，比如貝葉斯優(yōu)化，該庫被用來導(dǎo)航模型的可能空間，并學(xué)習(xí)推理特定配置是否能很好地完成給定任務(wù)。

該庫由 Matthias Feurer 等人提出，技術(shù)細節(jié)請查閱論文《Efficient and Robust Machine Learning》。Feurer 在這篇論文中寫道：

我們提出了一個新的、基于 scikit-learn 的魯棒 AutoML 系統(tǒng)，其中使用 15 個分類器、14 種特征預(yù)處理方法和 4 種數(shù)據(jù)預(yù)處理方法，生成了一個具有 110 個超參數(shù)的結(jié)構(gòu)化假設(shè)空間。

auto-sklearn 可能最適合剛接觸 AutoML 的用戶。除了發(fā)現(xiàn)數(shù)據(jù)集的數(shù)據(jù)準備和模型選擇之外，該庫還可以從在類似數(shù)據(jù)集上表現(xiàn)良好的模型中學(xué)習(xí)。表現(xiàn)最好的模型聚集在一個集合中。

圖源：《Efficient and Robust Automated Machine Learning》

在高效實現(xiàn)方面，auto-sklearn 需要的用戶交互最少。使用 pip install auto-sklearn 即可安裝庫。

該庫可以使用的兩個主要類是 AutoSklearnClassifier 和 AutoSklearnRegressor，它們分別用來做分類和回歸任務(wù)。兩者具有相同的用戶指定參數(shù)，其中最重要的是時間約束和集合大小。

更多 AutoSklearn 相關(guān)文檔請查閱：https://automl.github.io/auto-sklearn/master/。

TPOT

TPOT 是另一種基于 Python 的自動機器學(xué)習(xí)開發(fā)工具，該工具更關(guān)注數(shù)據(jù)準備、建模算法和模型超參數(shù)。它通過一種基于進化樹的結(jié)，即自動設(shè)計和優(yōu)化機器學(xué)習(xí) pipelie 的樹表示工作流優(yōu)化（Tree-based Pipeline Optimization Tool， TPOT），從而實現(xiàn)特征選擇、預(yù)處理和構(gòu)建的自動化。

圖源：《Evaluation of a Tree-based Pipeline Optimization Tool for Automating Data Science》 。

程序或 pipeline 用樹表示。遺傳編程（Genetic Program， GP）選擇并演化某些程序，以最大化每個自動化機器學(xué)習(xí)管道的最終結(jié)果。

正如 Pedro Domingos 所說，「數(shù)據(jù)量大的愚蠢算法勝過數(shù)據(jù)有限的聰明算法」。事實就是這樣：TPOT 可以生成復(fù)雜的數(shù)據(jù)預(yù)處理 pipeline。

潛在的 pipelie（圖源：TPOT 文檔）。

TPOT pipeline 優(yōu)化器可能需要幾個小時才能產(chǎn)生很好的結(jié)果，就像很多 AutoML 算法一樣（除非數(shù)據(jù)集很小）。用戶可以在 Kaggle commits 或 Google Colab 中運行這些耗時的程序。

也許 TPOT 最好的特性是它將模型導(dǎo)出為 Python 代碼文件，后續(xù)可以使用它。具體文檔和教程示例參見以下兩個鏈接：

TPOT 文檔地址：https://epistasislab.github.io/tpot/。

TPOT 的教程示例地址：https://epistasislab.github.io/tpot/examples/

HyperOpt

HyperOpt 是一個用于貝葉斯優(yōu)化的 Python 庫，由 James Bergstra 開發(fā)。該庫專為大規(guī)模優(yōu)化具有數(shù)百個參數(shù)的模型而設(shè)計，顯式地用于優(yōu)化機器學(xué)習(xí) pipeline，并可選擇在多個核心和機器上擴展優(yōu)化過程。

但是，HyperOpt 很難直接使用，因為它非常具有技術(shù)性，需要仔細指定優(yōu)化程序和參數(shù)。相反，作者建議使用 HyperOpt-sklearn，這是一個融合了 sklearn 庫的 HyperOpt 包裝器。

具體來說，HyperOpt 雖然支持預(yù)處理，但非常關(guān)注進入特定模型的幾十個超參數(shù)。就一次 HyperOpt sklearn 搜索的結(jié)果來說，它生成了一個沒有預(yù)處理的梯度提升分類器：

如何構(gòu)建 HyperOpt-sklearn 模型可以查看源文檔。它比 auto-sklearn 復(fù)雜得多，也比 TPOT 復(fù)雜一點。但是如果超參數(shù)很重要的話，它可能是值得的。

文檔地址：http://hyperopt.github.io/hyperopt-sklearn/

AutoKeras

與標準機器學(xué)習(xí)庫相比，神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)功能更強大，因此更難實現(xiàn)自動化。AutoKeras 庫有哪些功效呢？具體如下：

通過 AutoKeras，神經(jīng)框架搜索算法可以找到最佳架構(gòu)，如單個網(wǎng)絡(luò)層中的神經(jīng)元數(shù)量、層數(shù)量、要合并的層、以及濾波器大小或 Dropout 中丟失神經(jīng)元百分比等特定于層的參數(shù)。一旦搜索完成，用戶可以將其作為普通的 TF/Keras 模型使用；

通過 AutoKeras，用戶可以構(gòu)建一個包含嵌入和空間縮減等復(fù)雜元素的模型，這些元素對于學(xué)習(xí)深度學(xué)習(xí)過程中的人來說是不太容易訪問的；

當(dāng)使用 AutoKeras 創(chuàng)建模型時，向量化或清除文本數(shù)據(jù)等許多預(yù)處理操作都能完成并進行優(yōu)化；

初始化和訓(xùn)練一次搜索需要兩行代碼。AutoKeras 擁有一個類似于 keras 的界面，所以它并不難記憶和使用。

AutoKeras 支持文本、圖像和結(jié)構(gòu)化數(shù)據(jù)，為初學(xué)者和尋求更多參與技術(shù)知識的人提供界面。AutoKeras 使用進化神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法來減輕研究人員的繁重和模棱兩可的工作。

盡管 AutoKeras 的運行需要很長時間，但用戶可以指定參數(shù)來控制運行時間、探索模型的數(shù)量以及搜索空間大小等。

AutoKeras 的相關(guān)內(nèi)容參閱以下兩個鏈接：

文檔地址：https://autokeras.com/

教程地址：https://towardsdatascience.com/automl-creating-top-performing-neural-networks-without-defining-architecture-c7d3b08cddc

四個庫各有特色，應(yīng)該選哪個？

用戶可以根據(jù)自己的需求選擇合適的 Python 庫，作者給出了以下幾個建議：

如果你的首要任務(wù)是獲取一個干凈、簡單的界面和相對快速的結(jié)果，選擇 auto-sklearn。另外：該庫與 sklearn 自然集成，可以使用常用的模型和方法，能很好地控制時間；

如果你的首要任務(wù)是實現(xiàn)高準確率，并且不需要考慮長時間的訓(xùn)練，則使用 TPOT。額外收獲：為最佳模型輸出 Python 代碼；

如果你的首要任務(wù)是實現(xiàn)高準確率，依然不需要考慮長時間的訓(xùn)練，也可選擇使用 HyperOpt-sklearn。該庫強調(diào)模型的超參數(shù)優(yōu)化，是否富有成效取決于數(shù)據(jù)集和算法；

如果你需要神經(jīng)網(wǎng)絡(luò)（警告：不要高估它們的能力），就使用 AutoKeras，尤其是以文本或圖像形式出現(xiàn)時。訓(xùn)練確實需要很長時間，但有很多措施可以控制時間和搜索空間大小。
責(zé)編AJX