一個機器學習項目中，從單一的模型訓練中獲得良好的結(jié)果是一回事，但是保持所有的機器學習實驗僅僅有條，并且有一個流程能讓你從中得出有效的結(jié)論又是另一回事。

近日，數(shù)據(jù)科學家Pawe Kijko在一篇博文中介紹了15個跟蹤機器學習實驗的最佳工具，并且解釋了作為數(shù)據(jù)科學家和機器學習工程師，為什么需要一個工具來跟蹤機器學習實驗，以及可使用的最佳軟件是什么。

原文如下：

跟蹤機器學習實驗的工具——誰需要它們，為什么？

數(shù)據(jù)科學家

在許多組織中，機器學習工程師和數(shù)據(jù)科學家傾向于單獨工作。這使得一些人認為，只要他們能夠交付最后一個模型，跟蹤他們的實驗過程并不是那么重要。

在某種程度上這是正確的，但是當您想回到某個想法，重新運行幾個月前的模型，或者簡單地比較和可視化運行之間的差異時，用于跟蹤ML實驗的系統(tǒng)或工具的需求就顯現(xiàn)出來了。

數(shù)據(jù)科學家團隊

跟蹤ML實驗的專門工具對整個數(shù)據(jù)科學家團隊很有效。它允許數(shù)據(jù)科學家們能夠看到其他人在做什么、分享想法和見解、存儲實驗元數(shù)據(jù)，在需要的時候檢索和分析它們。

它使團隊合作更加高效，避免了幾個人一起做同一項任務的情況，并使新成員更容易融入團體。

管理者/業(yè)務人員

跟蹤軟件提供了一個讓其他成員，如經(jīng)理或業(yè)務利益相關(guān)者參與機器學習項目的機會。

由于可以準備可視化效果、添加注釋和共享工作，因此，管理者及其同事可以輕松地跟蹤進度并與機器學習團隊合作。

1. Neptune

Neptune是市場上最輕量級的實驗管理工具。對于任何數(shù)據(jù)科學家來說，這都是一個出色的跟蹤平臺。

該軟件可以輕松地與工作流程集成，并提供廣泛的跟蹤功能。人們可以使用它來跟蹤、檢索和分析實驗，也可以與團隊和管理者共享實驗結(jié)果。

此外，Neptune非常靈活，可以與許多其他框架一起使用，并且由于其穩(wěn)定的用戶界面，它具有出色的可伸縮性（可運行數(shù)百萬次）。

主要優(yōu)點：

可以存儲，檢索和分析大量數(shù)據(jù)

高效團隊協(xié)作和項目監(jiān)督的工具

隨附Jupyter筆記本追蹤

2. Weights & Biases

Weights & Biases針對最先進的深度學習團隊。使他們能夠記錄實驗并可視化每個研究部分。Weight＆Biases的創(chuàng)建是為了促進數(shù)據(jù)科學家之間的協(xié)作，并在此問題上提供了許多有用的功能，所有這些都是精心設(shè)計的。

主要優(yōu)點：

專為深度學習實驗跟蹤而創(chuàng)建

易于集成整個過程

可定制的可視化和報告工具

3. Comet

與先前描述的工具類似，Comet的構(gòu)建是為了跟蹤機器學習項目。該軟件的設(shè)計團隊的任務是幫助數(shù)據(jù)科學家更好地組織和管理實驗。Comet提供了輕松比較實驗并保留收集的數(shù)據(jù)記錄以及與其他團隊成員進行協(xié)作的可能性。

主要優(yōu)點：

能夠快速適應任何機器

能夠很好地與現(xiàn)有的ML庫兼容

保障知識產(chǎn)權(quán)

4. Sacred + Omniboard

“每個實驗都是神圣的……”就像他們在神圣的工具描述中說的那樣。

Sacred是開源軟件，它允許機器學習工程師配置、組織、記錄和復制實驗。Sacred沒有合適的用戶界面，但是可以連接到一些儀表盤工具，比如Omniboard， Sacredboard或者Neptune。

此外，它沒有以前的工具的可伸縮性，也沒有適應團隊協(xié)作，但是，在個人研究方面，它具有巨大的潛力。

主要優(yōu)點：

開源工具

廣泛的實驗參數(shù)定制選項

易于集成

5. MLflow

MLflow是一個開源平臺，可幫助管理整個機器學習生命周期。這包括實驗，還包括可重復性和部署。這三個元素分別由一個MLflow組件表示：跟蹤，項目和模型。

這意味著使用MLflow的數(shù)據(jù)科學家能夠跟蹤實驗，組織實驗，為其他ML工程師描述實驗并將其打包到機器學習模型中。

它旨在實現(xiàn)從一個人到大型組織的可擴展性，但是，它最適合單個用戶。

主要優(yōu)點：

專注于機器學習過程的整個生命周期

與許多其他工具和平臺兼容

與任何ML庫或語言集成的開放界面

6. TensorBoard

TensorBoard是另一個實驗跟蹤工具。它是開源的，提供了一套工具，用于可視化和調(diào)試機器學習模型。

TensorBoard是市場上最受歡迎的解決方案，因此已與許多其他工具和應用程序廣泛集成。而且，它擁有很多工程師用戶，他們使用該軟件并分享經(jīng)驗和想法。

這使得一個強大的社區(qū)準備好解決任何問題。然而，軟件本身最適合個人用戶。

主要優(yōu)點：

大型的預建跟蹤工具庫

與許多其他工具和應用程序集成

有充分準備去解決問題的用戶和社區(qū)

7. guild.ai

guild.ai的開發(fā)人員指出：“你應用實驗越快越有效，你就能越早完成你的工作?！睘榱烁玫亟M織這個過程，他們開發(fā)了這個開源實驗跟蹤軟件，這個軟件最適合于單個項目。

它是輕量級的，并配備了許多有用的特性，使它更容易運行、分析、優(yōu)化和重新創(chuàng)建機器學習實驗。此外，guild.ai包含各種分析工具，使實驗比較過程更加容易。

主要優(yōu)點：

自動化機器學習過程

與任何語言和庫集成

遠程訓練和備份的可能性

8. Polyaxon

Polyaxon是一個專注于機器學習項目的整個生命周期管理以及促進ML團隊協(xié)作的平臺。

它包括從跟蹤和優(yōu)化實驗到模型管理和法規(guī)遵從的廣泛特性。其開發(fā)人員的主要目標是在節(jié)省成本的同時最大化結(jié)果和生產(chǎn)力。

但是，值得注意的是，在準備使用之前，需要將Polyaxon集成到您的infra/cloud中。

主要優(yōu)點：

與最流行的深度學習框架和ML庫集成

旨在服務于不同的利益群體，包括數(shù)據(jù)科學家，團隊領(lǐng)導和架構(gòu)師

提供了團隊協(xié)作的可能性

9. Trains

如其創(chuàng)建者所述，Trains的建立是為了跟蹤“訓練生產(chǎn)級深度學習模型的過程”。該軟件的主要重點是輕松高效地跟蹤機器學習和深度學習實驗。Trains是一個仍處于測試階段的開源平臺，但它在不斷開發(fā)和升級。

主要優(yōu)點：

快速簡便的實施過程

促進團隊合作的可能性

用于跟蹤實驗過程并將數(shù)據(jù)保存到一臺集中式服務器

10. Valohai

Valohai在設(shè)計時考慮到了數(shù)據(jù)科學家的想法，它的主要好處是使模型構(gòu)建過程更快。

它可以實現(xiàn)大規(guī)模自動化，但首先需要與基礎(chǔ)設(shè)施/私有云集成。

Valohai兼容任何語言或框架，以及許多不同的工具和應用程序。該軟件也是面向團隊的，并具有許多便于團隊協(xié)作的特性。

主要優(yōu)點：

大大加快了模型構(gòu)建過程

協(xié)助客戶服務和每月檢查

專注于機器學習的整個生命周期

11. Pachyderm

Pachyderm是一種工具，它使用戶可以控制端到端的機器學習周期。從數(shù)據(jù)沿襲到構(gòu)建和跟蹤實驗，再到可擴展性選項——Pachyderm涵蓋了所有內(nèi)容。

該軟件提供三種不同版本：Community Edition（開源，可以在任何地方使用），Enterprise Edition（完整的版本控制平臺）和Hub Edition（仍為beta版，結(jié)合了先前兩個版本的特性） 。

它需要與您的基礎(chǔ)架構(gòu)/私有云集成，因此，不像前面提到的其他工具那樣輕量級。

主要優(yōu)點：

可以根據(jù)自己的需要調(diào)整軟件版本

端到端流程支持

由強大的專家社區(qū)建立和支持

12. Kubeflow

Kubeflow是一款軟件，其主要目標是運行流程并簡化機器學習工作流程的部署。

它被稱為Kubernetes的機器學習工具包，旨在利用Kubernetes的潛力來促進機器學習模型的擴展。

Kubeflow背后的團隊正在不斷開發(fā)其功能，并盡最大努力使數(shù)據(jù)科學家的生活更輕松。它作為補充工具能夠與列表上的其他工具一起使用，

主要優(yōu)點：

Multi-framework集成

非常適合Kubernetes用戶

Open-source character

13. Verta.ai

Verta的主要特性可以概括為四個詞：跟蹤、協(xié)作、部署和監(jiān)視。

正如你所看到的，創(chuàng)建此軟件是為了方便管理整個機器學習生命周期。它配備了必要的工具，以協(xié)助ML團隊在過程的每個階段。然而，各種各樣的特性使得平臺更加復雜，因此不像我們提到的其他工具那樣輕量級。

主要優(yōu)點：

與其他ML框架的兼容性

在端到端機器學習過程中的輔助

人性化設(shè)計

14. SageMaker Studio

SageMaker Studio是一種Amazon工具，它使數(shù)據(jù)科學家可以管理整個機器學習生命周期。從構(gòu)建、訓練到部署ML模型。該軟件的設(shè)計初衷是使開發(fā)高質(zhì)量實驗的過程變得更輕松、更省時。它是一個基于web的工具，并附帶了整個工具集，旨在幫助數(shù)據(jù)科學家提高他們的性能。

主要優(yōu)點：

跟蹤數(shù)千個實驗的可能性

與大量與ML相關(guān)任務的Amazon工具集成

全面管理

15. DVC

最后一個項目是專門為機器學習項目創(chuàng)建的開源版本控制系統(tǒng)。其目的是使數(shù)據(jù)科學家能夠共享ML模型，并使它們具有可重復性。

DVC用戶界面可以處理大量數(shù)據(jù)的版本管理和組織，并以組織良好、可訪問的方式存儲它們。它關(guān)注于數(shù)據(jù)和管道版本控制和管理，但有一些（有限的）實驗跟蹤功能。它可以很容易地與此列表中的其他工具作為補充工具一起使用。

主要優(yōu)點：

適應任何語言和框架

收集大量數(shù)據(jù)的可能性

Open-source character

后記

跟蹤機器學習實驗一直是ML開發(fā)過程中的重要一環(huán)，但在過去，它需要數(shù)據(jù)科學家付出大量的努力。跟蹤工具是有限的，因此該過程是手動且耗時的。

由于這個原因，數(shù)據(jù)科學家和工程師經(jīng)常忽視機器學習生命周期的這一部分，或者創(chuàng)建自己的解決方案，這種情況不應該再發(fā)生了。

在過去的幾年里，跟蹤機器學習實驗的工具已經(jīng)成熟了很多，且易于訪問和使用。今天列出的應用和平臺就是最好的例子，希望對數(shù)據(jù)科學家們有所助益。