本文將介紹以下三部分內(nèi)容：第一：Kubeflow的應(yīng)用；第二：基于 Kubeflow 的開發(fā)；第三：Momenta深度學(xué)習(xí)數(shù)據(jù)流。

ubeflow的應(yīng)用

為什么要用 Kubeflow？

在一些 GPU 集群較小的機構(gòu)（例如實驗室、科研機構(gòu)等）中，他們一般只有幾臺多卡 GPU。實驗人員可能會將一臺機器或兩臺機器用于安裝各種環(huán)境以及 GPU 的驅(qū)動，同時使用 Caffe 或 TensorFlow 等工具做模型訓(xùn)練。這種場景較為簡單，但會帶來一個問題，即人員需要花大量精力管理這幾臺機器的環(huán)境。

為了解決這個問題，降低用戶的部署成本，技術(shù)人員可以引入容器技術(shù)，用 nvidia-docker允許容器使用 GPU，將 TensorFlow、PyTorch 以及 Caffe 封裝到 Docker 鏡像中，用 nvidia-docker 在物理機上面運行訓(xùn)練任務(wù)。

但是以上只是小規(guī)模 GPU 集群中的解決方法，一旦集群規(guī)模擴大，實驗人員就不得不需要解決這些問題：如何合理地分配 GPU 資源？如果讓每位用戶直接在每臺機器上獲取資源？技術(shù)人員如何進行資源管理、環(huán)境維護？2017 年年底發(fā)行的 Kubeflow 很好地解決了這些難題，它將訓(xùn)練任務(wù)裝到容器中，利用 Kubernetes 對 CPU、GPU 等資源進行充分管理。

什么是 Kubeflow？

Kubeflow 可以看作是 Kubernetes + TensorFlow 的成果。它是一個基于 Kubernetes 的機器學(xué)習(xí)工具項目，支持眾多訓(xùn)練框架，包括 TensorFlow、PyTorch、Caffe2、MxNet 等。

Kubeflow 社區(qū)在半年多的時間內(nèi)收集了 4000 多個 stars，發(fā)展非常迅速。同時，眾多國內(nèi)公司也助力了 Kubeflow 的發(fā)展，貢獻了很多項目。例如才云貢獻的 tf - operator 項目，Momenta 貢獻的 caffe2 - operator 項目。新浪、京東和拼多多也在嘗試使用 Kubeflow 解決問題。

在 Kubernetes里部署 Kubeflow的方法有很多，常規(guī)方法是用 ksonnet 或單獨用 kubectl 手動部署各個 Operator 以及相應(yīng)的服務(wù)。個人用戶也可以很方便地體驗用 Kubeflow 輕松部署一套用于訓(xùn)練模型的環(huán)境。

# CNN_JOB_NAME=mycnnjob # VERSION=v0.2-branch # ks registry add kubeflow-git github.com/kubeflow/kubeflow/tree/${VERSION}/kubeflow # ks pkg install kubeflow-git/examples # ks generate tf-job-simple ${CNN_JOB_NAME} --name=${CNN_JOB_NAME} # ks apply ${KF_ENV} -c ${CNN_JOB_NAME}

以上是直接從 Kubeflow 官網(wǎng)上獲取的一個示例。以往在部署環(huán)境時，實驗人員需要預(yù)裝很多東西用于模型訓(xùn)練，但如果使用 Kubeflow，他們就可以很簡單地跑一個已知數(shù)、已知模型。如果在其中加入一些參數(shù)，程序就可以跑整個 Kubeflow 的任務(wù)（僅以 TensorFlow 為例）。

# arena submit tf --name=tf-git --gpus=1 --image=tensorflow/tensorflow:1.5.0-devel-gpu --syncMode=git --syncSource=https://github.com/cheyang/tensorflow-sample-code.git --env=GIT_SYNC_USERNAME=yourname --env=GIT_SYNC_PASSWORD=yourpwd "python code/tensorflow-sample-code/tfjob/docker/mnist/main.py” # arena list NAME STATUS TRAINER AGE NODE tf-git RUNNING tfjob 0s 192.168.1.120

在這個實例中，arena 是另外一套基于 Kubeflow 的封裝，相當(dāng)于簡化版本的命令行。arena 能幫助算法研發(fā)人員減少對 kubectl 的使用，通過命令行指定各種算法參數(shù)以及要運行的腳本，直接運行 arena submit 來提交訓(xùn)練任務(wù)。

基于 Kubeflow的開發(fā)

為了滿足不同場景需求，目前 Kubeflow 已經(jīng)擁有許多解決方案，但它們大多比較簡單。如果訓(xùn)練數(shù)據(jù)集較大，需求較復(fù)雜，開發(fā)任務(wù)將會涉及很多塊 GPU的使用（例如用 128 塊 GPU 訓(xùn)練很多天）。

接下來，我們嘗試搭設(shè)一個深度學(xué)習(xí)實驗平臺。這里需要注意的是，我們定義的是 “實驗平臺”，因為 Momenta 的算法研究人員在調(diào)參、看論文時需要測試各種各樣的網(wǎng)絡(luò)。對他們而言，深度學(xué)習(xí)實驗平臺非常重要，而且要滿足多種需求。

第一：實驗平臺需要多機多卡調(diào)度。比如研發(fā)人員有調(diào)度 128 塊卡的需求，如果卡不足，就需要等待調(diào)度；

第二：多租戶。在多用戶的環(huán)境下共用相同的系統(tǒng)或程序組件，且仍可確保各用戶間數(shù)據(jù)的隔離性；

第三：多訓(xùn)練框架支持。比如 Caffe、TensorFlow、PyTorch 等；其他的還有日志收集、監(jiān)控信息收集（如 GPU 的使用率）等。

考慮到以上需求，我們設(shè)計了一個訓(xùn)練平臺架構(gòu)，如上圖所示。我們在 Kubernetes 前面加了一個帶狀態(tài)的 apigateway，它包含用戶信息、狀態(tài)管理、后期審計等功能。架構(gòu)還包括 caffe2 - operator、mpi - operator和TensorFlow 的 Operator，主要是為了能夠統(tǒng)一管理訓(xùn)練任務(wù)的生命周期。此外，該架構(gòu)還支持運用 kube - batch 實現(xiàn)多機多卡的調(diào)度期。圖中的假設(shè)比較簡單，每個 Pod都是一個單獨的機器。

如何實現(xiàn)多臺機器間的通訊也是框架的重點。該設(shè)計分為兩套環(huán)境：

線下的環(huán)境使用 Infiniband，借助高速的 RDMA 網(wǎng)絡(luò)就能很好地解決延遲問題，并提供非常高的帶寬；

線上的環(huán)境使用 25Gb/s 的以太網(wǎng)，其相對于 Infiniband 延遲過高，所以在多機通訊的過程中，需要包一個聚合再下發(fā)，才能解決延遲問題。

底層的數(shù)據(jù)存儲也需要使用分布式數(shù)據(jù)存儲以及圖像緩存，基于 Momenta 的數(shù)據(jù)的特征（不需要對圖片進行修改），用戶可以在客戶端加上一些緩存。比如在客戶端安裝高速 SSD，使用開源的 fscache 把數(shù)據(jù)緩存到 SSD 上，保證整個訓(xùn)練過程中數(shù)據(jù)的高速傳輸。用相對比較便宜的 SSD確保昂貴的 GPU的充分使用，這是 Momenta 整套訓(xùn)練平臺的架構(gòu)的最大優(yōu)勢之一。

對具有一定操作經(jīng)驗的用戶而言，他們更喜歡以命令行的方式操作，習(xí)慣用 HPC 領(lǐng)域的 slurm 作為操作工具。為了兼容 slurm 的命令行，Momenta 形成了一套類似 slurm 管理命令行的操作方式。同時，平臺也提供 Web 端的操作方式。

上圖是一個任務(wù)提交的案例，包括以下幾點：

定義了幾個節(jié)點；

每個節(jié)點需要幾個 GPU；

基于哪些的框架（如 TensorFlow、PyTorch 及 Caffe2 等）；

當(dāng)前的工作任務(wù)。

我們之所以做出這樣的設(shè)計，一個原因是為了兼容舊的使用習(xí)慣，讓老用戶能夠無縫遷移。另一個原因是重新設(shè)計一套交互方式的時間成本太高，基礎(chǔ)架構(gòu)開發(fā)人員需要花很長時間才能了解平臺用戶在進行深度學(xué)習(xí)研發(fā)的操作行為和操作意圖。

Momenta深度學(xué)習(xí)數(shù)據(jù)流

在實現(xiàn)自動駕駛的過程中，深度學(xué)習(xí)算法在訓(xùn)練模型時需要大量圖像數(shù)據(jù)作為支撐。Momenta 平臺可以處理自動駕駛領(lǐng)域的數(shù)據(jù)流。

數(shù)據(jù)篩選

上圖是車輛識別的（電動車）的一個典型。目前，Momenta在電動車識別上準(zhǔn)確率較高。在人工智能數(shù)據(jù)流中，數(shù)據(jù)篩選有以下作用：

降低成本：無需重復(fù)標(biāo)注即可識別素材，降低標(biāo)注成本。

提高模型訓(xùn)練效率：去除無效素材，提取包含識別目標(biāo)的素材，提高訓(xùn)練效率；

提高模型訓(xùn)練邊際效用：通過對極端情況（corner case）的數(shù)據(jù)進行針對性訓(xùn)練，有效地提高模型性能。

數(shù)據(jù)標(biāo)注

經(jīng)過一輪篩選后，部分圖片會需要人工標(biāo)注。Momenta 開發(fā)的在線遠程眾包數(shù)據(jù)標(biāo)注系統(tǒng)允許可視化操作，即便不懂代碼的眾包人員也能遠程完成各類標(biāo)注任務(wù)。數(shù)據(jù)標(biāo)注的作用主要是提供更多帶標(biāo)注的圖像數(shù)據(jù)，提供包含更多識別目標(biāo)的素材，最終提高模型訓(xùn)練精度。

模型訓(xùn)練

上圖是模型訓(xùn)練的流程圖：

數(shù)據(jù)導(dǎo)入：支持多種數(shù)據(jù)類型，支持多批次數(shù)據(jù)合并，支持多種組合規(guī)則；

模型訓(xùn)練：多機多卡并發(fā)訓(xùn)練，共享式集群、支持多人多任務(wù)同時進行，支持多種主流訓(xùn)練框架，所有任務(wù)由 Kubernetes 自動調(diào)度完成；

模型驗證：訓(xùn)練所得模型自動在驗證集上進行驗證，通過驗證的模型將進入模型倉庫供后續(xù)流程使用；

與傳統(tǒng)方式相比，Momenta 采用的共享集群調(diào)度讓用戶（內(nèi)部的算法研發(fā)人員）可以編寫任務(wù)描述和訓(xùn)練腳本，而管理員通過網(wǎng)頁界面進行集群管理和工作調(diào)度。極大地節(jié)省人工成本，提高資源利用率，實現(xiàn)集中性管理，提高安全性。

結(jié)語

Kubeflow基于Kubernetes 和 TensorFlow ，提供了一個數(shù)據(jù)科學(xué)工具箱和部署平臺。它具有很多優(yōu)點，如 DevOps 和 CICD 的支持、多核心支持等。但它的缺點也很明顯，就是組件較多，協(xié)調(diào)較差。

如何利用 Kubeflow 更好地做二次開發(fā)？這是當(dāng)下的一個熱點問題，也是 Momenta致力于解決的一大問題，是我們圍繞不同級別自動駕駛方案和一級供應(yīng)商展開合作時首先要解決的一個必要問題。為了見證自動駕駛汽車的落地，為了共同打造更好的人工智能自動駕駛產(chǎn)品，歡迎有想法的小伙伴與我共同探討基于 Kubeflow 的深度學(xué)習(xí)。