在 TAO 提供的數(shù)據(jù)類(lèi)范例中，每個(gè)腳本的第一個(gè)步驟都是環(huán)境配置（0. Set up env variables and map drives），包括要求用戶(hù)提供在 NGC 所生成的密鑰，對(duì)后面訓(xùn)練的模型進(jìn)行保護(hù)，以及指定要使用的 GPU 數(shù)量等等，這幾個(gè)設(shè)定都很直觀容易處理，但接下去的環(huán)境變量配置部分，就讓大部分初學(xué)者停滯不前，因?yàn)槿魏我豁?xiàng)路徑配置錯(cuò)誤，都會(huì)影響后面工作的正常進(jìn)行，而每個(gè)實(shí)驗(yàn)?zāi)_本所提供的說(shuō)明，對(duì)初學(xué)者來(lái)的幫助并不大，很多新手按照其字面解釋去進(jìn)行設(shè)定，但總是沒(méi)法調(diào)整到完全正確。

因此我們必須在大家執(zhí)行實(shí)驗(yàn)之前，先以專(zhuān)文將這部分的配置說(shuō)明清楚，然后提供一個(gè)最簡(jiǎn)單的步驟，讓大家用最輕松的方法來(lái)進(jìn)行配置。

本文使用范例的 detectnet_v2.ipynb 做示范，首先看一下第一指令塊中的設(shè)定內(nèi)容：

[  ]  import os
%env KEY=tlt_encode%env NUM_GPUS=1%env USER_EXPERIMENT_DIR=/workspace/tao-experiments/detectnet_v2%env DATA_DOWNLOAD_DIR=/workspace/tao-experiments/data
# %env NOTEBOOK_ROOT=~/tao-samples/detectnet_v2os.environ["LOCAL_PROJECT_DIR"] = FIXMEos.environ["LOCAL_DATA_DIR"] = os.path.join(    os.getenv("LOCAL_PROJECT_DIR", os.getcwd()),    "data")os.environ["LOCAL_EXPERIMENT_DIR"] = os.path.join(    os.getenv("LOCAL_PROJECT_DIR", os.getcwd()),    "detectnet_v2")
# The sample spec files are present in the same path as the downloaded samples.os.environ["LOCAL_SPECS_DIR"] = os.path.join(    os.getenv("NOTEBOOK_ROOT", os.getcwd()),    "specs")%env SPECS_DIR=/workspace/tao-experiments/detectnet_v2/specs

稍微整理一下，除了KEY與 NUM_GPUS 兩個(gè)變量之外，共有7個(gè)與路徑有關(guān)的變量：

• USER_EXPERIMENT_DIR

• DATA_DOWNLOAD_DIR

• LOCAL_PROJECT_DIR

• LOCAL_DATA_DIR

• LOCAL_EXPERIMENT_DIR

• LOCAL_SPECS_DIR

• SPECS_DIR

其實(shí)稍微整理一下就更容易理解，下表就是將這7個(gè)變量分為兩組，以 “LOCAL_” 開(kāi)頭的屬于 “容器外” 用途，另外 3 個(gè)屬于容器內(nèi)用途。

什么是容器內(nèi)與容器外？前面提過(guò) TAO 用兩套獨(dú)立的 Docker 容器，分別為視覺(jué)類(lèi)與對(duì)話類(lèi)提供模型訓(xùn)練功能，并透過(guò) TAO 啟動(dòng)器的 CLI 指令執(zhí)行各項(xiàng)任務(wù)。

雖然我們所有操作都在容器外的宿主機(jī)上，例如在指令終端下達(dá) “tao detectnet_v2 train ...”，或者在 Jupyter 交互環(huán)境里執(zhí)行 “!taodetectnet_v2 train ...” 指令，但是 TAO 啟動(dòng)器會(huì)將這些指令傳遞到容器，在后臺(tái)為我們執(zhí)行對(duì)應(yīng)的任務(wù)。

這種處理方式的最大好處是，讓不懂 Docker 的初學(xué)者完全無(wú)需理會(huì)容器技術(shù)，只要專(zhuān)注于 “模型訓(xùn)練” 的重點(diǎn)工作就行，如此就能讓 TAO 的普及程度更快與更廣，這也是 TAO 工具的一項(xiàng)非常重要意義。

但為何需要使用兩套路徑來(lái)處理呢？全部都在容器內(nèi)執(zhí)行不是更加簡(jiǎn)單？這里有個(gè)最嚴(yán)肅的問(wèn)題是 “容器的生命周期” ，如果將數(shù)據(jù)保留在容器內(nèi)處理的話，一旦容器關(guān)閉或銷(xiāo)毀時(shí)，我們所有實(shí)驗(yàn)數(shù)據(jù)都將付之一炬，這是一項(xiàng)大家都承擔(dān)不起的風(fēng)險(xiǎn)，因此我們必須將所有的數(shù)據(jù)存放在容器外面，然后透過(guò)路徑映射 (mapping) 的方式來(lái)處理。

其次就是對(duì)于數(shù)據(jù)整理與文件修改的能力，在容器內(nèi)操作是相對(duì)不方便的。要知道在執(zhí)行模型訓(xùn)練之前，通常得先下載數(shù)據(jù)集的壓縮文件、移動(dòng)文件、進(jìn)行解壓縮、修改配置文件等等，這些任務(wù)在宿主機(jī)上操作是相對(duì)輕松的。

好了，當(dāng)我們清楚 TAO 的視覺(jué)類(lèi)模型訓(xùn)練腳本中，存在容器內(nèi)與容器外兩組環(huán)境路徑的原因之后，接著就來(lái)看該如何設(shè)置與映射。

我們將前面的列表進(jìn)行展開(kāi)，前面 4 個(gè)是容器外的變量、后面 3 個(gè)是容器內(nèi)變量：

假如在執(zhí)行格內(nèi)的變量按照上表的順序去排列，事情就會(huì)變得非常單純。

事實(shí)上，從頭到尾我們只要將 “LOCAL_PROJECT_DIR” 設(shè)置為”執(zhí)行腳本所在目錄”，那么后面三個(gè)容器外變量就立即建立好對(duì)應(yīng)關(guān)系，我們完全不需要做任何處理理會(huì)。至于容器內(nèi)的三個(gè)變量，每個(gè)腳本的配置規(guī)則都是一樣，也就是不需要去改變。

把上面的對(duì)應(yīng)關(guān)系了解清楚之后，整個(gè)狀況就變得非常簡(jiǎn)單，現(xiàn)在回頭看看第一個(gè)指令塊，里面需要輸入的變量其實(shí)只有以下三個(gè)：

• %env KEY= <自己在NGC上申請(qǐng)的秘鑰>

• %env NUM_GPUS= <根據(jù)設(shè)備配置，給定調(diào)用的GPU數(shù)量>

• os.environ["LOCAL_PROJECT_DIR"] = os.getcwd()

其他 6 個(gè)變量完全不做任何修改，這樣就能夠順暢地跑動(dòng)后面的指令塊。

接下去的工作就是執(zhí)行 “路徑映射” 任務(wù)，為容器內(nèi)外的路徑建立對(duì)應(yīng)的關(guān)系。幾乎所有訓(xùn)練腳本都采用下面的映射方式：

[  ]  # Define the dictionary with the mapped drivesdrive_map = {    "Mounts": [        # Mapping the data directory        {            "source": os.environ["LOCAL_PROJECT_DIR"],            "destination": "/workspace/tao-experiments"        },        # Mapping the specs directory.        {            "source": os.environ["LOCAL_SPECS_DIR"],            "destination": os.environ["SPECS_DIR"]        },    ]}

執(zhí)行這個(gè)路徑映射的指令塊之后，會(huì)將這些值寫(xiě)入 “~/.tao_mounts.json” 文件里面，這是 TAO 啟動(dòng)器每次調(diào)用容器時(shí)都需要參考的配置文件，但是這個(gè)文件是 “唯一” 的，也就是同一時(shí)間只會(huì)存在一組容器內(nèi)外的路徑映射關(guān)系，這表示系統(tǒng)不能同時(shí)執(zhí)行兩個(gè)以上的模型訓(xùn)練腳本，這點(diǎn)也請(qǐng)務(wù)必牢記。

緊跟著的 “1.Install the TAO launcher” 步驟可以直接跳過(guò)，因?yàn)槲覀冊(cè)谇懊嬉呀?jīng)帶著大家安裝好 TAO 啟動(dòng)器，這里頂多執(zhí)行 “!taoinfo” 指令，確認(rèn)一下是否回應(yīng)正確訊息。

現(xiàn)在就可以開(kāi)始進(jìn)行 TAO 所提供的各種神經(jīng)網(wǎng)絡(luò)的模型訓(xùn)練腳本。