2018 年 Anderson 等人提出了視覺語言導(dǎo)航（Vision-and-Language Navigation，VLN）任務(wù)和對(duì)應(yīng)的基準(zhǔn)數(shù)據(jù)集（Room-to-Room Dataset）。該任務(wù)旨在探究智能體是否能在仿真模擬環(huán)境中遵循自然語言指令，因此可以形式化的評(píng)估智能體是否具有跨模態(tài)的理解能力。先前的工作取得了長(zhǎng)足的進(jìn)步，然而少有工作專注于探究智能體是否充分學(xué)習(xí)了數(shù)據(jù)中的信息，或者說，智能體是一個(gè)好學(xué)生嗎？在計(jì)算機(jī)視覺領(lǐng)域，Hlynsson 等人試圖通過衡量數(shù)據(jù)效率來回答這個(gè)問題。具體而言，該工作將模型性能作為數(shù)據(jù)集大小的函數(shù)，并衡量在不同規(guī)模數(shù)據(jù)集上模型的性能。在視覺語言導(dǎo)航領(lǐng)域，Huang 等人開發(fā)了基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)鑒別器（discriminator），可以過濾低質(zhì)量的指令路徑對(duì)以提升智能體的學(xué)習(xí)效率。而在本文中，我們?cè)噲D回答：能否在不更改模型結(jié)構(gòu)和不修改數(shù)據(jù)的情況下進(jìn)一步提升智能體？

我們監(jiān)控了智能體在導(dǎo)航過程中所犯的第一個(gè)錯(cuò)誤，并在下圖中展示了不同錯(cuò)誤的比率。我們發(fā)現(xiàn)當(dāng)智能體導(dǎo)航失敗時(shí)，大約 50% 的錯(cuò)誤是由代理錯(cuò)誤地預(yù)測(cè)下一個(gè)室內(nèi)方向引起的。此類錯(cuò)誤的比例隨著導(dǎo)航任務(wù)跨越更多房間而降低，但仍保持在一個(gè)較高水平。這些現(xiàn)象表明導(dǎo)航智能體受限于它在一個(gè)房間內(nèi)和兩個(gè)房間之間導(dǎo)航的能力。因此，我們認(rèn)為傳統(tǒng)學(xué)習(xí)過程使得智能體不能充分地學(xué)習(xí)數(shù)據(jù)中的信息，采用類似范式進(jìn)行訓(xùn)練的導(dǎo)航智能體很可能被低估了。

02 Methods

智能體在這些簡(jiǎn)單案例上的糟糕表現(xiàn)激勵(lì)我們借鑒課程學(xué)習(xí)的想法。課程學(xué)習(xí)是一類關(guān)注數(shù)據(jù)集中樣本難度的分布的訓(xùn)練范式，由 Bengio 于 2009 年提出，主要思想是模仿人類學(xué)習(xí)的特點(diǎn)，讓模型先從容易的樣本開始學(xué)習(xí)，并逐漸進(jìn)階到復(fù)雜的樣本和知識(shí)。本文借鑒了課程學(xué)習(xí)的理念，首創(chuàng)性地提出了基于課程的 VLN 訓(xùn)練范式。

首先，我們?yōu)閷?dǎo)航任務(wù)設(shè)計(jì)了合適的課程。從抽象角度看，課程被視為一系列訓(xùn)練準(zhǔn)則。每個(gè)訓(xùn)練準(zhǔn)則都與訓(xùn)練樣本上的一組不同的權(quán)重相關(guān)聯(lián)，或更普遍地，與訓(xùn)練樣本分布的重新加權(quán)有關(guān)。要定義課程，首先需要定義樣本的難度。對(duì)于人類來說，很容易在很小的范圍內(nèi)找到特定物體或地點(diǎn)。在經(jīng)過簡(jiǎn)單的探索后，人類就可以利用有關(guān)環(huán)境的知識(shí)來完成更艱巨的任務(wù)。因此，我們假設(shè)路徑 可以覆蓋的房間數(shù)量 主導(dǎo)了導(dǎo)航任務(wù)的難度級(jí)別。我們建議根據(jù) 對(duì)基準(zhǔn)數(shù)據(jù)集R2R數(shù)據(jù)集進(jìn)行重新劃分，劃分后的數(shù)據(jù)集如下表所示：

我們認(rèn)為從簡(jiǎn)單到困難的數(shù)據(jù)集劃分方式使得對(duì)智能體在這些子集上的學(xué)習(xí)與玩街機(jī)游戲非常相似，因此我們根據(jù)子集中樣本的難度將訓(xùn)練集的各個(gè)子集命名為第一回合（Round 1）至第五回合（Round 5）。從平均路徑長(zhǎng)度、平均指令長(zhǎng)度和全景圖覆蓋率可以看出，我們劃分的數(shù)據(jù)子集呈現(xiàn)出明顯的階梯特征。這說明我們對(duì)數(shù)據(jù)集難度的劃分是合理的。新數(shù)據(jù)集被稱為為課程學(xué)習(xí)設(shè)計(jì)的R2R數(shù)據(jù)集（R2R for curriculum learning dataset，CLR2R dataset）。

有許多方法可以應(yīng)用在 CLR2R 數(shù)據(jù)集上。如果我們將每個(gè)子集都視為一個(gè)課程，則 CLR2R 適用于自動(dòng)課程學(xué)習(xí)。如果我們將整個(gè)數(shù)據(jù)集視為一個(gè)大課程，則每個(gè)回合中的樣本應(yīng)被賦予相同的優(yōu)先級(jí)，因此可以使用自定進(jìn)度的課程學(xué)習(xí)。在本文中，我們將重點(diǎn)放在后一種模式上。

由 Jiang 等人提出的自定進(jìn)度課程學(xué)習(xí)（Self-Paced Curriculum Learning，SPCL）是一種“師生協(xié)作”學(xué)習(xí)方法，它在統(tǒng)一框架中考慮了訓(xùn)練之前人類對(duì)于數(shù)據(jù)的先驗(yàn)知識(shí)和訓(xùn)練過程中智能體對(duì)數(shù)據(jù)的學(xué)習(xí)進(jìn)度。具體而言，SPCL 的目標(biāo)損失函數(shù)定義為

其中 表示參數(shù)化的導(dǎo)航智能體， 是反映樣本重要性的權(quán)重變量。 稱為控制學(xué)習(xí)方案的自定進(jìn)度函數(shù)， 是限制學(xué)習(xí)速度的超參數(shù)。 是編碼預(yù)定課程表（predetermined curriculum）信息的可行區(qū)域。本文將 CLR2R 數(shù)據(jù)集看作一個(gè)完整的課程。因此每個(gè)回合中的樣本應(yīng)被賦予相同的課程等級(jí)。因此，在 CLR2R 數(shù)據(jù)集上只需 5 個(gè)標(biāo)量就足以定義課程區(qū)域的參數(shù)向量。Jiang 等人討論了一些自定進(jìn)度函數(shù)的具體形式，在本文中， 我們主要關(guān)注兩種較為簡(jiǎn)單的自定進(jìn)度函數(shù)：二進(jìn)制方案（binary scheme）和線性方案（linear scheme）。

容易發(fā)現(xiàn)，公式（1）中的兩個(gè)參數(shù)是可以交替優(yōu)化的。具體而言，對(duì)于參數(shù) 的優(yōu)化是一個(gè)凸優(yōu)化問題，

在 和簡(jiǎn)單自定進(jìn)度函數(shù)的條件下具有封閉解。本質(zhì)上公式（2）是一個(gè)線性約束凸優(yōu)化問題。對(duì)于一般的課程區(qū)域 我們可以應(yīng)用投影梯度下降法（Projected Gradient Descent，PGD）來獲得最優(yōu)權(quán)重 。

通常， 公式（1）中的優(yōu)化問題可以采用交替凸搜索算法（Alternative Convex Search，ACS）求解。原始算法的主要問題是在第 4 步，其中使用固定的最新權(quán)重向量 來學(xué)習(xí)最佳模型參數(shù) 。在基于神經(jīng)網(wǎng)絡(luò)的導(dǎo)航智能體的訓(xùn)練中，由于梯度下降方法優(yōu)化的神經(jīng)網(wǎng)絡(luò)缺乏全局最優(yōu)保證以及計(jì)算復(fù)雜度問題，我們不可能計(jì)算的確切最優(yōu)值。因此本文建議無需計(jì)算確切的最小值，將原算法中的第 4 步替換為機(jī)器學(xué)習(xí)訓(xùn)練范式中的多個(gè)梯度下降更新步驟。這樣做能使算法的速度加快，并且此時(shí)權(quán)重向量 實(shí)際上是通過考慮 “當(dāng)前”學(xué)習(xí)進(jìn)度而不是 “最終” 學(xué)習(xí)進(jìn)度來更新的。

03 Experiments

3.1 Setup

在實(shí)驗(yàn)中，我們采用了三種訓(xùn)練范式

機(jī)器學(xué)習(xí)： 對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行一致采樣（Uniform Sampling），采樣得到的數(shù)據(jù)作為批數(shù)據(jù)（mini-batch）呈遞給模型進(jìn)行學(xué)習(xí)。

樸素課程學(xué)習(xí)（Na?ve Curriculum Learning）：對(duì)訓(xùn)練集中的樣本從易到難進(jìn)行排序，按照從易到難的順序?qū)颖境蔬f給模型進(jìn)行學(xué)習(xí)。具體而言， 智能體首先在 CLR2R 數(shù)據(jù)集的 Round 1 子集上進(jìn)行學(xué)習(xí)， 然后在 Round 1~2 子集上進(jìn)行學(xué)習(xí)， 最終在集合 Round 1~5 （也就是 R2R 的訓(xùn)練集） 上進(jìn)行學(xué)習(xí)。

自定進(jìn)度課程學(xué)習(xí)（Self-Paced Curriculum Learning）：如前所述，為了應(yīng)用 SPCL 算法，我們需要首先確定課程區(qū)域和自定進(jìn)度函數(shù)。對(duì)于課程區(qū)域，我們假設(shè) CLR2R 數(shù)據(jù)集中每個(gè) Round 子集中的樣本都具有相同的難度，因此我們?cè)O(shè)置 Round 。對(duì)于自定進(jìn)度的函數(shù)，由于在導(dǎo)航任務(wù)中每個(gè)樣本對(duì)于的損失 是不受限的，因此我們選擇二進(jìn)制方案和線性方案。

3.2 Results

主要結(jié)果：下表提供三個(gè) SOTA 智能體在不同的訓(xùn)練設(shè)置下在驗(yàn)證集的上的實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)表明，采用自定進(jìn)度課程學(xué)習(xí)訓(xùn)練的智能體在已見和未見的驗(yàn)證劃分上都可以達(dá)到最佳性能。

學(xué)習(xí)速率：整體而言，相比于傳統(tǒng)機(jī)器學(xué)習(xí)，采用自定進(jìn)度課程學(xué)習(xí)訓(xùn)練的智能體在迭代相同的次數(shù)之后可以獲得更優(yōu)的性能表現(xiàn)。相同精度的結(jié)果，采用自定進(jìn)度課程學(xué)習(xí)所需要的循環(huán)次數(shù)大大減少。這說明自定進(jìn)度課程學(xué)習(xí)不僅可以提升模型的性能，還可以優(yōu)化模型的訓(xùn)練效率。

SPCL 超參數(shù)魯棒性：為了理解權(quán)重 初始化和步長(zhǎng) 的選擇對(duì)自定進(jìn)度課程學(xué)習(xí)的影響，我們對(duì)這兩個(gè)超參數(shù)進(jìn)行網(wǎng)格搜索，結(jié)果如圖所示。下圖表明，自定進(jìn)度課程學(xué)習(xí)對(duì)權(quán)重初始化和步長(zhǎng)選擇并不敏感，在大多數(shù)情況下采用自定進(jìn)度課程學(xué)習(xí)訓(xùn)練的導(dǎo)航智能體在驗(yàn)證集上的結(jié)果都要優(yōu)于機(jī)器學(xué)習(xí)基準(zhǔn)。

損失地形：為了探究自定進(jìn)度課程學(xué)習(xí)為何能夠提升導(dǎo)航智能體的性能，我們遵循計(jì)算機(jī)視覺分析批歸一化采用的方法，通過計(jì)算最大和最小損失之間的距離來研究智能體訓(xùn)練期間的損失地形。結(jié)果如圖所示。一般而言，我們的實(shí)驗(yàn)結(jié)果與理論結(jié)果一致，即課程學(xué)習(xí)可以有效地平滑優(yōu)化環(huán)境、改善損失地形。

遷移學(xué)習(xí)：使用課程學(xué)習(xí)訓(xùn)練 的智能體既可以保持在 R2R 數(shù)據(jù)集上的導(dǎo)航性能，也能夠遷移到 RxR-en 數(shù)據(jù)集上完成更難的導(dǎo)航任務(wù)。

與預(yù)訓(xùn)練方法結(jié)合：為了探究采用課程學(xué)習(xí)范式訓(xùn)練的導(dǎo)航智能體是否也可以從預(yù)訓(xùn)練方法中受益，我們將智能體與基于視覺語言 Transformer 的模型 VLN-BERT（Majumdar 等，2020）相結(jié)合。我們將束搜索大小限制為 5，并純粹使用 VLN-BERT 模型來評(píng)分和選擇路徑-指令對(duì)。在未見驗(yàn)證劃分上的結(jié)果如圖所示。Beam search 和 VLN-BERT 都可以提高智能體的導(dǎo)航性能。通過基于課程的方法訓(xùn)練的導(dǎo)航智能體獲得更多改進(jìn)。

04 Conclusion

我們首先建議將有關(guān)訓(xùn)練樣本的人類先驗(yàn)知識(shí)整合到導(dǎo)航智能體的訓(xùn)練過程中，首先提出采用課程學(xué)習(xí)對(duì)導(dǎo)航智能體進(jìn)行訓(xùn)練。

我們?yōu)橐曈X語言導(dǎo)航任務(wù)設(shè)計(jì)了第一個(gè)課程，并基于 Room-to-Room （ ） 數(shù)據(jù)集構(gòu)建了可用于課程學(xué)習(xí)的第一個(gè) VLN 數(shù)據(jù)集。

我們采用自定進(jìn)度課程學(xué)習(xí)提出了一種導(dǎo)航智能體的訓(xùn)練范式。這種訓(xùn)練范式能在不增加模型復(fù)雜度的前提下提高智能體的訓(xùn)練效率和性能。

我們驗(yàn)證了課程學(xué)習(xí)的作用是平滑損失函數(shù) （smooth loss landscape），從而加速學(xué)習(xí)進(jìn)度、使智能體收斂到更好的局部最優(yōu)點(diǎn)。

我們進(jìn)一步的實(shí)驗(yàn)表明，課程學(xué)習(xí)適用于遷移學(xué)習(xí)，并能與預(yù)訓(xùn)練方法相結(jié)合。

責(zé)任編輯：haq