0. Take-away messages

提出了一個簡單有效的視覺語言模型架構(gòu)，BridgeTower，通過在頂層單模態(tài)層和每個跨模態(tài)層之間建立橋梁，成功地引入了不同語義層次的視覺和文本表示，從而提高了跨模態(tài)編碼器中注意力頭的多樣性，并在各種任務(wù)上實現(xiàn)了突出的性能改進。

在公平的評估設(shè)置下，與Two-Tower架構(gòu)的METER模型相比，BridgeTower顯著地提高了模型的多模態(tài)表示能力。

僅使用400萬張圖片進行視覺語言預(yù)訓(xùn)練，BridgeTower在各種視覺語言下游任務(wù)上取得了十分強大的性能，擊敗了許多用更多數(shù)據(jù)和參數(shù)進行預(yù)訓(xùn)練的強大模型。

BridgeTower可以適用于不同的視覺、文本或跨模態(tài)編碼器。

1. 背景與動機

視覺語言任務(wù)示例

圖源：12-in-1: Multi-Task Vision and Language Representation Learning

視覺語言研究的目標(biāo)，是訓(xùn)練一個能夠理解圖像和文本的智能AI系統(tǒng)。上圖展示了一些流行的視覺語言任務(wù)。視覺問答是其中最著名的任務(wù)之一，它需要根據(jù)輸入圖像來回答和圖片相關(guān)的問題。

各類視覺語言模型

自2019年以來，在大規(guī)模圖像-文本對的自監(jiān)督預(yù)訓(xùn)練的幫助下，基于Transformer的視覺語言模型取得了顯著的進展。其中，具有雙塔結(jié)構(gòu)的視覺語言 (VL) 模型在視覺語言表示學(xué)習(xí)中占主導(dǎo)地位?；诓煌奈谋竞鸵曈X編碼器，人們提出了各種模型架構(gòu)和預(yù)訓(xùn)練目標(biāo)。從模型架構(gòu)的角度來看，近期大多數(shù)的VL工作，可以看作是由三個模塊組成的雙塔架構(gòu)，即文本編碼器、視覺編碼器，以及在它們之上的跨模態(tài)融合模塊。不同的VL模型在這三個模塊的設(shè)計上有所不同。

視覺語言模型架構(gòu)簡述

圖(a)-(d)是目前的四類視覺語言模型。圖(e)簡要說明了BridgeTower的模型結(jié)構(gòu)。VE、TE和CE分別是視覺編碼器、文本編碼器和跨模態(tài)編碼器的簡稱。每個矩形的高度代表其相對計算成本。本圖受到了ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision的啟發(fā)。

目前的VL模型要么使用輕量級的單模態(tài)編碼器，并學(xué)習(xí)在深度跨模態(tài)編碼器中同時提取、對齊和融合兩種模態(tài)，要么將預(yù)訓(xùn)練的深層單模態(tài)編碼器的最后一層單模態(tài)表示，送入頂部的跨模態(tài)編碼器中。這兩種方法都有可能限制視覺-語言表示的學(xué)習(xí)，并進一步限制模型的性能。

動機

如果我們深入雙塔結(jié)構(gòu)的單模態(tài)塔 (編碼器) ，例如METER模型。我們可以發(fā)現(xiàn)他們只將最后一層的單模態(tài)特征直接送入頂部的跨模態(tài)融合模塊，忽略了深層單模態(tài)塔的不同層的語義信息。我們自然地想到，能否在不同層的預(yù)訓(xùn)練單模態(tài)塔和跨模態(tài)融合模塊之間建立起橋梁，以充分利用多層單模態(tài)特征？

架構(gòu)對比

因此，我們提出了BridgeTower架構(gòu)。與雙塔架構(gòu)不同，BridgeTower在跨模態(tài)融合模塊和單模態(tài)編碼器之間建立起了多座橋梁。二者的主要區(qū)別在于，雙塔結(jié)構(gòu)只融合最后一層的特征，而BridgeTower則逐漸融合單模態(tài)編碼器頂部的多層特征。

2. 模型架構(gòu)

模型架構(gòu)

這里我們展示了BridgeTower的詳細(xì)架構(gòu)圖。具體而言，我們采用12層的RoBERTa-base和12層的CLIP-ViT-B作為單模態(tài)編碼器?？缒B(tài)編碼器為6層，每一層都添加了BridgeLayer來與單模態(tài)編碼器的頂部6層建立連接。

這使得預(yù)訓(xùn)練單模態(tài)編碼器中的不同語義層次的視覺和文本表示，通過BridgeLayer與跨模態(tài)表示進行融合，從而促進了跨模態(tài)編碼器中，高效的，自下而上的跨模態(tài)對齊與融合。需要注意的是，BridgeTower架構(gòu)適用于不同的視覺、文本或跨模態(tài)編碼器。

3. 設(shè)計選擇

我們對BridgeTower的不同設(shè)計選擇進行了廣泛的實驗。

3.1 BridgeLayer的定義

bridge-layer

首先是BridgeLayer的定義，也就是單模態(tài)信息與跨模態(tài)信息如何在BridgeLayer中融合。

上表展示了不同定義的BridgeLayer的參數(shù)量和其在VQAv2和Flickr30K數(shù)據(jù)集上的性能。RSUM表示圖文檢索任務(wù)的召回度量之和。

表示前一層輸出的跨模態(tài)表示。

表示相應(yīng)的單模態(tài)表示。我們省略了每一行中使用的 。有些出乎意料但又合乎情理的是，第一行中的 使用最小的參數(shù)量得到了最好的結(jié)果。

3.2 Cross-Modal Layer的數(shù)量

cross-modal-layer

接著我們基于12層的文本和視覺編碼器，研究不同數(shù)量的跨模態(tài)層對性能的影響。

表示跨模態(tài)層的數(shù)量，并且BridgeTower使用Top-的單模態(tài)表示作為跨模態(tài)層的輸入。我們在兩個數(shù)據(jù)集上比較不同下，METER和BridgeTower的性能情況，我們發(fā)現(xiàn)更多的跨模態(tài)層并不能不斷提高性能。這可能是由于

更多的跨模態(tài)層需要更多的訓(xùn)練數(shù)據(jù)。

頂層的單模態(tài)表示有利于跨模態(tài)對齊和融合，而底層的單模態(tài)表示可能不利于，甚至是有害于跨模態(tài)表示的學(xué)習(xí)。雖然METER和BridgeTower之間唯一的區(qū)別是BridgeLayers，但BridgeTower在不同數(shù)量的跨模態(tài)層中始終獲得了一致的性能提升。

3.3 BridgeLayer的數(shù)量

internal-external

最后是BridgeLayer的數(shù)量，也就是在使用相同數(shù)量的跨模態(tài)層時，應(yīng)該加入多少個BridgeLayer。

為了充分比較BridgeTower和雙塔結(jié)構(gòu)的METER模型，我們試圖建立一個從BridgeTower到Two-Tower逐漸變化的情景。為了進行公平的比較，我們使用共計6個跨模態(tài)層，并將它們分為外部 (External) 跨模態(tài)層和內(nèi)部 (Internal) 跨模態(tài)層。二者的區(qū)別在于內(nèi)部跨模態(tài)層具有BridgeLayer，而外部跨模態(tài)層沒有。

第一行顯示了6個跨模態(tài)層均為內(nèi)部層的BridgeTower的結(jié)果。然后，我們逐漸增加外部層，減少內(nèi)部層。我們發(fā)現(xiàn)在兩個數(shù)據(jù)集上的性能都出現(xiàn)了穩(wěn)定的下降。

最后一行顯示了雙塔結(jié)構(gòu)的METER模型的性能。這表明BridgeTower通過BridgeLayers，將單模態(tài)編碼器的頂層與跨模態(tài)編碼器的每一層連接起來，可以顯著提高性能。

3.4 單模態(tài)編碼器

最后我們嘗試了不同的視覺和文本編碼器作為BridgeTower的預(yù)訓(xùn)練單模態(tài)編碼器，并直接對下游任務(wù)進行微調(diào)，以進一步研究BridgeLayers帶來的影響。我們發(fā)現(xiàn)，對于不同的預(yù)訓(xùn)練視覺和文本編碼器，BridgeTower的性能都持續(xù)且顯著地優(yōu)于METER的性能。

4. 實驗效果

我們基于公共圖文對數(shù)據(jù)集對BridgeTower進行預(yù)訓(xùn)練，如上表所示，大約共計400萬張獨立圖片，900萬對圖文對。我們使用通用的掩碼語言建模 (Masked Language Modeling, MLM) 和圖文匹配 (Image-Text Matching, ITM) 任務(wù)作為預(yù)訓(xùn)練任務(wù)。所有的預(yù)訓(xùn)練設(shè)置與預(yù)訓(xùn)練參數(shù)都與METER一致，以提供METER和BridgeTower之間的公平比較。

上圖展示了BridgeTower模型在視覺問答 (Visual Question Answering) 的VQAv2數(shù)據(jù)集上的Base和Large兩種Size的模型性能。在視覺-語言預(yù)訓(xùn)練中，我們的Base模型只使用了400萬張圖片進行預(yù)訓(xùn)練，就在VQAv2基準(zhǔn)上取得了令人印象深刻的表現(xiàn)。

而且，METER和BridgeTower使用相同的文本編碼器、視覺編碼器和跨模態(tài)融合機制。只需將METER模型的Two-Tower架構(gòu)改為BridgeTower架構(gòu)，在相同的預(yù)訓(xùn)練數(shù)據(jù)和幾乎可以忽略不計的額外參數(shù)和計算成本下，VQAv2數(shù)據(jù)集的Test-Standard性能就可以輕松提高1.09。BridgeTower的Large模型在VQAv2數(shù)據(jù)集上更是取得81.15的Test-Standard性能。

值得注意的是，BridgeTower超過了許多使用10倍甚至100倍的圖像進行VL預(yù)訓(xùn)練的Base模型與Large模型，擊敗了許多用更多數(shù)據(jù)和參數(shù)進行預(yù)訓(xùn)練的強大模型。

類似的趨勢也出現(xiàn)在視覺蘊含 (Visual Entailment) 和圖像-文本檢索 (Image-Text Retrieval) 任務(wù)中。特別是在Flickr30K數(shù)據(jù)集上，BridgeTower的Base模型帶來了5.9點收益。

5. 可視化結(jié)果

為了進一步研究性能提高的原因，我們通過分析每個跨模態(tài)層中，不同注意力頭的注意力權(quán)重分布之間的KL散度，來比較雙塔架構(gòu)的METER模型和我們的BridgeTower架構(gòu)。

KL散度可以被看作是注意力頭的多樣性。較高或較低的KL散度表示不同的注意力頭之間，關(guān)注的token更加不同或更加相似。

圖中的小點代表不同注意力頭的注意力分布間的KL散度，大點表示同層KL散度的均值。上圖對比了METER和BridgeTower模型的跨模態(tài)編碼器中，視覺/文本部分的自我/交叉注意力層之間的區(qū)別。

上圖展示了兩個模型的跨模態(tài)編碼器的視覺和文本部分的自注意力以及交叉注意力的注意力頭的多樣性。圖中存在兩個明顯的趨勢：

對于BridgeTower來說，注意力頭的多樣性隨著層的深入而逐漸變小，但對于METER來說，注意力頭的多樣性隨著層的深入而逐漸變大，然后變小。

BridgeTower每層的注意力頭的多樣性明顯大于METER，尤其是第1層至第5層。

因此，對于跨模態(tài)編碼器的視覺和文本部分的自注意力以及交叉注意力的不同注意力頭，與METER相比，BridgeTower能夠關(guān)注到更多不同的標(biāo)記 (token)。

我們將此歸功于我們提出的BridgeLayers，它將單模態(tài)編碼器的頂層與跨模態(tài)編碼器的每一層連接起來。不同語義層次的視覺和文本表示通過BridgeLayer與跨模態(tài)表示進行融合，從而促進了跨模態(tài)編碼器每一層的更有效和更豐富的跨模態(tài)對齊和融合。

6. 結(jié)論

在本文中，我們提出了BridgeTower，它引入了多個BridgeLayer，在單模態(tài)編碼器的頂層和跨模態(tài)編碼器的每一層之間建立連接。這使得預(yù)訓(xùn)練單模態(tài)編碼器中的不同語義層次的視覺和文本表示，通過BridgeLayer與跨模態(tài)表示進行融合，從而促進了跨模態(tài)編碼器中，高效的，自下而上的跨模態(tài)對齊與融合。

僅使用400萬張圖像進行視覺語言預(yù)訓(xùn)練，BridgeTower在各種下游的視覺-語言任務(wù)中取得了非常強大的性能。特別是在VQAv2數(shù)據(jù)集上，BridgeTower達(dá)到了78.73%的準(zhǔn)確率，在相同的預(yù)訓(xùn)練數(shù)據(jù)和幾乎可以忽略不計的額外參數(shù)和計算成本下，比Two-Tower架構(gòu)的METER模型高出了1.09%的準(zhǔn)確率。值得注意的是，當(dāng)進一步擴展該模型時，BridgeTower達(dá)到了81.15%的準(zhǔn)確率，甚至超過了一些在更大數(shù)量級的數(shù)據(jù)集上使用更多參數(shù)進行預(yù)訓(xùn)練的強大模型。

審核編輯：劉清