引言

基礎模型 (Foundation model) 指的是在大量數(shù)據(jù)上訓練出來的、可以適應一系列下游任務的模型[1]，它被看作是邁向通用人工智能的重要一步。近些年來，隨著CLIP的橫空出世，視覺-文本預訓練 (Vision-Language Pretraining) 及其在各類任務的遷移學習成為了備受關注的研究方向，并被認為是建立視覺基礎模型的一個頗具前景的方向。

根據(jù)輸入數(shù)據(jù)和目標下游任務的不同，現(xiàn)有的VLP方法可以大致分為兩類：圖像-文本預訓練和視頻-文本預訓練。前者從圖像-文本對中學習視覺和語言表征的聯(lián)合分布，后者則從視頻-文本對中建立視頻幀和文本之間的語義關聯(lián)。然而，當前尚無工作探索將二者統(tǒng)一起來，這篇文章認為這主要因為現(xiàn)有的訓練方式無法發(fā)揮圖像-文本預訓練和視頻-文本預訓練之間的互補性，但單純地實現(xiàn)統(tǒng)一而在兩類下游任務上折損性能將是沒有意義的。盡管困難重重，對于基礎模型的追求使得這一問題依舊難以回避。

這促使這篇工作思考并最終提出了一個真正統(tǒng)一的視覺-語言基礎模型OmniVL以同時支持圖像-文本和視頻-文本的預訓練以及相應的下游任務，包括視覺任務（如圖像分類、視頻動作識別）、跨模態(tài)對齊任務（如圖像/視頻-文本檢索）以及多模態(tài)理解和生成任務（如圖像/視頻問答、字幕自動生成等）。OmniVL第一次探索出了圖像和視頻任務雙向互助的訓練范式，而不是以往的單一方向，即用圖像（圖像-語言）來幫助視頻（視頻-語言）。

方法

OmniVL實現(xiàn)了模態(tài)、功能和訓練數(shù)據(jù)三個維度的統(tǒng)一，本篇對方法的介紹也將圍繞著三個統(tǒng)一進行展開。

統(tǒng)一的模態(tài).OmniVL采用了一個統(tǒng)一的基于Transformer的視覺編碼器來提取視覺表征，其中視頻與圖像輸入共享大部分網(wǎng)絡結(jié)構(gòu)，對于視頻而言，OmniVL采用了3D patching embedding和時間注意力塊[4]。此外，OmniVL額外利用一個文本編碼器來提取語言表征。

統(tǒng)一的功能.OmniVL采用了編碼器-解碼器的結(jié)構(gòu)，并具有兩個視覺引導的解碼器：跨模態(tài)對齊解碼器和文本生成解碼器，前者通過視覺-文本匹配（的二分類）損失進行監(jiān)督以學習視覺和文本模態(tài)之間的對齊，后者則通過語言建模（的生成式回歸）損失進行監(jiān)督以學習從視覺特征中生成文本的能力。這兩個解碼器與上述的兩個編碼器相互配合，賦予了OmniVL“理解“和“生成”的能力。

統(tǒng)一的數(shù)據(jù).受到Florence[5]中使用的統(tǒng)一對比學習[6]的啟發(fā)，OmniVL統(tǒng)一了圖像-文本和圖像-標簽數(shù)據(jù)作為預訓練語料庫、并將其進一步擴展到視頻-文本和視頻-標簽數(shù)據(jù)上。這基于兩個方面的考慮：1）利用盡可能多的有監(jiān)督（或無監(jiān)督）的數(shù)據(jù)來豐富語料庫；2）人工標注的視覺-標簽數(shù)據(jù)（如ImageNet和Kinetics-400）可以幫助模型學習出更具辨別性的表征，這有助于分類相關的遷移學習任務，而從網(wǎng)絡爬取的視覺-語言數(shù)據(jù) (如CC12M和WebVid) 涵蓋更廣泛的視覺概念，這有助于跨模態(tài)任務。這種簡單的擴展可以幫助OmniVL同時享有兩種優(yōu)勢。

最后回到了上面提到的最重要的問題：如何實現(xiàn)圖像-文本和視頻-文本學習的相互促進。前文提到，現(xiàn)有工作往往只是單獨利用圖像-文本或者視頻-文本進行預訓練（如下圖2-3行），因此在另一類任務上的表現(xiàn)往往差強人意（多數(shù)情況被直接忽略）。尤其是如果只在視頻-文本上預訓練的話，受限于有限的數(shù)據(jù)規(guī)模、以及視頻數(shù)據(jù)本身的復雜性，在對應的視頻任務上表現(xiàn)也很糟糕。為了解決這一問題，一些工作如FiT[7]提出了將圖像看作單幀視頻、從而利用其和視頻數(shù)據(jù)進行聯(lián)合訓練（如下圖第4行），這一做法相較單純地利用視頻數(shù)據(jù)有顯著提升，但是直接從零學習圖像和視頻的表征以及跨模態(tài)的對齊顯然頗具挑戰(zhàn)性，這為網(wǎng)絡的學習和收斂增加了困難。Pretrain-then-finetuning是視覺領域一個常用的做法，它指的是首先在標準的圖像數(shù)據(jù)集上訓練骨干網(wǎng)絡如ResNet，然后將其在下游任務包括視頻動作識別上進行微調(diào)，這一方法在各類任務上都取得了顯著的成功。借鑒于此，一種簡單的做法是首先在圖像-文本上進行第一階段的預訓練、然后在視頻-文本上進行第二階段的預訓練（如下圖第5行）。這一做法是很有競爭力的一個baseline，但是在一方面在圖像任務上的性能有所下降、另一方面在視頻任務上的表現(xiàn)還不夠驚艷。

為了更加充分地利用圖像-文本和視頻-文本數(shù)據(jù)的互補性、進一步提升在不同下游任務上的表現(xiàn)，OmniVL提出了一個解藕的聯(lián)合訓練方式，即首先在圖像-文本上進行預訓練、然后結(jié)合視頻-文本進行聯(lián)合預訓練（如上圖第6行），這不僅可以防止對圖像表征的遺忘、甚至可以在二者對應的任務上繼續(xù)提高性能。這篇工作認為這是由于第一階段網(wǎng)絡可以專注在學習空間表征和其與文本模態(tài)的對齊上、第二階段則可以增益性地學習運動表征和跨模態(tài)的關系建模，這不僅使學習從空間維度到時間維度更加高效，而且還能使不同源的數(shù)據(jù)之間形成互補。

實驗

視覺任務

文章首先采用經(jīng)典的圖像分類 (linear probing) 和視頻動作識別任務 (finetuning) 作為基準評估了視覺編碼器在視覺任務上的表現(xiàn)。

遵從CLIP的實現(xiàn)，OmniVL凍結(jié)了視覺編碼器的參數(shù)并對新附加的線性層進行微調(diào)。在6個圖像分類數(shù)據(jù)集上，OmniVL相比于大多數(shù)baseline取得了一致更好的結(jié)果。與CLIP和FLAVA (70M) 相比，雖然使用明顯更少預訓練數(shù)據(jù)，OmniVL仍然取得了總體上有競爭力的結(jié)果。

對于視頻動作識別，文章在兩個規(guī)模較小的數(shù)據(jù)集UCF101和HMDB51上評估了linear probing的結(jié)果，并在兩個規(guī)模較大的數(shù)據(jù)集Kinetics-400和Something-something V2上評估了微調(diào)的結(jié)果，實驗表明OmniVL都顯著地超越了baseline。

跨模態(tài)對齊任務

接下來文章探究了OmniVL在圖像-文本檢索和文本到視頻檢索任務上的表現(xiàn)。值得一提的是，為了平衡推理效率和多模態(tài)信息的深度融合，OmniVL首先根據(jù)單模態(tài)編碼器得到視覺和文本embedding的相似度得分選擇Top-K（默認為K=128）候選者，然后利用跨模態(tài)對齊解碼器計算其成對的匹配得分對候選者重新排序，這種雙階段匹配的方式進一步體現(xiàn)了該架構(gòu)的優(yōu)越性。

從上圖可以看出，無論是在圖像-文本檢索還是文本到視頻檢索上，OmniVL都在不同數(shù)據(jù)集上取得了目前最佳的性能。尤其是在文本到視頻檢索任務上，得益于所提出的解藕聯(lián)合預訓練方法，OmniVL顯著地超越了現(xiàn)有方法。

多模態(tài)理解和生成任務

以視覺為基礎的跨模態(tài)對齊解碼器和文本生成解碼器使OmniVL具備了多模態(tài)理解和生成的能力，在這一部分中，文章評估了它在字幕生成和圖像/視頻問題回答上的表現(xiàn)。

在這類任務上，OmniVL同樣取得了最好的結(jié)果。

總結(jié)和未來工作

這篇工作提出了OmniVL，一個全新的視覺-語言基礎模型，它將圖像-語言和視頻-語言統(tǒng)一起來，并同時支持視覺任務、跨模態(tài)對齊任務以及多模態(tài)的理解和生成任務。OmniVL采用了統(tǒng)一的視覺-語言對比損失，這讓其能夠同時利用圖像-文本、圖像-標簽、視頻-文本和視頻-標簽數(shù)據(jù)進行預訓練。另外，文章中提出了一個解耦地聯(lián)合訓練范式，將視覺-語言建模解耦為空間和時間兩個維度，從而同時提高了在圖像和視頻任務的性能。

在這篇工作僅僅在CC12M和WebVid-2.5M這類相對小規(guī)模的數(shù)據(jù)上進行預訓練，隨著LAION、WebVid-10M的問世，可以在更大規(guī)模的數(shù)據(jù)上訓練更大的模型，以探索具有更強零樣本、小樣本能力的模型。另外一個值得探索的方向是結(jié)合更豐富的有標簽數(shù)據(jù)和更優(yōu)的監(jiān)督目標，使得模型可以支持細粒度的任務如物體檢測、追蹤等，從而朝著通用的統(tǒng)一模型更上一層臺階。

審核編輯 ：李倩