ICCV結(jié)束了。對(duì)我來(lái)說(shuō)，這次的highlight就是第一天下午的"Quo vadis, computer vision“ workshop?！癚uo vadis"是拉丁語(yǔ)，意思是“我們?nèi)ハ蚝畏健啊?/p>

四年前的CVPR，也有過(guò)一場(chǎng)類(lèi)似的workshop（Computer Vision After 5 Years)，今年這次workshop，主辦方也讓四年前也在的大佬們回顧了自己當(dāng)年的predictions，看看誰(shuí)是大預(yù)言家（spoiler: Jitendra Malik）。這場(chǎng) workshop是我這幾年來(lái)參加的各種會(huì)議里最有意思的?？上б?yàn)槁?tīng)的太投入，并沒(méi)有很多的圖片記錄，現(xiàn)在我意識(shí)到似乎主辦方并不會(huì)上傳slides。所以這篇文章里我就簡(jiǎn)單談?wù)勎易约旱囊恍└邢?，而不是記錄這個(gè)會(huì)議。

Ignorance or faith on LLM?

今年最火的莫過(guò)于LLM。LLM的成功刺激了很多相關(guān)的vision research。然而許多的vision-language的研究其實(shí)都是基于一種對(duì)LLM的faith，而并沒(méi)有在深入思考這一切的合理性。David Forsyth問(wèn)道：why would anyone believe that:

Visual knowledge is the same as linguistic knowledge

You can describe the world of an image properly in words

LLMs can do vision (anything)? if you ask nicely.

深入來(lái)看，這其實(shí)是一個(gè)關(guān)于vision和language區(qū)別的問(wèn)題。但其實(shí)在我看來(lái)這些問(wèn)題都很奇怪，可能因?yàn)槲易约阂灿X(jué)得這些想法都很absurd。對(duì)我來(lái)說(shuō)，更有意思的問(wèn)題可能是：vision systems的什么knowledge是LLM做不了的，我們又該怎么做？在這里提一個(gè)idea，不知道未來(lái)有沒(méi)有機(jī)會(huì)去好好做：我們有沒(méi)有可能對(duì)稠密的vision空間進(jìn)行一個(gè)approximate decomposition，分解成幾個(gè)子空間的積？（其中一個(gè)子空間就可以是離散的language空間）

Data over algorithms

這個(gè)主題是我非常認(rèn)同的。四年前，我寫(xiě)過(guò)一篇文章（Andre：思考無(wú)標(biāo)注數(shù)據(jù)的可用極限），提出的也是我們要重視數(shù)據(jù)的研究，而不是算法的研究。今天依然適用。Alyosha Efros這次也再次強(qiáng)調(diào)了這個(gè)方向的本質(zhì)性。

需要解釋的是，什么是"data research"。并不是說(shuō)直接去做數(shù)據(jù)集才是data research，而是說(shuō)從data層面開(kāi)始思考模型的有效性，learning process，generalization ability，等等。從這個(gè)角度講，從data中學(xué)習(xí)知識(shí) (self-supervised learning)是data research，研究如何克服data shift的影響（OOD, open-world）當(dāng)然也是data research，這里不再贅述了。

Video與視覺(jué)大模型

這個(gè)主題是今年開(kāi)始進(jìn)入我的視野的。年初隨著stable diffusion, segment anything model的出現(xiàn)，我們不少人開(kāi)始思考視覺(jué)大模型該是什么形態(tài)，我與組里不少同學(xué)聊天后的感受就是要做video。在五月份的ICLR時(shí)，我與Ben Poole還有3DGP的作者也交流了不少（順帶表示ICLR的參會(huì)體驗(yàn)比ICCV好太多了），感受就是現(xiàn)在3D問(wèn)題大概就是兩個(gè)思路：1. 希望隨著depth camera的引入，會(huì)有更多海量的3D data，直接訓(xùn)出3D大模型；2. 希望video大模型直接繞開(kāi)explicit 3D modeling的需求，建成vision大模型。這次ICCV另一個(gè)MMFM上，Vincent Sitzman也提出了一個(gè)類(lèi)似的思路，但是他直接把video和3d modeling結(jié)合了起來(lái)（然而我并沒(méi)有特別跟上他講的東西，希望之后talk能有slides讓我再學(xué)習(xí)學(xué)習(xí)）。

講了上面這么多，我就是想說(shuō)video很可能是我們走向視覺(jué)大模型的路。這次quo vadis workshop上，Jitendra的分享主要也是指出video的重要性。他指出：video有兩個(gè)用處：

Exteroception：建立對(duì)外部世界的認(rèn)識(shí)。We build mental models of behavior (physical, social ...) and use them to interpret, predict, and control

Proprioception：建立對(duì)自己的認(rèn)識(shí)。Helps produce an episodic memory situated in space and time, and guides action in a context-specific way。

他還給出了一個(gè)對(duì)video的思考框架，短video對(duì)應(yīng)了movement/physical action，長(zhǎng)video對(duì)應(yīng)了goal/intention，而一個(gè)完整的action就是movement + goal。

當(dāng)然，這些都是比較高屋建瓴的觀點(diǎn)了。但對(duì)于我們這些正在地上爬的人當(dāng)然還是有好處的。（另外，Jitendra還認(rèn)為token-based LLM可能不是最終的模型，因?yàn)樗荒芎芎玫豤apture 4D world，同時(shí)complexity也太高）。

Embodied AI?

最后，可能大家從上面一段論述中也已經(jīng)能感覺(jué)出來(lái)了，許多大佬們正把embodied AI作為一個(gè)最終的目標(biāo)。Antonio Torralba給了一個(gè)很有意思的talk，說(shuō)我們是時(shí)候要返璞歸真，從focus on performance on benchmarks回到"the original goal"。對(duì)他來(lái)說(shuō)，這個(gè)goal就是embodied AI。有意思的是， Antonio提出的設(shè)想是 small network, big sensing，他稱(chēng)作embodied perception。他舉了個(gè)例子：人光光味蕾上的傳感器就比我們現(xiàn)在最先進(jìn)的機(jī)器人身上全部的傳感器要多。然而就在第二天的BRAVO workshop上，Wayve的Jamie Shotton給出了完全相反的框架：lightweight sensors + big model?？紤]到傳感器的價(jià)格，Jamie的想法可能現(xiàn)在這個(gè)時(shí)候是更合適的。不過(guò)也許最終Antonio的想法才最make sense。

Antonio的小模型，大感知

Jamie的大模型，小感知

閑話(huà)就說(shuō)到這里了。這次ICCV還是有不少有意思的talks，希望之后能有公開(kāi)的videos/slides。最后，祝愿各位同仁們都能繼續(xù)做自己感興趣的方向，做出令自己滿(mǎn)意的工作！