4月2日，微軟亞洲研究院創(chuàng)研論壇CVPR2019論文分享會(huì)在清華大學(xué)圓滿落幕。20余位論文作者在分享會(huì)現(xiàn)場(chǎng)進(jìn)行了報(bào)告宣講，30多篇論文進(jìn)行了海報(bào)展示與交流，還有一場(chǎng)精彩的圓桌論壇，就計(jì)算機(jī)視覺領(lǐng)域值得關(guān)注的前沿問題、發(fā)展方向、人才培養(yǎng)等熱點(diǎn)話題進(jìn)行了討論。

這是微軟亞洲研究院主辦的第三屆CVPR分享會(huì)，除了容納300人的羅姆樓報(bào)告廳會(huì)場(chǎng)座無虛席，還有數(shù)千人通過網(wǎng)絡(luò)觀看了本場(chǎng)分享會(huì)的在線直播。如果你錯(cuò)過了這場(chǎng)干貨滿滿的分享會(huì)，歡迎掃描二維碼觀看錄播視頻并下載PPT。

論壇主持人

劉家瑛，北京大學(xué)副教授

論壇嘉賓

赫然，中科院自動(dòng)化所研究員，研究方向?yàn)橛?jì)算機(jī)視覺、模式識(shí)別理論、信息理論學(xué)習(xí)等，在相關(guān)國際期刊和會(huì)議上發(fā)表論文140篇，研究工作獲得國家優(yōu)秀青年科學(xué)基金和北京市杰出青年科學(xué)基金資助。

梁小丹，中山大學(xué)副教授，研究方向?yàn)?a href="http://m.makelele.cn/v/tag/557/" target="_blank">機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、智慧醫(yī)療等，已有60多篇頂級(jí)論文發(fā)表，獲2018年CCF優(yōu)秀博士論文。

劉偲，北京航空航天大學(xué)副教授，研究方向?yàn)橛?jì)算機(jī)識(shí)別、多媒體分析、深度學(xué)習(xí)在圖像視頻中的應(yīng)用，已發(fā)表30余篇CCFA類論文，獲ACMSIGAIChina新星獎(jiǎng)、吳文俊人工智能優(yōu)秀青年獎(jiǎng)。

馬惠敏，清華大學(xué)副教授，中國圖像圖形學(xué)會(huì)副理事長兼秘書長，研究方向?yàn)槿S圖象認(rèn)知、復(fù)雜環(huán)境圖像目標(biāo)檢測(cè)等，已在相關(guān)國際會(huì)議和期刊上發(fā)表80余篇論文，獲2016年吳文俊人工智能科學(xué)技術(shù)創(chuàng)新一等獎(jiǎng)、2017年日內(nèi)瓦國際發(fā)明銀獎(jiǎng)、教育技術(shù)發(fā)明二等獎(jiǎng)。

童欣，微軟亞洲研究院首席研究員，研究方向?yàn)橛?jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺，已在計(jì)算機(jī)圖形學(xué)相關(guān)的頂級(jí)會(huì)議SIGGRAPH和期刊ACMTOG上發(fā)表50多篇論文，2018年獲得ChinaGraph貢獻(xiàn)獎(jiǎng)。

朱軍，清華大學(xué)教授，研究方向?yàn)闄C(jī)器學(xué)習(xí)基礎(chǔ)理論以及高效算法等，已在相關(guān)國際會(huì)議和期刊上發(fā)表100余篇論文。

從左至右：劉家瑛、梁小丹、赫然、劉偲、朱軍、馬惠敏、童欣

CVPR 2019分享會(huì)論壇實(shí)錄

主持人：首先想請(qǐng)各位老師分享一下最近在研究什么，在關(guān)注計(jì)算機(jī)視覺或交叉方向的哪些前沿問題？

梁小丹：我的研究方向偏深度推理，我認(rèn)為接下來的人工智能（包括計(jì)算機(jī)視覺）要走向認(rèn)知推理，結(jié)合人類的常識(shí)和Life-longLearning特征去做更高層的分析，比如人機(jī)交互對(duì)話、視覺關(guān)系圖推理等。

赫然：我最近在研究概率深度學(xué)習(xí)基礎(chǔ)理論和應(yīng)用方法，主要應(yīng)用于高維圖像生成，比如生成高分辨人臉和自然場(chǎng)景圖像；力圖賦予機(jī)器一些創(chuàng)造能力，使機(jī)器像人類一樣能夠創(chuàng)造出一些有意思的結(jié)果。

劉偲：大家知道前段時(shí)間深度學(xué)習(xí)的“三駕馬車”獲得了圖靈獎(jiǎng)，圖像中的感知已經(jīng)取得了很大的進(jìn)展，我也非常認(rèn)同小丹的觀點(diǎn)，我們下一步應(yīng)該向圖像推理和認(rèn)知方向努力。所以我正在從事圖像中視覺關(guān)系的理解、分析方面的研究。

朱軍：我主要做機(jī)器學(xué)習(xí)，最近也在關(guān)注計(jì)算機(jī)視覺方面的研究。在機(jī)器學(xué)習(xí)方面，我們?cè)谧鲐惾~斯深度學(xué)習(xí)、概率編程庫，以及一些和決策相關(guān)的工作。和計(jì)算機(jī)視覺緊密相關(guān)的工作是深度學(xué)習(xí)的對(duì)抗攻擊與防御。

馬惠敏：我主要的研究方向是圖像認(rèn)知心理學(xué)和機(jī)器學(xué)習(xí)結(jié)合的交叉研究，通過研究人的視覺行為來推動(dòng)human-likelearning，同時(shí)也在做視覺、聽覺、語言結(jié)合在一起的任務(wù)驅(qū)動(dòng)的問題，主要應(yīng)用于自主視覺感知領(lǐng)域。我也希望有更多不同學(xué)科的學(xué)者和同學(xué)們一起來讓計(jì)算機(jī)視覺更加接近于人類的水平。

童欣：我的主要方向是圖形學(xué)，我們現(xiàn)在的研究集中在三維內(nèi)容生成和三維內(nèi)容分析上，包括三維內(nèi)容的物體、場(chǎng)景以及人臉、頭發(fā)等與人有關(guān)的方面的建模與分析理解。

主持人：現(xiàn)在的計(jì)算機(jī)視覺研究大多基于數(shù)據(jù)集，以致于有人戲稱“DatasetCV”，這究竟是一個(gè)好的出發(fā)點(diǎn)，還是使我們的研究和視野都局限在了數(shù)據(jù)集的范疇內(nèi)呢？

梁小丹：雖然我做了很多數(shù)據(jù)集，但我覺得依賴數(shù)據(jù)集不是一條“正途”，因?yàn)樗鼤?huì)限制我們對(duì)算法的想象，大家就不會(huì)花更多精力去思考人類為什么可以終身學(xué)習(xí)、可以從小樣本推斷大樣本這些真正的智能。大量數(shù)據(jù)對(duì)工業(yè)界來說是好事，但在學(xué)術(shù)界是對(duì)創(chuàng)新力的極大限制，所以我希望大家不再刷數(shù)據(jù)集，可以通過比如對(duì)物理世界的仿真、自主挖掘信息等方式做更好的研究。

赫然：實(shí)際上數(shù)據(jù)還是非常關(guān)鍵的，因?yàn)闄C(jī)器學(xué)習(xí)肯定要從具體的數(shù)據(jù)中學(xué)習(xí)?，F(xiàn)在主流的、有影響力的數(shù)據(jù)集大多是國外建立的，因此建立能推動(dòng)領(lǐng)域向前發(fā)展的、具有國際影響力的數(shù)據(jù)集是非常重要的一個(gè)方面。當(dāng)然我們也更希望能從dataset到insight，朱軍老師的貝葉斯深度學(xué)習(xí)可能會(huì)提供更好的解決方案，讓我們從數(shù)據(jù)中解放出來，獲得一個(gè)抽象的學(xué)習(xí)范式。

劉偲：我們今年在ICCV投了一個(gè)workshop，提出了一個(gè)新的問題，就是基于結(jié)構(gòu)化的搜索，用Scenegraph幫助做圖像重建。那么提出新問題的時(shí)候，我們肯定要搭配一套數(shù)據(jù)集，才能推動(dòng)這個(gè)領(lǐng)域的發(fā)展。另外，我們和產(chǎn)業(yè)界合作了一個(gè)Human-objectInteraction（HOI）數(shù)據(jù)集，我們不想和傳統(tǒng)的HOI數(shù)據(jù)集一樣類別很多，我們專注于很少的類，但應(yīng)用范圍非常廣，以此來縮小學(xué)術(shù)界和工業(yè)應(yīng)用的距離。

朱軍：我補(bǔ)充一點(diǎn)，在機(jī)器學(xué)習(xí)領(lǐng)域，大家在2012年對(duì)數(shù)據(jù)集有一個(gè)討論。數(shù)據(jù)集本身是沒錯(cuò)的，問題在于大家在做數(shù)據(jù)集的時(shí)候把背后的意義、問題本身的難度忘掉了，所以我覺得這個(gè)是大家要記住的。

主持人：前段時(shí)間，圖靈獎(jiǎng)終于頒給了三位深度學(xué)習(xí)的開山之祖，知乎馬上有帖子說，往往圖靈獎(jiǎng)?lì)C給哪個(gè)領(lǐng)域，哪個(gè)領(lǐng)域就開始走向寒冬。那么在座很多同學(xué)都很關(guān)心，是不是等大家畢業(yè)的時(shí)候，這個(gè)方向就不火了？今年我們也確實(shí)看到產(chǎn)業(yè)界一些AI方向在轉(zhuǎn)冷，此前也有人質(zhì)疑AI的火熱是不是一個(gè)泡沫。學(xué)界和產(chǎn)業(yè)界的各位老師怎么看待呢？

朱軍：我覺得技術(shù)發(fā)展有起伏是好事，從技術(shù)本身來看，其實(shí)大家已經(jīng)發(fā)現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)能解決一些問題，也有很多問題不能很好解決。大家如果記得，10年、11年的圖靈獎(jiǎng)都和統(tǒng)計(jì)學(xué)習(xí)有關(guān)，后來它的光芒被深度神經(jīng)網(wǎng)絡(luò)掩蓋了很多。但是現(xiàn)在看來，貝葉斯方法也有優(yōu)勢(shì)，比如在小樣本學(xué)習(xí)、不確定性推理等方面，同時(shí)，將兩者融合的貝葉斯深度學(xué)習(xí)受到越來越多的關(guān)注。我覺得“寒冬”和“回歸”都是很正常的，因?yàn)榇蠹已芯康揭欢A段的時(shí)候，會(huì)發(fā)現(xiàn)技術(shù)的瓶頸，去探索其它的路徑，我覺得應(yīng)該積極地看待這個(gè)問題。

馬惠敏：我有兩點(diǎn)想說。第一，我們視覺領(lǐng)域的老祖宗馬爾，同時(shí)是計(jì)算機(jī)和心理系的教授，包括我們這次圖靈獎(jiǎng)的三位獲得者，他們?cè)谏窠?jīng)科學(xué)領(lǐng)域有著很深的理解和造詣，所以這一方向其實(shí)是一直在上升的，怎么把人類學(xué)習(xí)方式與計(jì)算機(jī)視覺結(jié)合，一定是一個(gè)新的爆發(fā)點(diǎn)。第二，大家是不是覺得傅里葉變換、小波、BP這些方法過了很多年就沒有用了呢？實(shí)際上這些方法包括深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)都是非常有效的研究工具。我覺得不存在冷的問題，降溫是因?yàn)楫a(chǎn)業(yè)界對(duì)人工智能的期待過高，作為科學(xué)家和學(xué)者，我們要做的是腳踏實(shí)地。

童欣：我非常贊同馬老師和朱老師的觀點(diǎn)，我覺得寒冬是好事，這一屆圖靈獎(jiǎng)得主就是在寒冬中堅(jiān)持下來了。所以一旦寒冬了，說明下一個(gè)圖靈獎(jiǎng)，大家就有希望了。大家應(yīng)該繼續(xù)努力，堅(jiān)持過寒冬，你們就勝利了。

主持人：謝謝，我的下一個(gè)問題是，很多人都開始轉(zhuǎn)向計(jì)算機(jī)視覺，或者做交叉研究，我們可以看到CVPR的投稿數(shù)量飛漲。那么大家為什么來做CV，怎么看待所謂的“全民計(jì)算機(jī)視覺”以及不同領(lǐng)域的交叉？

童欣：我做CV其實(shí)原因很簡單，因?yàn)槲易龅倪@些題目和方向正好適合投CV。但是我覺得無論冷或者熱，各個(gè)領(lǐng)域都是機(jī)會(huì)均等的。如果一個(gè)領(lǐng)域很熱，關(guān)注多，但是進(jìn)來的人很多，你想做出好的、出類拔萃的工作會(huì)很難，如果一個(gè)領(lǐng)域人很少，收到的關(guān)注會(huì)少，但是可能有機(jī)會(huì)十年磨一劍，最后大家機(jī)會(huì)均等。真正會(huì)被記住的是那些經(jīng)得起時(shí)間考驗(yàn)的工作。

朱軍：我做CV主要是因?yàn)樽罱谘芯可疃葘W(xué)習(xí)的對(duì)抗樣本攻擊和防御，單從數(shù)據(jù)上說，圖像是一種連續(xù)的信號(hào)，從優(yōu)化的角度來說更好做，應(yīng)用也很廣泛。當(dāng)然，我們也做了離散數(shù)據(jù)（如圖、文本）的對(duì)抗樣本，相對(duì)來說優(yōu)化更困難一些。

現(xiàn)場(chǎng)觀眾提問一：我想問朱軍老師，我們現(xiàn)在對(duì)抗樣本的攻防會(huì)陷入一種模式，比如一個(gè)人提出一種攻擊方法，另一個(gè)人接著他的攻擊方法又提了一種防御方法，針對(duì)這個(gè)防御又出現(xiàn)二次攻擊方法，出現(xiàn)類似軍備競(jìng)賽的一種攻防模式，請(qǐng)問朱軍老師對(duì)這種發(fā)展趨勢(shì)有什么看法？

朱軍：做安全總是存在這種情況，因?yàn)榉烙岣吡?，攻擊也?huì)有相應(yīng)的辦法去破解，但之所以存在這個(gè)問題，根本原因是對(duì)模型的理解不夠深入，不知道真正的局限在哪里。最近大家從學(xué)習(xí)方法或者學(xué)習(xí)理論上也在探索，對(duì)一些簡單的模型，在數(shù)據(jù)分布比較清楚的情況下，可以有辦法去證明一種方法，但對(duì)于復(fù)雜的神經(jīng)網(wǎng)絡(luò)我們還知之甚少。所以我覺得做對(duì)抗樣本攻防最主要的意義在于加深對(duì)模型的理解，使得將來能夠設(shè)計(jì)出更好的模型。

現(xiàn)場(chǎng)觀眾提問二：梁小丹老師，您剛剛提到常識(shí)、認(rèn)知和推理，您最近在做哪些相關(guān)的工作？

梁小丹：我覺得計(jì)算機(jī)視覺大部分問題是關(guān)于感知的問題，我希望可以把推理能力加入人工智能系統(tǒng)，所以我最近主要在做對(duì)話系統(tǒng)，把人類的一些常識(shí)和推理加入對(duì)話。

我覺得推理有兩種策略，一種是把維基百科這樣的結(jié)構(gòu)化知識(shí)轉(zhuǎn)換成圖結(jié)構(gòu)數(shù)據(jù)顯式地加入模型，另一種是演繹學(xué)習(xí)。我們沒法做機(jī)器推理的原因是沒有把一些潛在的邏輯學(xué)習(xí)出來，如果我們可以在推理過程中顯式地把一些解釋邏輯、規(guī)則學(xué)習(xí)出來，就可以讓一個(gè)深度學(xué)習(xí)模型有更廣泛的適應(yīng)性。

現(xiàn)場(chǎng)觀眾提問三：我想問童欣老師，現(xiàn)在的三維物體生成模型大都基于ModelNet、ShapeNet這樣基礎(chǔ)的三維模型數(shù)據(jù)庫，您覺得在三維生成領(lǐng)域有沒有什么新的topic，或者跟圖形學(xué)結(jié)合有什么新的問題？

童欣：剛剛大家也講到大數(shù)據(jù)，有大數(shù)據(jù)是非常幸福的事情，因?yàn)橄駝倓傔@位同學(xué)講到，三維生成的問題就是數(shù)據(jù)太少了。三維生成本來就是為了生成數(shù)據(jù)，但用深度學(xué)習(xí)又需要大量三維數(shù)據(jù)，這是一個(gè)雞和蛋的問題。也因?yàn)槿绱?，我個(gè)人覺得三維數(shù)據(jù)生成里有很多挑戰(zhàn)，或者說處處都是機(jī)遇，特別是關(guān)于三維空間中，形體如何有效表達(dá)，它的特征空間應(yīng)該是什么樣？還有如何快速構(gòu)建一個(gè)大型的三維數(shù)據(jù)庫，如何把三維機(jī)器學(xué)習(xí)、三維分析和已有的數(shù)據(jù)捕捉或者造型結(jié)合起來，我覺得這些都是很好的研究題目。同時(shí)我也非常歡迎做計(jì)算機(jī)視覺的同學(xué)，如果有興趣可以來看一看三維相關(guān)的很多東西，因?yàn)樵趥鹘y(tǒng)視覺中三維重建是很重要的研究內(nèi)容，我相信有很多topic值得大家研究。

現(xiàn)場(chǎng)觀眾提問四：很多人都說三維視覺會(huì)成為AI的一片藍(lán)海，我想問童欣老師，您認(rèn)為在三年到五年之內(nèi)，三維視覺里哪些技術(shù)有可能成熟或者落地？

童欣：三維視覺技術(shù)會(huì)是AR中的關(guān)鍵技術(shù)，同時(shí)對(duì)機(jī)器人和無人車等三維環(huán)境中自動(dòng)導(dǎo)航等都會(huì)有非常重要的應(yīng)用。另一方面，三維視覺和深度學(xué)習(xí)技術(shù)也會(huì)給三維內(nèi)容創(chuàng)作帶來很多新的東西。

馬惠敏：雖然離成熟還有距離，但現(xiàn)在自動(dòng)駕駛領(lǐng)域的應(yīng)用已經(jīng)可以說“被”成熟了，這些跟我們生活連接最緊密的領(lǐng)域，往往是催生應(yīng)用落地的點(diǎn)，無論是機(jī)器人、自動(dòng)駕駛，還是醫(yī)療等，都有不少的成果出現(xiàn)，但要注意，這些成果都是有限條件下的成果，如果想達(dá)到具有普遍意義的成果，還有很多路要走。

主持人：最后一個(gè)問題，我前兩周參加了一個(gè)中學(xué)生的AI評(píng)委會(huì)，看到現(xiàn)在中學(xué)生已經(jīng)能很好的使用深度學(xué)習(xí)平臺(tái)，熟練地掌握PyTorch的調(diào)參技巧，學(xué)生就會(huì)有這樣的焦慮感，說“老師，中學(xué)生都能很好的駕馭AI了，我們還要干什么？”我想問幾位老師，在現(xiàn)在這個(gè)AI時(shí)代，我們應(yīng)該教會(huì)學(xué)生什么樣的東西，讓他們擁有傍身之技？

劉偲：我之前確實(shí)遇到過人大附中的學(xué)生，跑實(shí)驗(yàn)和寫paper都特別好，讓我非常震驚。但是我們科班的人肯定希望能做一些前沿的事情，包括跨領(lǐng)域的探索，我覺得高校的老師和學(xué)生可以朝交叉學(xué)科的方向去做。

赫然：現(xiàn)在很多高中同學(xué)確實(shí)具有較強(qiáng)的科研實(shí)力，他們的研究工作往往都是建立在指導(dǎo)老師的肩膀上（長期的積累）。網(wǎng)絡(luò)調(diào)參只是科研工作的一小部分，好的科研成果需要導(dǎo)師告訴高中同學(xué)具體的科研問題和方法的創(chuàng)新思路，還需要很多數(shù)據(jù)、平臺(tái)和計(jì)算資源支撐。做科研還是需要有長期的積累，才可能走的更遠(yuǎn)。