因此在非受控的環(huán)境中做長序列的跟蹤非常困難。由于深度學習在目標跟蹤中的使用，目前tracker的性能已經(jīng)得到了很大的提升。這主要是由于深度學習能夠有效的給出被跟蹤物體的本源表征，因此對于各種變化、遮擋都有很好的對抗能力。這個籃球球場中的多球員跟蹤就是很好的例子。

感知任務進階：解決單目深度估計的病態(tài)問題

單目深度估計是一個病態(tài)問題，因此極具挑戰(zhàn)性。這個任務期望從單張場景圖中還原出像素級的深度值，且在3D場景幾何理解中扮演著關鍵角色。為什么這是一個病態(tài)問題呢？舉個例子，假設三維空間中有一條線，然后我們可以把它投射到一個平面上。在投射的平面上，我們可以看到一條直線，但是我們無法確認，在原始的三維空間中，這條線是直線還是曲線？可是實際中，我們卻可以根據(jù)圖像的信息來估計深度信息。

比如這張圖中，人的身高在原始圖像中，大約是三厘米，但是你絕對不會認為這個人的身高在三維實際空間中就是三里面。根據(jù)常識，我們都知道，成年男子身高大概在175到180厘米左右。

根據(jù)簡單的幾何變換，我們就能夠估計到這個人到攝像機的距離。圖像中還有很多的信息能夠幫助我們估計像素的深度信息，比如陰影、色彩的變化、layout、地面等等。關鍵的問題是，我們應該如何設計特征，然后用合理的統(tǒng)計模型來估計每一個像素的深度。

很久之前，研究人員用handcrafted特征結合MRF（馬爾科夫隨機場）來完成這個任務。雖然傳統(tǒng)的MRF模型的預測效果不令人滿意，但是已經(jīng)存在的結果告訴大家這個問題不是完全不可解決的。

最近的方法通過探索深度神經(jīng)網(wǎng)絡（DCNN）的多層次情景語義信息在這個問題上取得了顯著的進步。然而，這些方法預測出的深度值任然是非常不準確的。

幾個可能的原因是：（1）由于深度分布的極端復雜性，在標準的回歸范例下學習深度分布是很困難的。（2）之前的工作在建模時都忽略了深度值之間的有序關系。（3）圖像級和多尺度信息目前還沒有被充分發(fā)掘。

受這些現(xiàn)象的啟發(fā)，我們首先將深度估計問題轉化到離散范例上來解決，其次通過提出一個順序回歸約束以此為深度預測引入排序機制，最后設計一個有效的多尺度深度網(wǎng)絡來實現(xiàn)更好的情景語義信息學習。我們的模型（DORN）不僅在四個非常有挑戰(zhàn)的數(shù)據(jù)集（KITTI, ScanNet, Make3D 和 NYU Depth v2）上的效果遠超同行，并且贏得了 Robust Vision Challenge 2018深度估計項目的第一名。

目標姿勢估計與預測

預測一組語義關鍵點，例如人類身體關節(jié)或鳥類部位，是圖像理解領域中重要的一項技術 。物體的關鍵點助于對齊對象并揭示它們之間的細微差別，同時也是計算機領會人類姿態(tài)的一項關鍵技術。盡管這項技術近年來取得了重大進展，但由于物體外觀差異大，姿勢變化和遮擋等情況，關鍵點預測仍然是一項重大挑戰(zhàn)。

目前基于CNN的關鍵點定位方法使用置信度圖監(jiān)督關鍵點檢測器, 但由于不同圖片中關鍵點的檢測難易程度不同，使用同等程度置信度圖可能會不利于關鍵點檢測器的學習。

為了解決關鍵點定位的魯棒性問題，我們提出了一個粗細監(jiān)督網(wǎng)絡（CFN）深層卷積網(wǎng)絡的方法。該方法使用全卷積網(wǎng)絡，利用幾個不同深度的分支來獲得分層特征表示。并根據(jù)其感受野不同，使用粗細不同的監(jiān)督信息。最后聯(lián)合所有分層特征信息來實現(xiàn)目標關鍵點的精確定位。我們通過鳥類部位定位和人體姿態(tài)估計的不同任務實驗證明了該方法的有效性和通用性。

要想成功的完成剛才說的這些perceiving的任務，我們都需要假設我們所獲取到的圖像都是高質量的。但是在實際問題中，我們獲取到的圖象有可能會受到一些影響，導致數(shù)據(jù)質量比較差。因此我們要解決圖像質量評估，根據(jù)圖像質量評估的結果，我們還要有有效的模型對圖像的質量進行提升，比如denoise、deblur、去除介質湍流的影響、提升低分辨率圖像的分辨率、去霧，等等。

最近很多人都有一種感覺：深度學習一統(tǒng)天下。要解決實際問題，就是想辦法把不同的網(wǎng)絡層堆積起來、把網(wǎng)絡不斷加深，然后調參就好了。事實上，沒有這么簡單。要有效的解決實際問題，不僅我們要理解深度學習、知道該如何有效的調參，還有熟悉傳統(tǒng)的統(tǒng)計機器學習、經(jīng)典的計算機視覺，更要對問題有深刻的理解，知道如何構建有效的學習模型，當然是深度的學習模型。

在learning這個方向上，我們也做了很多工作：快速矩陣分解、多視角學習、多任務學習、多標簽學習、遷移學習、有標簽噪聲的學習、生成對抗網(wǎng)絡、深度學習理論，等等。時間原因，我簡單的介紹一下，我們最近在多視角學習、生成對抗網(wǎng)絡和深度學習理論上的一些工作。

多視角學習：面向決策策略的“盲人摸象”

大家都知道盲人摸象的故事，實際上我們做決策的時候，跟盲人是一樣的，因為我們所獲取到的信息也是不完整的。那么我們在做覺得時候，也就是根據(jù)已有的信息作出的最優(yōu)策略。因此，對于同樣的事情，每一個人所作出的決定可能也不相同。

多視角學習對于現(xiàn)今的智能系統(tǒng)非常重要，這是因為智能系統(tǒng)中都安裝了大量的傳感器，比如，現(xiàn)在的無人車安裝了激光雷達、毫米波雷達、攝像機、IMU等等。每個傳感器都只能夠感知環(huán)境中的部分信息，那么我們就需要把不同的傳感的信息融合起來，幫助我們做最后的決策。

假設存在一個oracle space，那么每個傳感器就可以被建模成對oracle space的一個線性或者非線形投影。如果我們有大量的傳感器，那么我們就能夠獲取大量的投影信息。我們可以證明，如果說我們有足夠多的不同的投影信息，我們就能夠以非常高的概率去重構這個oracle space。有了這個oracle space，我們就可以有效的做決策了。

請大家看一下最左邊的這張圖像。你第一眼看到了什么？大多說人一定會說是船。然后你還會注意到船上有人。對不對？這個現(xiàn)象提示我們，這樣的順序信息對于我們進行多標簽學習會非常有幫助。通過增強學習，我們可以有效的學習這個順序，來提升增強學習的效率。

我們今天所面臨的學習問題可能是這樣的一個情況：訓練數(shù)據(jù)和測試數(shù)據(jù)來自不同的傳感器或者信息域。這就是domain generalization要解決的問題。因為訓練數(shù)據(jù)和測試數(shù)據(jù)來自不同的域，我們就需要找尋一些特征：這些特征在訓練數(shù)據(jù)上和測試數(shù)據(jù)上，對于完成我們的規(guī)定任務來說都是有效的。

人可以很輕松的做到這一點：我兒子3歲的時候，我給他看過長頸鹿的卡通畫片。當我?guī)游飯@的時候，他可能很輕松的認出真正的長頸鹿?？墒窃谶@之前，他從來沒有見過實際場景中的長頸鹿。我們當然希望計算機也具備類似的能力。這里我們利用GAN網(wǎng)絡（對抗生成網(wǎng)絡）能夠有效地學習這樣的不變特征。

我們提出了一個端到端的條件對抗域自適應深度學習模型來學習域不變的特征，該模型同時衡量分布P(Y)和條件概率分布P(X|Y)的不變性。該網(wǎng)絡框架包括了四個部分。第一部分AlexNet用來學習域不變的特征。第二部分是圖像分類網(wǎng)絡，用來保證學習的特征具有良好的類別區(qū)分性。

特征的域不變性質利用類別先驗歸一化域分類網(wǎng)絡和類別條件域分類網(wǎng)絡保證。其中類別先驗歸一化域分類網(wǎng)絡用來匹配不同域的類別先驗歸一化分布，該網(wǎng)絡的主要目的是消除不同域之間的變化。其次，類別條件域分類網(wǎng)絡用來保證對于每一類的分布匹配。這樣就能夠保證不同域的聯(lián)合概率分布是匹配的。在不同標準數(shù)據(jù)集上得到的實驗結果證明了我們方法的有效性，并且要比現(xiàn)有方法有顯著的提高。

TD-GAN新框架，解決深度學習的可解釋性問題

最近大家開始關注學習的可解釋性。我們用GAN網(wǎng)絡可以學到特征來生成我們需要的數(shù)據(jù)。可是這些特征的含義是什么？我們并不清楚。

通過模仿人類理解世界的方式，我們希望計算機能夠從這個復雜的世界中學習到抽象的概念，并根據(jù)這些概念創(chuàng)造新的東西。因此，我們需要計算機能夠從真實世界圖像中提取到可分解的特征，例如照片中人物的身份，拍攝角度，光照條件等等。這個就是tag disentanglement。有了可分解的特征，我們也能很好的解釋我們學習到的特征到底是什么物理含義。

我們提出了一個新的框架（TD-GAN），用于從單個輸入圖像中提取可分解的特征，并通過調整所學特征來重新渲染圖像。從某種程度上說，TD-GAN提供了一個可以理解現(xiàn)實世界中圖像的深度學習框架。

網(wǎng)絡所學習到的可分解的特征，實際上對應于圖像中所描述主體的不同屬性。與人類理解世界的方式相似，學習可分解的特征有助于機器解釋并重構現(xiàn)實世界的圖像。因此，TD-GAN能夠根據(jù)用戶指定的信息合成高質量的輸出圖像。

TD-GAN可應用于（1）數(shù)據(jù)增強，即通過合成新的圖像以用于其他深度學習算法的訓練與測試，（2）生成給定對象連續(xù)姿態(tài)的圖像，以用于三維模型重建，以及（3）通過解析，概括來增強現(xiàn)有創(chuàng)作，并創(chuàng)造充滿想象力的新繪畫。

學習和操控現(xiàn)實世界數(shù)據(jù)（如圖像）的概率分布是統(tǒng)計和機器學習的主要目標之一。而近些年提出的深度生成對抗網(wǎng)絡（GAN）就是學習復雜數(shù)據(jù)概率概率分布的常用方法。

生成對抗網(wǎng)絡在許多生成相關的任務上取得了令人信服的表現(xiàn)，例如圖像生成，圖像“翻譯”和風格變換。但是，現(xiàn)有算法仍面臨許多訓練困難。例如，大多數(shù)GAN需要仔細平衡生成器和判別器之間的能力。不適合的參數(shù)設置會降低GAN的性能，甚至難以產(chǎn)生任何合理的輸出。

在過去相當長的一段時間內，很多研究人員都在研究不同的損失函數(shù)對于GAN的影響，(并且大家認為不同的損失函數(shù)具有不同的優(yōu)勢和劣勢，并可能導致不同的訓練問題)。因此很多不同的損失函數(shù)被引入到了GAN的訓練學習中，比如minimax、least squares等等，來提升GAN的性能。

對于不同的任務、不同的數(shù)據(jù)，不同的損失函數(shù)都取得了一定的效果。后來Google的研究人員通過大量實驗發(fā)現(xiàn)，雖然不同的損失函數(shù)在不同的任務上或數(shù)據(jù)上或許會有不同的表現(xiàn)，但是總體平均的效果卻相差不多。

這就告訴我們：現(xiàn)有生成對抗網(wǎng)絡的損失函數(shù)具有不同的優(yōu)點和缺點，其預定義的對抗優(yōu)化策略可能導致生成對抗網(wǎng)絡訓練時的不穩(wěn)定。受自然演化啟發(fā)，我們設計了一個用于訓練生成對抗網(wǎng)絡的演化框架。在每次迭代期間，生成器經(jīng)歷不同的突變以產(chǎn)生多種后代。然后，給定當前學習到的判別器，我們評估由更新的后代產(chǎn)生樣本的質量和多樣性。最后，根據(jù)“適者生存”的原則，去除表現(xiàn)不佳的后代，保留剩余的表現(xiàn)良好的發(fā)生器并用于進一步對抗訓練。

基于的進化模型的生成對抗網(wǎng)絡克服了個體對抗訓練方法所存在的固有局限性，極大的穩(wěn)定了生成對抗網(wǎng)絡的訓練過程病提升了生成效果。實驗證明，所提出的E-GAN實現(xiàn)了令人信服的圖像生成性能，并減少了現(xiàn)有GAN固有的訓練問題。

這個工作，被MIT Technology Review評為熱點論文（one of “The Best of the PhysicsarXiv”）。

我們都知道，深度神經(jīng)網(wǎng)絡有一個特點，就是參數(shù)空間大，模型復雜度高。傳統(tǒng)的統(tǒng)計學習理論認為，參數(shù)空間越大，模型復雜度越高，那么它對訓練數(shù)據(jù)的擬合能力就越強，但是泛化能力會變得越差。

Universal approximation theorem已經(jīng)證明了傳統(tǒng)的、有一個隱層的，多層感知機能夠擬合任何數(shù)據(jù)。舉個例子，這樣的模型完全可以擬合ImageNet這樣的數(shù)據(jù)。如果這樣，為什么我們還要不斷的增加網(wǎng)絡的深度，從最初的六層的AlexNet，到后來的152層的ResNet，甚至還有人用幾百層的網(wǎng)絡？因為我們都知道，這個單隱層的模型只有機會取得很小的訓練誤差，但是泛化能力卻非常差。也就是說，測試效果并不好。

對于一個機器學習模型，如果它的訓練誤差遠小于測試誤差，那么它就發(fā)生了過擬合。在現(xiàn)有的統(tǒng)計學習理論框架下，對于神經(jīng)網(wǎng)絡，有兩個尚未解決的問題：首先，為什么模型復雜度非常高的深度神經(jīng)網(wǎng)絡，不會發(fā)生過擬合？其次，深度神經(jīng)網(wǎng)絡是越深越好嗎？

利用信息論中的信息處理不等式，我們最近的工作得到了這樣一個有趣的結論：深度神經(jīng)網(wǎng)絡的泛化誤差會隨著層數(shù)的增加而指數(shù)衰減。這樣的結論告訴我們，在保證訓練誤差足夠小的前提下，原則上網(wǎng)絡是越深越好。

推理與行為任務：看圖對話與看圖問答

關于reasoning和behaving，我們也做了一些工作。這里我提一下模仿學習、視覺問題回答和視覺對話。

目前任何機器人主要的交互方式是通過設定的程序和參數(shù)。但是目前的機器人已經(jīng)安裝了攝像機，那么我們希望不愿的將來，機器人可以通過觀察人的動作、模仿人的動作，來達到學習的效果。

看圖問答旨在以問答的交互方式解決視覺內容細粒度內容理解。給定任意圖片，用戶針對圖像內容使用自然語言進行提問，算法提供準確的自然語言的答案。一個典型的視覺問答框架主要包含視覺特征細粒度表達、視覺注意力學習、多模態(tài)特征細粒度融合三個模塊。

針對三個關鍵模塊，我們都提出了更為有效的方式。這樣的模型對于機器人和人的交互，也是非常重要的。在視覺問答的標準數(shù)據(jù)集VQA v2的實時排行榜，我們的方法取得了目前業(yè)界最好水平。

比看圖問答更為復雜的一個相關任務是visual dialog（看圖對話）。與看圖問答任務相比，看圖對話有兩個挑戰(zhàn)：第一是對話歷史問題，也就是上下文指代關系。第二是如何區(qū)分相似的答案。我們在最近的比賽中有效的考慮了這兩個問題，并且取得了很好的效果。