一年一度的NeurIPS又開(kāi)始啦！寒冷的蒙特利爾這一周將開(kāi)啟AI模式，來(lái)自世界各地的研究人員、相關(guān)企業(yè)和學(xué)者將齊聚這里探討AI的最新進(jìn)展和未來(lái)發(fā)展。

為期七天的會(huì)議將帶來(lái)一系列豐富的主題演講、論文口頭報(bào)告、海報(bào)展示、demo展示等內(nèi)容。我們?yōu)楦魑恍』锇閹?lái)了今天即將舉行教程部分的內(nèi)容概覽，以及即將到來(lái)的Oral口頭報(bào)告的精彩內(nèi)容預(yù)告。

Tutorials 新理論新方法新技術(shù)

Adversarial Robustness: Theory and Practice

來(lái)自CMU和MIT的研究人員將對(duì)于如何實(shí)現(xiàn)真正可靠和魯棒的機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行講解。這一教程首先對(duì)這一領(lǐng)域存在的關(guān)鍵挑戰(zhàn)進(jìn)行了綜述，并集中在對(duì)抗魯棒性這一問(wèn)題上進(jìn)行深入細(xì)致的分析。將從理論和實(shí)踐角度討論這一問(wèn)題的各個(gè)方面，并將展示近年來(lái)一些經(jīng)過(guò)驗(yàn)證的有效做法。

Scalable Bayesian Inference

來(lái)自杜克大學(xué)的研究人員將帶來(lái)利用貝葉斯統(tǒng)計(jì)方法應(yīng)用于大規(guī)模數(shù)據(jù)集分析的前沿方法。教程將集中與兩個(gè)方面，首先是應(yīng)用于大規(guī)模數(shù)據(jù)的算法，其次是處理超高維度數(shù)據(jù)的手段。教程首先將回顧經(jīng)典的大樣本近似后驗(yàn)分布方法（拉普拉斯方法和貝葉斯中心極限定理），隨后轉(zhuǎn)向利用馬爾科夫蒙特卡洛算法那的概念與實(shí)踐方法。主要的注意力將放在如何在保證精度的情況下，快速的獲取大規(guī)模數(shù)據(jù)集的后驗(yàn)。

Visualization for Machine Learning

對(duì)于機(jī)器學(xué)習(xí)來(lái)說(shuō)，可視化是幫助我們理解算法和數(shù)據(jù)的有效手段。這一教程將概覽目前的機(jī)器學(xué)習(xí)可視化方法，如何在研究的不同階段使用合適的可視化方法：分析訓(xùn)練數(shù)據(jù)、理解模型、測(cè)試模型分析等。同時(shí)還將探索可視化在教育以及非技術(shù)領(lǐng)域的應(yīng)用價(jià)值。

Unsupervised Deep Learning

非監(jiān)督學(xué)習(xí)在深度學(xué)習(xí)領(lǐng)域起到越來(lái)越重要的作用，其最主要的挑戰(zhàn)在于如何確定目標(biāo)函數(shù)。這一教程將提供一種概率模型的方法，它將對(duì)數(shù)據(jù)進(jìn)行盡可能的壓縮。同時(shí)教程還將提供包括非歸一化的基于能量的方法、自監(jiān)督算法以及生成模型等方法。

Automatic Machine Learning

機(jī)器學(xué)習(xí)的成功最開(kāi)始依賴(lài)于人類(lèi)的經(jīng)驗(yàn)，需要經(jīng)驗(yàn)豐富的研究人員構(gòu)建復(fù)雜的特征工程和選擇合適的機(jī)器學(xué)習(xí)方法、架構(gòu)并詳細(xì)的調(diào)節(jié)各種超參數(shù)。但自動(dòng)機(jī)器學(xué)習(xí)的出現(xiàn)將逐漸改變這一狀況，通過(guò)機(jī)器學(xué)習(xí)和優(yōu)化方法來(lái)提供一種無(wú)須專(zhuān)業(yè)知識(shí)就可以使用的模型。這一領(lǐng)域十分廣泛，包含了超參數(shù)優(yōu)化、神經(jīng)網(wǎng)絡(luò)搜索、元學(xué)習(xí)和遷移學(xué)習(xí)等方向。這一教程將概述目前前沿的方法和技術(shù)。

Statistical Learning Theory: a Hitchhiker's Guide

這一教程將展示統(tǒng)計(jì)學(xué)習(xí)如何評(píng)估和實(shí)現(xiàn)學(xué)習(xí)系統(tǒng)，通過(guò)強(qiáng)調(diào)算法如何從結(jié)果中獲得反饋來(lái)提升性能，并理解其極限。這一教程主要為希望進(jìn)一步了解統(tǒng)計(jì)學(xué)習(xí)的研究人員準(zhǔn)備。

此外還有以下教程等待著各位熱愛(ài)學(xué)習(xí)的小伙伴們：

Common Pitfalls for Studying the Human Side of Machine Learning

Counterfactual Inference

Negative Dependence, Stable Polynomials, and All That

Oral 報(bào)告前沿進(jìn)展

Oral部分的演講往往會(huì)帶來(lái)很多優(yōu)秀的研究成果。下面讓我們一起來(lái)看看有哪些有趣的報(bào)告吧！

Learning to Reconstruct Shapes from Unseen Classes

從單張圖片重建未知物體。來(lái)自MIT的研究人員設(shè)計(jì)了一種稱(chēng)為Generalizable Reconstraction(GenRe)的算法，來(lái)從訓(xùn)練數(shù)據(jù)中抽取更多一般的與類(lèi)別無(wú)關(guān)的形狀信息。通過(guò)結(jié)合了可見(jiàn)表面的2.5D表示、可見(jiàn)和不可見(jiàn)表面的球形表示以及三位體素表示來(lái)探索了3D形狀如何得到2D圖片的過(guò)程，并成功的利用訓(xùn)練的網(wǎng)絡(luò)從單張圖片中恢復(fù)出訓(xùn)練集中不存在物體的三維形狀。

文章中提出的模型有三部分構(gòu)成：首先是一個(gè)從深度估計(jì)器；隨后是一個(gè)球面圖像補(bǔ)全網(wǎng)絡(luò)，最后是一個(gè)體素精煉網(wǎng)絡(luò)。最后通過(guò)體素和深度圖的疊加來(lái)實(shí)現(xiàn)3D形狀輸出。

下圖是網(wǎng)絡(luò)的預(yù)測(cè)，網(wǎng)絡(luò)僅僅在汽車(chē)、飛機(jī)和椅子的數(shù)據(jù)上進(jìn)行了訓(xùn)練，這表明模型已經(jīng)學(xué)習(xí)到了形狀的通用表示。

Discovery of Latent 3D Keypoints via End-to-end Geometric Reasoning

泰國(guó)科技學(xué)院和谷歌的研究人員提出了利用端到端的幾何推理方法發(fā)現(xiàn)潛在的3D關(guān)鍵點(diǎn)。這篇文章中，研究人員提出了KeyPointNet幾何推理框架來(lái)學(xué)習(xí)優(yōu)化每一類(lèi)特定的3D關(guān)鍵點(diǎn)及其檢測(cè)器。這一框架在3D位姿估計(jì)任務(wù)中可以搜尋到一組最優(yōu)的關(guān)鍵點(diǎn)集來(lái)重建某個(gè)物體在兩個(gè)視角下的相對(duì)位姿。

同時(shí)它可以從不同視角的圖像中發(fā)現(xiàn)幾何和語(yǔ)義上一致的關(guān)鍵點(diǎn)，并在位姿估計(jì)任務(wù)中超越了全監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)表現(xiàn)。訓(xùn)練過(guò)程和推理過(guò)程如下，其中兩個(gè)視角下的剛體變換作為監(jiān)督信號(hào)，網(wǎng)絡(luò)優(yōu)化得到了一組在兩個(gè)視角下都一致的關(guān)鍵點(diǎn)。

網(wǎng)絡(luò)得到的關(guān)鍵點(diǎn)如上圖所示

Isolating Sources of Disentanglement in VAEs

多倫多大學(xué)向量學(xué)院的研究人員研究了隱變量間整體相關(guān)性，發(fā)現(xiàn)了解構(gòu)的變分下界可以用于解釋?duì)?VAE用于學(xué)習(xí)解耦隱變量的能力，它鼓勵(lì)模型尋找統(tǒng)計(jì)上相互獨(dú)立的因素。隨后提出了一種稱(chēng)為β-TCVAE（total correlation VAE）的算法用于代替β-VAE來(lái)學(xué)習(xí)解耦的隱變量。最后研究人員還提出了一個(gè)與類(lèi)別無(wú)關(guān)的解耦計(jì)量指標(biāo)MIG（mutual information gap）?；谶@一算法訓(xùn)練的模型顯示了解耦和整體相關(guān)性間的強(qiáng)烈關(guān)系。

上圖顯示了利用這種算法對(duì)于隱空間變量結(jié)構(gòu)的學(xué)習(xí)和效果

Policy Optimization via Importance Sampling

來(lái)自米蘭理工的研究人員們提出了一種基于重要性采樣的策略?xún)?yōu)化方法。這篇文章中提出了一種新穎的不基于模型測(cè)策略搜索算法POIS（Policy Optimization via Importance Sampling），可以用于基于行為或者基于參數(shù)的方式。在這一研究中，研究人員首先得到高置信度的重要性采樣估計(jì)，隨后定義了代理目標(biāo)函數(shù)來(lái)進(jìn)行線(xiàn)下優(yōu)化，最終在一系列連續(xù)控制任務(wù)中進(jìn)行了線(xiàn)性和深度策略的測(cè)試。

Neuronal Capacity

來(lái)自加州大學(xué)歐文分校的研究人員認(rèn)為，學(xué)習(xí)機(jī)器的能力可以被定義為它可以執(zhí)行函數(shù)數(shù)量的對(duì)數(shù)。在這一工作中，研究人員回顧了已有的工作并推導(dǎo)出了新的結(jié)果，同時(shí)對(duì)多種神經(jīng)模型的容量進(jìn)行了計(jì)算：包括線(xiàn)性和多項(xiàng)式閾值門(mén)、線(xiàn)性和多項(xiàng)式受限閾值門(mén)以及ReLU神經(jīng)元，同時(shí)還推導(dǎo)了一些網(wǎng)絡(luò)的容量。

上圖是不同布爾函數(shù)在N個(gè)變量下的分級(jí)容量圖。

Dendritic cortical microcircuits approximate the backpropagation algorithm

來(lái)自伯爾尼、蒙特利爾大學(xué)的研究人員提出了利用樹(shù)突皮質(zhì)微電（回）路來(lái)近似反向傳播的方法。在這篇文章中研究人員們基于簡(jiǎn)化的輸入間隔引入了一種多層神經(jīng)網(wǎng)絡(luò)模型，它可以基于誤差驅(qū)動(dòng)突觸可塑性適應(yīng)網(wǎng)絡(luò)的全局輸出。與先前方法不同的是，這種模型不需要分成幾個(gè)部分，突觸學(xué)習(xí)是通過(guò)局域樹(shù)突的連續(xù)誤差信號(hào)驅(qū)動(dòng)的。這一誤差信號(hào)來(lái)自于預(yù)測(cè)信號(hào)和實(shí)際信號(hào)不匹配的時(shí)候，通過(guò)簡(jiǎn)單地使用樹(shù)突間隔，這一模型可以表示神經(jīng)元的誤差和正?；顒?dòng)。研究人員還將其用于回歸和分類(lèi)任務(wù)中，并發(fā)現(xiàn)它可以近似誤差反向計(jì)算的BP算法。

圖中顯示了樹(shù)突皮質(zhì)近似bp算法的原理。

A Retrieve-and-Edit Framework for Predicting Structured Outputs

斯坦福的研究人員實(shí)現(xiàn)了可以預(yù)測(cè)結(jié)構(gòu)化輸出的檢索-編輯框架。對(duì)于生成源代碼這樣復(fù)雜的結(jié)構(gòu)化輸出任務(wù)來(lái)說(shuō)，通過(guò)對(duì)已有的代碼進(jìn)行編輯比從零開(kāi)始生成容易的多?；谶@樣的想法，研究人員提出了一種新的框架：首先根據(jù)輸入檢索出訓(xùn)練樣本，隨后對(duì)其進(jìn)行編輯得到期望的輸出結(jié)果。這種方法無(wú)需復(fù)雜的手工度量或與編輯器進(jìn)行聯(lián)調(diào)，計(jì)算高效適應(yīng)性強(qiáng)。作者表示這一框架可以用于任何基礎(chǔ)框架之上，并在Github Python代碼和Hearthstone card上取得了優(yōu)異的結(jié)果。

框架如上圖所示

顯示一些基于檢索-編輯框架生成的源碼。

Model-Agnostic Private Learning

牛津大學(xué)的研究人員在神經(jīng)科學(xué)的啟發(fā)下研究了如何實(shí)現(xiàn)知識(shí)泛化（一般化）的能力，在本文中提出為了一般化結(jié)構(gòu)化的知識(shí)、表示世界結(jié)構(gòu)的知識(shí)（例如世界中的實(shí)體間的相互關(guān)系）需要與實(shí)體自身的表示進(jìn)行分離。研究表明，在這一觀點(diǎn)的指導(dǎo)下、利用層級(jí)和記憶實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)可以學(xué)到記憶的統(tǒng)計(jì)信息并泛化結(jié)構(gòu)化知識(shí)，同時(shí)空間認(rèn)知能力是更一般化組織原則的實(shí)例。

結(jié)構(gòu)化與傳感信息的獨(dú)立表示在銜接編碼中結(jié)合。右圖顯示了模型需要從不同的域中抽取出一般化的統(tǒng)計(jì)信息。

除此之外，還有包括學(xué)習(xí)理論、優(yōu)化過(guò)程、強(qiáng)化學(xué)習(xí)、采樣、近似和各個(gè)領(lǐng)域詳盡的理論分析。感興趣的小伙伴可以在這里找到更多的Oral報(bào)告：https://neurips.cc/Conferences/2018/Schedule?type=Oral