電子發(fā)燒友App
?兩年一屆的ICCV 2019（International Conference on Computer Vision）于10月27日-11月2日在韓國首爾召開！今年的ICCV，商湯科技繼續(xù)在入選論文數(shù)量、質量以及諸多競賽項目中刷新紀錄，彰顯中國原創(chuàng)技術的領先性及深厚學術底蘊，引領計算機視覺學術發(fā)展。
???????商湯科技及聯(lián)合實驗室共有57篇論文入選ICCV 2019（包含11篇Oral），同時在Open Images、COCO、LVIS等13項重要競賽中奪冠！特別是Open Images，它是目前通用物體檢測和實例分割兩個領域中數(shù)據(jù)量最大、數(shù)據(jù)分布最復雜、最有挑戰(zhàn)性的競賽，比COCO數(shù)據(jù)大一個量級，標注更不規(guī)則，場景更復雜。 ?
???????除了成績，商湯科技在開放學術交流、生態(tài)發(fā)展方面也為全球學術領域做出積極貢獻，由商湯及聯(lián)合實驗室研究團隊去年發(fā)布的開源物體檢測框架MMDetection，在今年各大比賽中被眾多參賽隊伍廣泛使用，Open Images，COCO，LVIS，Mapillary等比賽中的多支獲獎隊伍都使用MMDetection作為基準代碼庫，團隊去年提出的HTC、Guided Anchoring等方法成為了今年諸多隊伍的關鍵助力。
???????ICCV 2019期間，商湯科技還組織或參與主辦了多場Challenge和Workshop，香港中文大學-商湯聯(lián)合實驗室的周博磊教授參與組織了上千人的Tutorial——Interpretable Machine Learning for Computer Vision。此外，商湯科技創(chuàng)始人、香港中文大學教授湯曉鷗受邀擔任ICCV 2019大會主席。
???????商湯科技創(chuàng)始人、香港中文大學教授湯曉鷗
???????受邀擔任ICCV 2019大會主席
57篇論文入選ICCV 2019，13個項目奪冠
???????著名科幻小說家阿西莫夫說，“創(chuàng)新是科學房屋的生命力”。擁有深厚學術底蘊的商湯科技，自成立以來始終以“堅持原創(chuàng)，讓AI引領人類進步”為使命，在人工智能技術研究上不斷尋求自我突破和創(chuàng)新。此次，商湯科技及聯(lián)合實驗室共有57篇論文入選ICCV 2019，其中口頭報告（Oral）論文就有11篇！ICCV論文錄用率非常低，今年Oral錄用比例僅為4.62%。
???????商湯科技被ICCV 2019錄取的論文在多個領域實現(xiàn)突破，包括：面向目標檢測的深度網(wǎng)絡基礎算子、基于插值卷積的點云處理主干網(wǎng)絡、面向AR/VR場景的人體感知與生成、面向全場景理解的多模態(tài)分析等。這些突破性的計算機視覺算法有著豐富的應用場景，將為推動AI行業(yè)發(fā)展做出貢獻。
???????同時，商湯科技不僅在論文錄取數(shù)上展現(xiàn)出了驚人實力，在ICCV的諸多競賽項目上也屢屢奪冠，一舉斬獲13項世界冠軍。
???????在Google AI主辦的ICCV 2019 Open Images比賽中，來自香港中文大學和商湯研究院的聯(lián)合團隊奪得了物體檢測和實例分割兩個主要賽道的冠軍。此次主辦方提供了千萬級別的實例框，涵蓋了500類結構性類別，其中包含大量漏標、類別混淆和長尾分布等問題。競賽中，得益于團隊提出的兩個全新技術：頭部空間解耦檢測器（Spatial Decoupling Head）和模型自動融合技術（Auto Ensemble）。前者可以令任意單模型在COCO和Open Images上提升3~4個點的mAP，后者相對于樸素模型融合能提升0.9mAP。最終，在提交次數(shù)顯著小于其他高名次隊伍下獲得了雙項冠軍的好成績。
???????在ICCV 2019 COCO比賽中，來自香港中文大學-商湯科技聯(lián)合實驗室和南洋理工大學-商湯科技聯(lián)合實驗室的MMDet團隊獲得目標檢測（Object Detection）冠軍（不使用外部數(shù)據(jù)集），這也是商湯連續(xù)兩屆在COCO Detection項目中奪冠。同時，商湯科技新加坡研究團隊也獲得COCO全景分割（Panoptic）冠軍（不使用外部數(shù)據(jù)集）。
???????COCO比賽中，MMDet團隊提出了兩種新的方法來提升算法性能。針對于當前目標框定位不夠精確的缺陷，MMDet團隊提出了一種解耦的邊緣感知的目標框定位算法（Decoupled Boundary-Aware Localization
???????而商湯科技新加坡研究團隊深入探索了全景分割任務的獨特性質，并提出了多項創(chuàng)新算法。由于全景分割任務既涵蓋目標檢測又包含語義分割，往屆比賽隊伍大多分別提升目標檢測算法與語義分割算法。商湯新加坡研究團隊打破慣例，探索了這兩項任務的互補性，提出了一種簡單高效的聯(lián)合訓練模型Panoptic-HTC。該模型分別借助Panoptic-FPN共享權重的特點與Hybrid Task Cascade聯(lián)合訓練的優(yōu)勢，在特征層面完成了兩項視覺任務的統(tǒng)一，從而同時在兩項任務上獲得顯著提升。
???????在Facebook AI Research主辦的第一屆LVIS Challenge 2019大規(guī)模實例分割比賽中，商湯科技研究院團隊獲得了冠軍，同時獲得該項目最佳論文獎。相比于以往的實例分割數(shù)據(jù)集，LVIS最大的特點在于超過1000多類的類別和更加接近于自然存在的數(shù)據(jù)長尾分布。這些特點對現(xiàn)有的實例分割算法提出了非常大的挑戰(zhàn)。商湯研究團隊從原有模型訓練的監(jiān)督方式進行分析，針對長尾問題提出了一種新的損失函數(shù)，能夠有效的緩解頻率高的類別對小樣本類別的影響，從而大大提升了處于長尾分布中小樣本的性能。另外還通過對額外的檢測數(shù)據(jù)進行有效的利用，減少了因為LVIS數(shù)據(jù)集構建方式中帶來的標注不完全問題，從而進一步提升了性能。
???????此外，在Facebook AI Research主辦的ICCV 2019 自監(jiān)督學習比賽中，香港中文大學-商湯科技聯(lián)合實驗室和南洋理工大學-商湯科技聯(lián)合實驗室團隊一舉獲得了全部四個賽道冠軍；在MIT主辦的ICCV 2019 Multi-Moments In Time Challenge比賽中，來自香港中文大學和商湯研究院的聯(lián)合團隊奪得了多標簽視頻分類賽道的冠軍；在Insight Face主辦的ICCV 2019 Lightweight Face Recognition Challenge比賽中，來自香港中文大學和商湯研究院的聯(lián)合團隊奪得了大模型-視頻人臉識別的冠軍；在ETH舉辦的ICCV AIM 2019 Video Temporal Super-Resolution Challenge比賽中，商湯科技團隊獲得了冠軍；在視覺目標跟蹤領域國際權威比賽VOT2019 Challenge比賽中，商湯科技團隊獲得VOT-RT 2019實時目標跟蹤挑戰(zhàn)賽冠軍。
OpenMMLab成果豐碩，商湯以原創(chuàng)之心會四方學者
???????為了提高學術界算法的可復現(xiàn)能力以及推動行業(yè)學術交流，從2018年年中開始，香港中文大學-商湯科技聯(lián)合實驗室啟動OpenMMLab計劃，并首先開源了重磅物體檢測代碼庫MMDetection。相比于其它開源檢測庫，MMDetection有多項重要優(yōu)點，包括高度模塊化設計、多種算法框架支持、顯著提高訓練效率和密切同步最新算法支持等。
???????MMDetection和MMAction作為視覺領域的重要任務，在商湯及聯(lián)合實驗室的研究人員共同努力下取得了豐碩成果。今年六月，OpenMMLab第二期發(fā)布，多個重要更新吸引了業(yè)界目光：MMDetection（目標檢測庫）升級到1.0，提供了一大批新的算法實現(xiàn)，同時MMAction（動作識別和檢測庫），MMSkeleton（基于骨骼關鍵點的動作識別庫），MMSR（超分辨率算法庫）全新發(fā)布。
???????今年ICCV 大會期間，MMDetection被業(yè)界廣泛應用，目前在GitHub上已收獲近7000 Stars，有效促進目標檢測領域的應用和新方法研究發(fā)展。
???????“科學不是一個人的事業(yè)”，近代實驗科學奠基人伽利略在十六世紀就強調科學研究的交流合作的重要性。海納百川，取則行遠，為推動人工智能行業(yè)學術交流和發(fā)展，商湯科技在ICCV 2019期間還組織或參與主辦了多個Challenge及Workshop。
???????香港中文大學-商湯聯(lián)合實驗室的周博磊教授參與組織了上千人的Tutorial，該Tutorial主要探討可解釋機器學習的原因、典型方法、未來趨勢以及由此產(chǎn)生的可解釋機器學習的潛在工業(yè)應用。
???????由商湯科技參與舉辦的第一屆深度統(tǒng)計學習研討會（The First Workshop on Statistical Deep Learning in Computer Vision）和第二屆計算機視覺中的服裝藝術與設計研討會（Second Workshop on Computer Vision for Fashion, Art and Design），都邀請了來自MIT、Berkeley、UCLA、Stony Brook、Johns Hopkins University等多位知名教授在會上做主題報告和分享。
???????在ICCV展示區(qū)（Booth：A-1），商湯科技諸多創(chuàng)新AI產(chǎn)品也亮相世界舞臺，包括自動駕駛、SenseAR特效引擎Avatar 、SenseMatrix 物體3D重建 、SenseMatrix 人臉3D重建等11個產(chǎn)品為大會帶來豐富的體驗和創(chuàng)新靈感。
???????同時，在10月31日晚，商湯科技還將舉辦SenseTime PartyTime活動，邀請了來自CV界頂尖學者和科學家，與參會同學代表面對面交流、共話AI學術新動向，培養(yǎng)AI發(fā)展的未來生力軍。商湯愿以原創(chuàng)之心，會四方學者。
商湯及聯(lián)合實驗室ICCV 2019論文精選
???????下面，列舉幾篇商湯及商湯聯(lián)合實驗室入選ICCV 2019的代表性論文，從四大方向闡釋計算機視覺和深度學習技術最新突破。
???????面向目標檢測的深度網(wǎng)絡基礎算子
???????代表性論文：《CARAFE: 基于內容感知的特征重組》
???????特征上采樣是深度神經(jīng)網(wǎng)絡結構中的一種基本的操作，例如：特征金字塔。它的設計對于需要進行密集預測的任務，例如物體檢測、語義分割、實例分割，有著關鍵的影響。本工作中，我們提出了基于內容感知的特征重組（CARAFE），它是一種通用的，輕量的，效果顯著的特征上采樣操作。
???????CARAFE有這樣一些引人注目的特性：1.大視野。不同于之前的上采樣方法（如：雙線性插值），僅使用亞像素的臨近位置。CARAFE可以聚合來自大感受野的環(huán)境特征信息。2.基于特征感知的處理。不同于之前方法對于所有樣本使用固定的核（如：反卷積），CARAFE可以對不同的位置進行內容感知，用生成的動態(tài)的核進行處理。3.輕量和快速計算。CARAFE僅帶來很小的額外開銷，可以容易地集成到現(xiàn)有網(wǎng)絡結構中。我們對CARAFE在目標檢測，實例分割，語義分割和圖像修復的主流方法上進行廣泛的測試，CARAFE在全部4種任務上都取得了一致的明顯提升。CARAFE具有成為未來深度學習研究中一個有效的基礎模塊的潛力。
???????面向三維視覺的點云處理基礎網(wǎng)絡
???????代表性論文：《基于插值卷積的點云處理主干網(wǎng)絡》
???????點云是一種重要的三維數(shù)據(jù)類型，被廣泛地運用于自動駕駛等場景中。傳統(tǒng)方法依賴光柵化或者多視角投影，將點云轉化成圖像、體素其他數(shù)據(jù)類型進行處理。近年來池化和圖神經(jīng)元網(wǎng)絡在點云處理中展現(xiàn)出良好的性能，但仍然受限于計算效率，并且算法易受物體尺度、點云密度等因素影響。
???????本文提出了一種全新的卷積方式，即插值卷積，能夠從點云中高效地學習特征。插值卷積從標準圖像卷積和圖像插值中獲取靈感，卷積核被劃分成一組空間中離散的向量，每個向量擁有各自的三維坐標，當點云中的某點落在卷積向量的鄰域時，參考圖像插值的過程，我們將該點對應的特征向量插值到卷積向量對應的位置上，然后進行標準的卷積運算，最后通過正則化消除點云局部分布不均的影響。
???????面向不同的任務，我們提出了基于插值卷積的點云分類和分割網(wǎng)絡。分類網(wǎng)絡采用多路徑設計，每一條路徑的插值卷積核具有不同的大小，從而網(wǎng)絡能夠同時捕獲全局和細節(jié)特征。分割網(wǎng)絡參考圖像語義分割的網(wǎng)絡設計，利用插值卷積做降采樣。在三維物體識別，分割以及室內場景分割的數(shù)據(jù)集上，我們均取得了領先于其他方法的性能。
???????面向AR/VR場景的人體感知與生成
???????代表性論文：《深入研究用于無限制圖片3D人體重建中的混合標注》
???????雖然計算機視覺研究者在單目3D人體重建方面已經(jīng)取得長足進步，但對無限制圖片進行3D人體重建依然是一個挑戰(zhàn)。主要原因是在無限制圖片上很難取得高質量的3D標注。為解決這個問題，之前的方法往往采用一種混合訓練的策略來利用多種不同的標注，其中既包括3D標注，也包括2D標注。雖然這些方法取得了不錯的效果，但是他們并沒有研究不同標注對于這個任務的有效程度。
???????本篇論文的目標就是詳細地研究不同種類標注的投入產(chǎn)出比。特別的，我們把目標定為重建給定無限制圖片的3D人體。通過大量的實驗，我們得到以下結論：1.3D標注非常有效，同時傳統(tǒng)的2D標注，包括人體關鍵點和人體分割并不是非常有效。2.密集響應是非常有效的。當沒有成對的3D標注時，利用了密集響應的模型可以達到使用3D標注訓練的模型92%的效果。
???????代表性論文：《基于卷積網(wǎng)絡的人體骨骼序列生成》
???????現(xiàn)有的計算機視覺技術以及圖形學技術已經(jīng)可以生成或者渲染出栩栩如生的影像片段。在這些方法中，人體骨骼序列的驅動是不可缺少的。高質量的骨骼序列要么使用動作捕捉設備從人身上獲取，要么由動作設計師手工制作。而讓計算機代為完成這些動作，高效地生成豐富、生動、穩(wěn)定、長時間的骨骼序列，就是這一工作的目標。
???????本文使用高斯過程產(chǎn)生隨機序列，使用對抗網(wǎng)絡和時空圖卷積網(wǎng)絡來學習隨機序列和動作序列之間的映射關系。該方法既可以產(chǎn)生動作序列，也可將動作序列映射到隨機序列所在的空間，并利用高斯過程進行編輯、合成、補全。
???????本方法在由真人動作捕捉得到的NTU-RGB+D數(shù)據(jù)集上，以及我們收集的虛擬歌手“初音未來”的大量舞蹈設計動作上，完成了詳細的對比實驗。實驗表明，相對于傳統(tǒng)的自回歸模型（Autoregressive Model），本文使用的圖卷積網(wǎng)絡可以大大提高生成的質量和多樣性。
???????面向全場景理解的多模態(tài)分析
???????代表性論文：《基于圖匹配的電影視頻跨模態(tài)檢索框架》
???????電影視頻檢索在日常生活中擁有極大需求。例如，人們在瀏覽某部電影的文字簡介時，時常會被其中的精彩部分吸引而想要看相應的片段。但是，通過文字描述檢索電影片段目前還存在許多挑戰(zhàn)。相比于日常生活中普通人拍攝的短視頻，電影有著極大的不同：1.電影是以小時為單位的長視頻，時序結構很復雜。2.電影中角色的互動是構成故事情節(jié)的關鍵元素。因此，我們利用了電影的這兩種內在結構設計了新的算法來匹配文本段落與電影片段，進而達到根據(jù)文本檢索電影片段的目標。
???????首先，我們提出事件流模塊以建模電影的時序特性。該模塊基于二分圖匹配，將文本中的每一句話按照事件與電影片段的對應子片段匹配。其次，我們提出人物互動模塊，該模塊通過圖匹配算法計算文本中解析得到的人物互動圖和視頻中提取的人物互動圖的相似度。綜合兩個模塊的結果，我們能得到與傳統(tǒng)方法相比更精準的匹配結果，從而提高檢索的正確率。
???????代表性論文：《融合視覺信息的音頻修復》?
???????多模態(tài)融合是交互智能發(fā)展的重要途徑。在多媒體信息中，一段音頻信號可能被噪聲污染或在通信中丟失，從而需要進行修復。本文我們提出依據(jù)視頻信息對缺失音頻信息進行修復的一種融合視覺信息的音頻修復方案。
???????此方案核心思想在于：1.將音頻信號在頻譜上進行操作，并將頻譜作為二維圖像信號進行處理，可以極大地利用計算機視覺領域的優(yōu)勢，超越傳統(tǒng)的音頻解決方案。2.為了融合視覺信息，基于音視頻同步學習得到的聯(lián)合子空間會發(fā)揮巨大的優(yōu)勢。
???????針對此問題的研究，我們將已有的多模態(tài)樂器演奏數(shù)據(jù)集MUSIC擴大成為一個新的更全面的數(shù)據(jù)集，MUSICES。實驗證明我們提出的視覺融合的音頻修復系統(tǒng)可以在沒有視頻信息注入的情況下取得可觀的效果，并在加入視頻信息后，生成與視頻和諧的音頻片段。
工商網(wǎng)監(jiān)
評論