計算機視覺界的頂級競賽之一MS COCO 2018年結(jié)果最新出爐，在實例分割、全景分割、人體關(guān)鍵點檢測、DensePose以及今年最新的街景檢測和分割任務(wù)中，全部6項冠軍均由中國團隊包攬。其中，曠視獲得了4項冠軍（含1項并列第一），來自北郵和滴滴的團隊分別獲得1項冠軍。微軟亞洲研究院獲得1項亞軍，北京大學(xué)和360組成的團隊也獲得了1項亞軍。

2018年最受關(guān)注的計算機視覺挑戰(zhàn)賽是什么？

COCO！

MS COCO的全稱是常見物體圖像識別（Microsoft Common Objects in Context），起源于是微軟于2014年出資標(biāo)注的Microsoft COCO數(shù)據(jù)集，同名競賽與此前著名的ImageNet 競賽一樣，被視為是計算機視覺領(lǐng)域最受關(guān)注和最權(quán)威的比賽之一。

而在ImageNet競賽停辦后，COCO競賽就成為是當(dāng)前物體識別、檢測等領(lǐng)域的一個最權(quán)威、最重要的標(biāo)桿，也是目前該領(lǐng)域在國際上唯一能匯集Google、微軟、Facebook以及國內(nèi)外眾多頂尖院校和優(yōu)秀創(chuàng)新企業(yè)共同參與的大賽。

剛剛，ECCV官網(wǎng)上發(fā)布了2018年最新COCO競賽的結(jié)果：

在物體檢測、全景分割、人體關(guān)鍵點檢測、DensePose以及2018年最新提出的Mapillary街景檢測（Mapillary Detction）和街景全景分割（Mapillary Panoptic）6項任務(wù)中，中國的團隊包攬了所有的冠軍！

根據(jù)ECCV COCO Workshop的日程表，我們可以發(fā)現(xiàn)：

曠視團隊（Megvii）獲得了4項冠軍：實例分割（并列第一）、全景分割、人體關(guān)鍵點檢測，以及Mapillary街景全景分割；

北京郵電大學(xué)自動化學(xué)院模式識別與測控技術(shù)實驗室（BUTP-PRIV）獲得了DensePose任務(wù)的冠軍；

滴滴團隊（DiDi Map Vision）獲得了Mapillary街景檢測冠軍。

不僅如此，其他中國團隊也斬獲了出色的結(jié)果：

微軟亞洲研究院團隊（MSRA）獲得了人體關(guān)鍵點檢測亞軍；

北京大學(xué)和360組成的團隊（PKU_360）獲得了全景分割任務(wù)的亞軍。

MS COCO 2018，當(dāng)之無愧是中國計算機視覺團隊稱霸的一年！

COCO挑戰(zhàn)賽：ImageNet 后最權(quán)威的計算機視覺衡量標(biāo)桿

今年的COCO競賽與ECCV 2018一同舉辦，而且新增了兩項街景識別的新任務(wù)——Mapillary Vistas，這是是新近推出的街景集圖像數(shù)據(jù)集，專注于圖像的高階語義理解，推動自動駕駛和機器人導(dǎo)航等領(lǐng)域的技術(shù)落地。在數(shù)據(jù)集和應(yīng)用任務(wù)方面，兩者有很多不同，而后者對前者起補足作用。通常來講，COCO 是自然場景下的物體識別，Mapillary 則聚焦于街景場景識別，因此聯(lián)合挑戰(zhàn)賽的形式有利于計算機視覺技術(shù)更貼近現(xiàn)實場景，更具應(yīng)用價值。

COCO是一個旨在促進目標(biāo)檢測研究的圖像數(shù)據(jù)集，重點關(guān)注檢測上下文中的目標(biāo)。COCO的注釋包括80個類別對象的實例分割，91個類別的物品分割，人物實例的關(guān)鍵點檢測，以及每個圖像都有5個圖像標(biāo)題（image captions）。

自 2015 年首屆挑戰(zhàn)賽以來，COCO 賽項數(shù)量不斷更新，評估標(biāo)準(zhǔn)也更加復(fù)雜；COCO 2018 相較往年又有改變。在檢測方面，實例分割近年在 COCO 上大為流行，今年，COCO 和 Mapillary 都有此賽項；隨著檢測技術(shù)走向飽和，COCO 去掉了邊界框檢測這一賽項，但成績依然出現(xiàn)在榜單上。

另外一個變動是新增了 DensePose和 Panoptic Segmentation 兩個賽項。Panoptic Segmentation 同時解決一張圖像上前景物體與背景物體的分類問題，把互為分裂的語義分割和實例分割整合為一，推動分割技術(shù)步入新境界，不斷逼近現(xiàn)實應(yīng)用。COCO 和 Mapillary 也都有此賽項。

COCO 2018挑戰(zhàn)賽的具體任務(wù)包括：(1)利用分割掩模進行目標(biāo)檢測（實例分割），(2)全景分割，(3) 人體關(guān)鍵點檢測，(4)DensePose。

1、COCO實例分割任務(wù)

COCO目標(biāo)檢測任務(wù)（Object Detection Task）旨在推動目標(biāo)檢測領(lǐng)域的先進技術(shù)。COCO 2018挑戰(zhàn)中只出現(xiàn)具有對象分割輸出的檢測任務(wù)。

隨著近年來物體檢測技術(shù)已經(jīng)成熟，COCO不再以邊界框檢測任務(wù)為主。雖然leaderboard仍保持開放，但邊界框檢測任務(wù)不是workshop challenge；相反，競賽鼓勵研究人員專注于更具挑戰(zhàn)性和視覺信息的實例分割任務(wù)。

2、COCO全景分割任務(wù)

COCO全景分割任務(wù)（Panoptic Segmentation Task）的目標(biāo)是推進場景分割的最新技術(shù)水平。全景分割需處理物體類和事件類，統(tǒng)一了兩種典型的語義和實例分割任務(wù)?！叭啊保╬anoptic）的定義是指“包括一個視圖中可見的所有內(nèi)容”，即一個統(tǒng)一的、全局的分割視圖。

3、COCO 人體關(guān)鍵點檢測任務(wù)

COCO 人體關(guān)鍵點檢測任務(wù)需要在具有挑戰(zhàn)性、不受控制的條件下定位人物的關(guān)鍵點（person keypoints）。關(guān)鍵點檢測任務(wù)涉及同時檢測并定位人物的關(guān)鍵點（在測試時沒有給出人的位置）。

4、COCODensePose任務(wù)

COCO DensePose任務(wù)需要在具有挑戰(zhàn)性，不受控制的條件下定位密集的人物關(guān)鍵點。DensePose任務(wù)涉及同時檢測和定位人的密集關(guān)鍵點，將所有人物像素映射到人體的3D表面。

Mapillary Vistas挑戰(zhàn)賽：2018年新加入的自動駕駛類任務(wù)

隨著計算機視覺技術(shù)的不斷進步，今年，Mapillary Research也加入了COCO競賽，并提供了Mapillary Vistas數(shù)據(jù)集。Vistas是一個多樣化的、像素精確的街道級圖像數(shù)據(jù)集，用于在全球范圍內(nèi)增強自動駕駛能力。

Mapillary Vistas 數(shù)據(jù)集的設(shè)計和收集涵蓋了外觀的多樣性、注釋細節(jié)的豐富性和廣闊的地理范圍。相關(guān)競賽的難點和要點在于把互為分裂的語義分割和實例分割整合為一，推動分割技術(shù)步入新境界，不斷逼近現(xiàn)實應(yīng)用。

Mapillary Challenges基于公開的Vistas Research數(shù)據(jù)集，其特點是：

28個stuff類，37個thing類，以及1個void類

25K高分辨率圖像

地理范圍覆蓋全球，包括北美和南美、歐洲、非洲、亞洲和大洋洲

非常多樣的天氣條件（陽光、雨、雪、霧、霧）和捕獲時間（黎明、白天、黃昏、夜晚）

廣泛的相機傳感器，不同的焦距，圖像寬高比和不同類型的相機噪音

不同的捕捉視角（道路、人行道、公路外）

基于Mapillary Vistas數(shù)據(jù)集的競賽任務(wù)包括：(1)目標(biāo)檢測和分割掩碼（實例分割）；(2)全景分割（panoptic segmentation），分別對應(yīng)COCO的檢測和全景分割任務(wù)。

1、Mapillary Vistas目標(biāo)檢測任務(wù)

Mapillary Vistas目標(biāo)檢測任務(wù)強調(diào)識別靜態(tài)的街道圖像對象（如路燈、路標(biāo)，電線桿）的個體實例，以及動態(tài)的街道參與者（如汽車、行人、騎自行車的人）。這項任務(wù)旨在推動最先進的實例分割，針對汽車或運輸機器人等自動駕駛應(yīng)用的關(guān)鍵感知任務(wù)。

2、Mapillary Vistas全景分割任務(wù)

Mapillary Vistas Panoptic分割任務(wù)針對街景圖像中的完整感知區(qū)域。全景分割需要同時處理stuff 類和thing類，統(tǒng)一了典型的不同語義和實例分割任務(wù)。

COCO 2017競賽結(jié)果：中國團隊刷榜，超越谷歌、Facebook

回過頭去看2017年的COCO 競賽的結(jié)果，當(dāng)時是在ICCV 2017 “Joint COCO and Places Recognition Challenge Workshop” 公布。

當(dāng)時，微軟、Facebook、谷歌、商湯、曠視等企業(yè)，以及卡內(nèi)基梅隆大學(xué)、北京大學(xué)、香港中文大學(xué)、上海交通大學(xué)等高校紛紛參與，競爭激烈。

在側(cè)重對物體的理解的傳統(tǒng)4大任務(wù)中：

物體檢測（邊界框 BBox）：曠視研究院團隊第一，港中文&北大團隊 UCenter 第二，微軟亞洲研究院（MSRA）團隊與來自 FAIR 的團隊分別獲得第三、第四

語義分割（Segmentation）：港中文&北大團隊 UCenter 第一，曠視研究院團隊第二，F(xiàn)AIR 和MSRA 分別獲得第三、第四

人體關(guān)鍵點檢測：曠視研究院第一，北航&商湯團隊 OKS 第二

背景語義分割（Stuff Challenge）：FAIR 團隊第一，牛津視覺實驗室第二

2017年的COCO 還聯(lián)合舉辦了 Places 2017 這項側(cè)重對場景理解的挑戰(zhàn)賽，分為3個子任務(wù)：

Places 分為場景分割、物體分割和邊緣檢測三項任務(wù)。其中，物體分割（Instance Segmentation）任務(wù)，曠視擊敗了谷歌，贏得了冠軍。

根據(jù) Workshop 官方介紹，在 Places 環(huán)節(jié)受邀發(fā)表演講的是來自谷歌（G-RMI）、今日頭條（WinterIsComing，ByteDance）和中科院自動化所與京東合作的團隊（CASIA_IVA_JD）。這無疑是后兩個團隊在 Places 2017 競賽中取得好成績的證明。