Residual Pattern Learning: 在不影響模型閉集表現(xiàn)的情況下分割異常物體

Out-of-Distribution (OoD) Segmentation 是在原有的閉集分割器的基礎(chǔ)上, 讓模型進(jìn)一步擁有識(shí)別異常物體的能力?，F(xiàn)在的SOTA的方法都是基于重新fine-tuning/retraining整個(gè)閉集Segmentation網(wǎng)絡(luò), 這樣會(huì)導(dǎo)致對(duì)原本inlier object的性能下降。同時(shí), 大多數(shù)OoD的辦法很難對(duì)多個(gè)不同的環(huán)境進(jìn)行很好的擬合, 導(dǎo)致識(shí)別異常物體的性能在不同的場(chǎng)景會(huì)落差很大。

在這里和大家分享一波我們ICCV 2023中稿的工作 "Residual Pattern Learning for Pixel-wise Out-of-Distribution Detection in Semantic Segmentation". 在本次工作中, 我們針對(duì)當(dāng)前OoD Segmentation中的兩個(gè)問(wèn)題進(jìn)行了優(yōu)化, 并且用consistent checkpoint 在所有數(shù)據(jù)集上取得了非常好的性能。? ? ? ??

背景:

語(yǔ)義分割模型用于將像素級(jí)別的sample分類到 In Distribution (ID) 類別中。然而，當(dāng)在開放世界中部署時(shí)，這些模型的可靠性不僅取決于其對(duì)ID像素的分類能力，還取決于其對(duì)Out-of-Distribution (OoD) 像素的檢測(cè)能力。比如在autonomous driving的任務(wù)中, 路上出現(xiàn)一些障礙物 (OoD object, 比如說(shuō)`路障`) 的時(shí)候, 傳統(tǒng)的閉集semantic segmentation并不能很好的檢測(cè)出這些物體。因?yàn)樵镜膕egmentation 模型在訓(xùn)練的時(shí)候并沒有定義這些種類, 導(dǎo)致這類物體會(huì)被判定成head categories (e.g., road), 會(huì)對(duì)駕駛造成潛在的危險(xiǎn)。

OoD Segmentation方向概述:?

1). 鎖網(wǎng)絡(luò): 最straight forward的方法就是直接通過(guò)softmax 或者 energy的結(jié)果來(lái)把segmentation輸出的mask里面潛在的low confidence pixel判斷成OoD。這種方法的好處是不會(huì)影響ID的segmentation性能, 并且不需要訓(xùn)練網(wǎng)絡(luò), 但是在遇到復(fù)雜的inlier或者outlier的時(shí)候, 性能會(huì)下降的很明顯, 如上圖 (a) 所示。

2). 重新訓(xùn)練: 最近的辦法主要是通過(guò)Outlier Exposure (OE) 將一個(gè)不相干的OoD數(shù)據(jù)集加入到ID數(shù)據(jù)集, 然后fine-tune已經(jīng)訓(xùn)練好的close-set segmentation模型。在這個(gè)fine-tuning過(guò)程中, 利用新加入的OoD object來(lái)強(qiáng)行增加原本segmentation模型對(duì)異常的敏感度, 使得其OoD分割的性能得到了非常大的提升。但是這類方法的重新訓(xùn)練會(huì)導(dǎo)致原本ID類別的分割的性能受到不可逆的干擾, 如圖 (b) 所示。

由這兩點(diǎn)為motivation, 我們想要在保留原本inlier的分類性能的情況下, 得到一個(gè)穩(wěn)定有效的OoD 分割器。

方法:?

1). Residual Pattern Block (RPL):

與以往直接fine-tuning/retraining 分割網(wǎng)絡(luò)不同, 我們?cè)谠谠镜木W(wǎng)絡(luò)上外接了一個(gè)輕便的RPL block (frpl)，然后原本的segmentation模型會(huì)全程鎖住?；舅悸肥? frpl block對(duì)ID的pixel不做任何影響, 但是對(duì)潛在的OoD pixel做一個(gè)擾動(dòng), 讓對(duì)應(yīng)的confidence大幅下降, 進(jìn)而通過(guò)最終map里的energy來(lái)判別是不是異常。

在訓(xùn)練過(guò)程中, 我們先用原本的網(wǎng)絡(luò)生成 y_tilde (ID pseudo label):

然后用RPL擾動(dòng)后的原本網(wǎng)絡(luò)的結(jié)果:

對(duì)ID的pixel, 我們用cross-entropy來(lái)做penalty, 保證原本對(duì)OE的OoD object, 我們用下面的Energy cost function來(lái)約束他的能量

在訓(xùn)練的過(guò)程中, RPL不會(huì)導(dǎo)致原本segmentation模型的性能受到影響, 并且能高效的分割出潛在的OoD pixel。

2). Context-Robust Contrastive Learning (CoroCL):

目前所有OoD Segmentation在不同場(chǎng)景下的表現(xiàn)都不穩(wěn)定, 比如大多數(shù)分割器在城市場(chǎng)景下能夠很好的檢測(cè)到物體, 但是在以下鄉(xiāng)村的環(huán)境 (context) 下就會(huì)直接失效。

為了應(yīng)對(duì)這個(gè)問(wèn)題, 增強(qiáng)網(wǎng)絡(luò)對(duì)多個(gè)context的魯棒性, 我們引用了supervised contrastive learning。我們?cè)赗PL的基礎(chǔ)上多加了一層projection layer, 并且隨機(jī)提取四種樣本, 分別是

1). ID 場(chǎng)景里的 inlier pixel, 2). ID 場(chǎng)景里的OoD pixel,? ?? ? ? ? ? 和

3). OoD 場(chǎng)景里的inlier pixiel 4). OoD 場(chǎng)景里的OoD Pixel ?? ? ? ? ?

我們通過(guò)InfoNCE來(lái)將不同場(chǎng)景的Inlier pixel聚合到一起, 并且推遠(yuǎn)OoD pixel? ? ? ?

實(shí)驗(yàn):

1). Test Results (wandb visualisation: https://wandb.ai/yy/RPL?workspace=user-pyedog1976)? ? ?

我們的結(jié)果在多個(gè)benchmark上獲得了最穩(wěn)定的結(jié)果, 超過(guò)了之前的SOTA超過(guò)10個(gè)點(diǎn)的FPR和20個(gè)點(diǎn)的AuPRC。

2). Ablation Study

在消融實(shí)驗(yàn)里, 我們可以先比較了用entropy和energy用來(lái)當(dāng)loss的結(jié)果, 然后比較了使用RPL和直接使用一個(gè)binary OoD 檢測(cè)器 (最后一行), RPL與Energy帶來(lái)了穩(wěn)定的提升。然而RPL在不同的context也有之前OoD segmentation的通病: 在FS-StaticL&F這種city環(huán)境下效果很好, 但是在其他的benchmark比如Anomaly&RoadAnomaly表現(xiàn)卻很差 (25.65 & 17.74), CoroCL很好的緩解了這個(gè)問(wèn)題。

2.1). Ablation of RPL

在上圖, 我們比較了原本close-set 分割模型的 mIoU [39] 和 其他re-training based OoD ([3], [9] and [31]) 在close-set的表現(xiàn)。我們的方法和freeze model 的方法 [13] 在ID數(shù)據(jù)集沒有改變, 但是我們的方法有更好的識(shí)別OoD pixel的性能 (如section 1.) 所示)。

?

同時(shí)如上表, 我們RPL block可以對(duì)其他的OoD的方法在所有benchmark帶來(lái)進(jìn)一步的提升。

2.2). Ablation of CoroCL

我們?cè)趯?duì)anchor set 和 contrastive set的選擇上, 測(cè)試了不同的組合。在最后我們發(fā)現(xiàn)當(dāng)使用Anchor set為Inlier與OE, Contrastive set為全部種類時(shí)效果最好。在這種組合下, InfoNCE只會(huì)將 ?? ? ? ? ?互相拉近, 推遠(yuǎn) ? ? ? ? ? , 但不會(huì)把兩種OoD ? ? ? ? ?拉近。

3). The Learned RPL Feature

我們用self-attention

torch.einsum(’abc,bca->bc’,r, r.permute(1,2,0))

來(lái)可視化RPL的輸出學(xué)到的OoD pattern (r)。在上圖可以看到, RPL對(duì)潛在的OoD object會(huì)輸出擾動(dòng), 而ID的pixel會(huì)擬合0輸出。

3). Final Visualisation?

* 顏色越偏紅 代表異?？赡苄栽礁?/p>

編輯：黃飛

?