你有過水下拍攝照片的經(jīng)歷嗎？你是否注意到水下拍攝的圖片總是有些模糊甚至失真？這是由于光的衰減和反向散射效應(yīng)導(dǎo)致水下能見度較低。

為了解決這個(gè)問題，哈爾濱工程大學(xué)的科研人員設(shè)計(jì)了一種機(jī)器學(xué)習(xí)算法用于生成逼真的水下圖像，以及一種基于生成的圖像進(jìn)行訓(xùn)練從而實(shí)現(xiàn)自然色恢復(fù)和除霧的算法。團(tuán)隊(duì)表示該算法在圖片處理質(zhì)量和數(shù)量上都與頂尖技術(shù)水平相當(dāng)，該算法每秒在單個(gè)顯卡上處理的幀數(shù)可達(dá)125幀。

圖：圖像增強(qiáng)前后的水下目標(biāo)探測結(jié)果。（A）真實(shí)的水下照片和（B）基于模型輸出的真實(shí)照片。紅色框內(nèi)為扇貝，藍(lán)色框內(nèi)為海參，綠色框內(nèi)為海膽。

團(tuán)隊(duì)表示大多數(shù)水下圖像增強(qiáng)算法（例如調(diào)節(jié)白平衡算法）都不是基于物理成像模型構(gòu)建的，因此算法的泛化能力較差。而該技術(shù)采用的方法是首先利用生成對抗網(wǎng)絡(luò)（GAN）來生成一組特定調(diào)查地點(diǎn)的圖像，再將這組圖像輸入給第二個(gè)算法，U-Net。其中GAN是一種由生成器構(gòu)成的AI模型，用于使鑒別器在分類過程中將合成樣本歸類為真實(shí)樣本。

團(tuán)隊(duì)運(yùn)用3733個(gè)帶標(biāo)簽的圖像以及對應(yīng)的深度地圖訓(xùn)練GAN，圖像主要包括扇貝、海參、海膽及其他水產(chǎn)養(yǎng)殖生物。他們還獲得了包括NY Depth在內(nèi)的公開數(shù)據(jù)集，該數(shù)據(jù)集總共包含數(shù)千張水下照片。

訓(xùn)練完成后，研究人員將雙模型方法的結(jié)果與基線模型方法的結(jié)果進(jìn)行對比。結(jié)果表明，該方法優(yōu)勢體現(xiàn)在兩方面，一方面是顏色還原均勻，另一方面是可以在不破壞原始輸入圖像的底層結(jié)構(gòu)的情況下很好地還原綠色色調(diào)的圖像。通常情況下，該方法還能夠在保持“適當(dāng)?shù)摹绷炼群蛯Ρ榷鹊耐瑫r(shí)還原顏色，這是其他圖像增強(qiáng)方法所做不到的。

不過研究團(tuán)隊(duì)基于受損圖片重建圖像的方法并非首創(chuàng)。劍橋咨詢公司的AI系統(tǒng)DeepRay用10萬個(gè)靜止圖片來訓(xùn)練GAN網(wǎng)絡(luò)，用來消除由不透明玻璃板導(dǎo)致的圖片失真。開源的DeOldify計(jì)劃采用了包括GAN的一系列AI模型來對舊照片和膠卷進(jìn)行著色和還原。

此外，微軟亞洲研究中心的科學(xué)家在去年九月詳細(xì)介紹了一個(gè)用于給視頻自動(dòng)著色的端到端系統(tǒng)。去年英偉達(dá)的研究人員構(gòu)建了一個(gè)框架，該框架僅基于一個(gè)帶注釋的著色視頻幀就能推斷顏色。并且谷歌的AI團(tuán)隊(duì)在去年六月推出了一種無需人工監(jiān)督即可對灰度視頻進(jìn)行著色的算法。

責(zé)任編輯：gt