圖像到圖像的翻譯是一類視覺(jué)和圖形問(wèn)題，其目標(biāo)是學(xué)習(xí)輸入圖像和輸出圖像之間的映射。 它可以應(yīng)用到廣泛的應(yīng)用程序中，例如收集樣式轉(zhuǎn)移，對(duì)象變形，季節(jié)轉(zhuǎn)移和照片增強(qiáng)。

CycleGAN

使用周期一致的對(duì)抗網(wǎng)絡(luò)進(jìn)行不成對(duì)的圖像到圖像翻譯（ICCV 2017）

論文/項(xiàng)目/語(yǔ)義學(xué)者

作者提出了一種在沒(méi)有配對(duì)示例的情況下學(xué)習(xí)將圖像從源域X轉(zhuǎn)換為目標(biāo)域Y的方法。 目的是學(xué)習(xí)映射G：X→Y，從而利用對(duì)抗損失將來(lái)自G（X）的圖像分布與分布Y區(qū)分開(kāi)。 由于此映射的約束嚴(yán)重不足，因此我們將其與反映射F：Y→X耦合，并引入循環(huán)一致性損失以強(qiáng)制執(zhí)行F（G（X））≈X（反之亦然）。

成對(duì)的訓(xùn)練數(shù)據(jù)（左）由訓(xùn)練示例構(gòu)成，它們具有一對(duì)一的對(duì)應(yīng)關(guān)系。 未配對(duì)的訓(xùn)練集沒(méi)有這種對(duì)應(yīng)關(guān)系（摘自本文）

圖取自本文。

該模型包含兩個(gè)映射函數(shù)G：X→Y和F：Y→X，以及相關(guān)的對(duì)抗標(biāo)識(shí)符DY和DX。 DY鼓勵(lì)G將X轉(zhuǎn)換為與域Y不可區(qū)分的輸出，反之亦然，對(duì)于DX，F(xiàn)和X則相反。 為了進(jìn)一步規(guī)范化映射，他們引入了兩個(gè)"周期一致性損失"，這些損失捕捉了直覺(jué)，即如果我們從一個(gè)域轉(zhuǎn)換到另一個(gè)域然后再次返回，我們應(yīng)該到達(dá)起點(diǎn)。

StarGAN

用于多域圖像到圖像轉(zhuǎn)換的統(tǒng)一生成對(duì)抗網(wǎng)絡(luò)（CVPR 2018）

論文/代碼/語(yǔ)義學(xué)者

現(xiàn)有的圖像到圖像轉(zhuǎn)換方法在處理兩個(gè)以上的域時(shí)具有有限的可擴(kuò)展性和魯棒性，因?yàn)閼?yīng)該為每對(duì)圖像域分別構(gòu)建不同的模型。 StarGAN是一種新穎且可擴(kuò)展的方法，可以僅使用一個(gè)模型就可以對(duì)多個(gè)域執(zhí)行圖像到圖像的轉(zhuǎn)換。

跨域模型與我們提出的模型StarGAN之間的比較。 （a）要處理多個(gè)域，應(yīng)為每對(duì)圖像域建立跨域模型。 （b）StarGAN能夠使用一個(gè)生成器來(lái)學(xué)習(xí)多個(gè)域之間的映射。 該圖表示連接多個(gè)域的星形拓?fù)洹＃ㄕ员疚模?/p>

StarGAN概述，由兩個(gè)模塊（鑒別器D和生成器G）組成。（a）D學(xué)會(huì)區(qū)分真實(shí)圖像和偽圖像，并將真實(shí)圖像分類到其對(duì)應(yīng)的域。 （b）G接受圖像和目標(biāo)域標(biāo)簽作為輸入，并生成偽圖像。 目標(biāo)域標(biāo)簽在空間上復(fù)制并與輸入圖像連接在一起。 給定原始域標(biāo)簽，?G嘗試從偽造圖像中重建原始圖像。 （d）G試圖生成與真實(shí)圖像沒(méi)有區(qū)別的圖像，并被D分類為目標(biāo)域。