本文作者魏秀參，本文首發(fā)于作者的知乎專欄《欲窮千里目》， AI研習(xí)社獲其授權(quán)發(fā)布。

計(jì)算機(jī)視覺 (Computer Vision, CV) 是一門研究如何使機(jī)器“看”的科學(xué)。1963年來自MIT的Larry Roberts發(fā)表的該領(lǐng)域第一篇博士論文“Machine Perception of Three-Dimensional Solids”（），標(biāo)志著CV作為一門新興人工智能方向研究的開始。

在發(fā)展了50多年后的今天，我們就來聊聊最近讓計(jì)算機(jī)視覺擁有「無中生有」能力的幾個有趣嘗試：1）超分辨率重建；2）圖像著色；3）看圖說話；4）人像復(fù)原；5）圖像自動生成?？梢钥闯?，這五個嘗試層層遞進(jìn)，難度和趣味程度也逐步提升。（注：本文在此只談視覺問題，不提太過具體的技術(shù)細(xì)節(jié)，若大家對某部分感興趣，以后再來單獨(dú)寫文章討論 :)

超分辨率重建 (Image Super-Resolution)

去年夏天，一款名為“waifu 2x”（）的島國應(yīng)用在動畫和計(jì)算機(jī)圖形學(xué)中著實(shí)火了一把。waifu 2x借助深度「卷積神經(jīng)網(wǎng)絡(luò)」(Convolutional Neural Network, CNN) 可以將圖像的分辨率提升2倍，同時還能對圖像降噪。簡單來說，就是讓計(jì)算機(jī)「無中生有」的填充一些原圖中并沒有的像素，從而讓漫畫看起來更清晰真切。大家不妨看看下圖，真想童年時候看的就是如此高清的龍珠（）??！

不過需要指出的是，圖像超分辨率的研究始于2009年左右，只是得力于「深度學(xué)習(xí)」的發(fā)展，waifu 2x可以做出更好的效果。在具體訓(xùn)練CNN時，輸入圖像為原分辨率， 而對應(yīng)的超分辨率圖像則作為目標(biāo)，以此構(gòu)成訓(xùn)練的“圖像對” (image pair)，經(jīng)過模型訓(xùn)練便可得到超分辨率重建模型。waifu 2x的深度網(wǎng)絡(luò)原型基于香港中文大學(xué)湯曉歐教授團(tuán)隊(duì)的工作[1]。有趣的是，[1]中指出可以用傳統(tǒng)方法給予深度模型以定性的解釋。如下圖，低分辨率圖像通過CNN的卷積 (convolution) 和池化 (pooling) 操作后可以得到抽象后的特征圖 (feature map)?；诘头直媛侍卣鲌D，同樣可以利用卷積和池化實(shí)現(xiàn)從低分辨率到高分辨率特征圖的非線性映射 (non-linear mapping)。最后的步驟則是利用高分辨率特征圖重建高分辨率圖像。實(shí)際上，所述三個步驟與傳統(tǒng)超分辨率重建方法的三個過程是一致的。

圖像著色 (Image Colorization)

顧名思義，圖像著色是將原本「沒有」顏色的黑白圖像進(jìn)行彩色填充。圖像著色同樣借助卷積神經(jīng)網(wǎng)絡(luò)，輸入為黑白和對應(yīng)彩色圖像的image pair，但是僅僅通過對比黑白像素和RGB像素來確定填充的顏色，效果欠佳。因?yàn)轭伾畛涞慕Y(jié)果要符合我們的認(rèn)知習(xí)慣，比如，把一條汪星人的毛涂成鮮綠色就會讓人覺得很怪異。于是近期，早稻田大學(xué)發(fā)表在2016年計(jì)算機(jī)圖形學(xué)國際頂級會議SIGGRAPH上的一項(xiàng)工作[2]就在原來深度模型的基礎(chǔ)上，加入了「分類網(wǎng)絡(luò)」來預(yù)先確定圖像中物體的類別，以此為“依據(jù)”再做以顏色填充。下圖分別是模型結(jié)構(gòu)圖和顏色恢復(fù)demo，其恢復(fù)效果還是頗為逼真的。另外，此類工作還可用于黑白電影的顏色恢復(fù)，操作時只需簡單的將視頻中每一幀拿出來作colorization即可。

"看圖說話" (Image Caption)

常說“圖文并茂”，文字是除圖像外另一種描述世界的方式。 近期，一項(xiàng)名為“image caption”的研究逐漸升溫起來，其主要任務(wù)是通過計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)的方法實(shí)現(xiàn)對一張圖像自動地生成人類自然語言的描述，即“看圖說話”。值得一提的是，在今年的CV國際頂會CVPR上，image caption被列為了一個單獨(dú)的session，其熱度可見一斑。一般來講在image caption中，CNN用來獲取圖像特征，接著將圖像特征作為語言模型LSTM（RNN的一種）的輸入，整體作為一個「end-to-end」的結(jié)構(gòu)進(jìn)行聯(lián)合訓(xùn)練，最終輸出對圖像的語言描述（見下圖）。

目前image caption領(lǐng)域的最好結(jié)果[3]來自澳大利亞University of Adelaide的Chunhua Shen教授（）團(tuán)隊(duì)。與之前image caption工作相比，他們的改進(jìn)與剛才提到的顏色恢復(fù)簡直有異曲同工之妙，同樣是考慮利用圖像中物體的類別作為較精準(zhǔn)的“依據(jù)”來更好的生成自然語言描述，即下圖中的紅色框框圈起的部分。Image caption的急速發(fā)展不僅加速了CV和NLP在AI大領(lǐng)域內(nèi)的交融，同時也為增強(qiáng)現(xiàn)實(shí)應(yīng)用奠定了更加堅(jiān)實(shí)的技術(shù)基礎(chǔ)。另外，我們更樂于看到今后日趨成熟的image caption技術(shù)嵌入到穿戴式設(shè)備上，那一天盲人便可以間接的“看到光明”。

人像復(fù)原 (Sketch Inversion)

就在六月初，荷蘭科學(xué)家在arXiv上發(fā)布了他們的最新研究成果[4]——通過深度網(wǎng)絡(luò)對人臉輪廓圖進(jìn)行「復(fù)原」。如下圖所示， 在模型訓(xùn)練階段，首先對真實(shí)的人臉圖像利用傳統(tǒng)的線下邊緣化方法獲得對應(yīng)人臉的輪廓圖，并以原圖和輪廓圖組成的“圖像對”作為深度網(wǎng)絡(luò)的輸入，進(jìn)行類似超分辨率重建的模型訓(xùn)練。在預(yù)測階段，輸入為人臉輪廓（左二sketch），經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)的層層抽象和后續(xù)的“還原”可以逐步把相片般的人臉圖像復(fù)原出來（右一），與最左邊的人臉真實(shí)圖像對比，足夠以假亂真。在模型流程圖下還另外展示了一些人像復(fù)原的結(jié)果，左側(cè)一列為真實(shí)人像，中間列為畫家手工描繪的人臉輪廓圖，并以此作為網(wǎng)絡(luò)輸入進(jìn)行人像復(fù)原，最終得到右側(cè)一列的復(fù)原結(jié)果——目測以后刑偵警察再也不用苦練美術(shù)了。

結(jié)語

如今借著「深度學(xué)習(xí)」的東風(fēng)，計(jì)算機(jī)視覺中絕大多數(shù)任務(wù)的performance都被“刷”上了新高，甚至連“人像復(fù)原”，“圖像生成”類似「無中生有」的“奇談”都能以較高質(zhì)量地實(shí)現(xiàn)，著實(shí)讓人們激動不已。不過盡管如此，事實(shí)上距離所謂的顛覆人類的AI“奇點(diǎn)”還相當(dāng)遙遠(yuǎn)，并且可以預(yù)見，現(xiàn)階段甚至相當(dāng)長的一段時間內(nèi)，計(jì)算機(jī)視覺或人工智能還不可能做到真正意義上的「無中生有」，即“自我開創(chuàng)”或稱為“自我意識”。

然而，也非常慶幸我們可以目睹并且親身經(jīng)歷這次計(jì)算機(jī)視覺乃至是整個人工智能的革命浪潮，相信今后一定還會有更多「無中生有」般的奇跡發(fā)生。此刻，我們站在浪潮之巔，因此我們興奮不已、徹夜難眠。

References:

[1] Chao Dong, Chen Change Loy, Kaiming He, Xiaoou Tang.?Image Super-Resolution Using Deep Convolutional Networks,?IEEE Transactions on Pattern Analysis and Machine Intelligence, Preprint, 2015.（）

[2] Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa.?Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification,?In Proc. of SIGGRAPH 2016, to appear.（）

[3] Qi Wu, Chunhua Shen, Lingqiao Liu, Anthony Dick, Anton van den Hengel.?What value do explicit high level concepts have in vision to language problems,?In Proc. of CVPR 2016, to appear.（）

[4] Ya?mur Gü?lütürk, Umut Gü?lü, Rob van Lier, Marcel A. J. van Gerven.?Convolutional Sketch Inversion,?arXiv:1606.03073.（）

[5] Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio.?Generative Adversarial Nets,?In Proc. of NIPS 2014.（）

[6] Jianwen Xie, Song-Chun Zhu, Ying Nian Wu.?Synthesizing Dynamic Textures and Sounds by Spatial-Temporal Generative ConvNet,?arXiv:1606.00972.（）