食物是我們每天必不可少的能量補給，也是很多吃貨小伙伴的快樂源泉。計算機視覺的發(fā)展，對于食物的分析和推薦為我們的餐桌提供了新的可能。拍一張照片就可以從這一餐的食物中分析出食材的營養(yǎng)成分和卡路里的多少，幫助我們監(jiān)控每日能量和營養(yǎng)的攝入，并對膳食進行管理。

除了分析和記錄，計算機輔助食物分析還能對食材的屬性進行分析并對烹飪后的食物色、香、味進行預(yù)測，不同烹飪方法下食材在最終菜品下呈現(xiàn)的樣式。但食物的烹調(diào)方式多種多樣、在不同菜品中呈現(xiàn)的樣子也各不相同，更別說各種無法直接看到的調(diào)味料了。如此復(fù)雜的視覺任務(wù)需要大量的數(shù)據(jù)來對算法進行訓(xùn)練，但數(shù)據(jù)的缺乏阻礙了這一領(lǐng)域的發(fā)展。

為了更好地推動這一領(lǐng)域的進步以解決計算機食物分析的挑戰(zhàn)，來自羅格斯大學(xué)和三星AI中心的研究人員們提出了一種新的食物合成方法，從食材原料的名字直接合成菜品的圖像，為食物分析和預(yù)測提出了新的可能。對于食物圖像的生成，研究人員們進行了諸多有益的探索。雖然基于CycleGAN的方法實現(xiàn)了對食物的風(fēng)格遷移，但是目前還沒有能夠從不同的食材配料中直接生成食物圖像的方法。

食物圖像合成不僅引入了包括食材屬性、加工方法、烹調(diào)方式的復(fù)雜性，同時多樣性的菜品還極度依賴烹調(diào)的過程，生成模型必須能捕捉信息中隱含的關(guān)鍵點才能重建出有效的菜品。

在這篇文章中，研究人員結(jié)合基于注意力的菜譜相關(guān)模型和StackGAN來從食材中生成對應(yīng)的菜品圖像，隨后利用了循環(huán)連續(xù)約束來進一步提高了生成圖像的質(zhì)量、并有效改進了改變原料后生成的菜品效果。

尋找食材與食物圖像共同的隱空間

為了尋找到更為合適的編碼來表示食材與食物圖像間的關(guān)系，研究人員使用了基于注意力的聯(lián)合模型來訓(xùn)練得到隱空間的編碼方法。這一模型一共包含了三部分，分別是食材編碼器、聯(lián)合食物隱空間和美食圖像編碼器。

整個網(wǎng)絡(luò)的目的是將食材信息從文字中抽取出來并送入對應(yīng)的編碼隱空間中去，而對應(yīng)的食物圖像也進行編碼映射到隱空間中，并最大化食材信息編碼和對應(yīng)圖像編碼的余弦相似性。

基于注意力交叉聯(lián)合模型與隱空間，包含了從食材/圖像分別到FoodSpace聯(lián)合隱空間的編碼與映射。

食材原料編碼器的目的在于將菜譜中的食材轉(zhuǎn)化為共享隱含空間中的特征。這一部分的目標是尋找出食材間隱含的關(guān)系，甚至將佐料這樣不明顯的配料信息也挖掘出來。

研究人員通過獨特編碼的食材嵌入到低維向量空間中，并作為序列輸入到雙邊的LSTM中進行訓(xùn)練，每一層的隱空間輸出都作為對應(yīng)食材的特征，并在最后利用注意力機制將這些特征融合起來，基于加權(quán)方法融合所有的隱含狀態(tài)，最終映射共享食物隱含空間中的高維食材特征p(1024維)。圖像編碼器的目的是將食物圖像轉(zhuǎn)換為食物空間中的特征，利用Resent50作為主干網(wǎng)絡(luò)，并利用UPMC-Food-101對模型進行精調(diào)最后利用平均池化后的激活(2048維)，映射到食物空間中去得到隱變量q(1024維)。

通過對兩種模態(tài)數(shù)據(jù)在共享隱空間中的訓(xùn)練后，得到了有效的食材特征表示p，我們就可以基于這一有效的特征利用GAN來合成逼真、有效穩(wěn)定的食物圖像了。

生成菜品

為了將輸入的食材單轉(zhuǎn)換為對應(yīng)菜品的圖像，研究人員基于StackGAN-v2來生成菜品圖像。這一模型包含了三個分支，每一分支都負責(zé)生成某種分辨率下的圖像，也對應(yīng)著自己獨立的判別器(對應(yīng)高、中、低分辨率的生成圖像)。

菜譜中的食材數(shù)據(jù)首先被編碼成共享隱空間中的向量p+，隨后利用條件增強網(wǎng)絡(luò)Fca來估計外觀因子相關(guān)的分布p(c|p+)。將c與噪聲z同時輸入到第一個分支中進行低分辨率圖像生成。通過F0生成隱含特征，并通過T0生成對應(yīng)的圖像。此時前一個分支的隱含特征將作為下一個分支的輸入來生成更高分辨率的圖像。

生成模型包含了三個生成器和判別器，用于生成高中低三種不同分辨率的圖像。

模型中的判別器需要同時完成三個功能，首先需要正確識別出對應(yīng)菜品真實圖像，同時也需要能夠區(qū)分出真實/錯誤對應(yīng)的菜品圖像，還需要識別出模型生成的偽造圖像。這樣就能訓(xùn)練網(wǎng)絡(luò)生成出與訓(xùn)練數(shù)據(jù)中食材對應(yīng)菜品圖像更為接近的結(jié)果。

驚艷的菜品生成結(jié)果

為了檢驗基于注意力的聯(lián)合模型對于特征的抽取能力，研究人員首先進行了基于菜譜食材的對應(yīng)圖像檢索實驗。在實驗中研究人員基于Recipe1M數(shù)據(jù)集進行訓(xùn)練，并抽取了其中1989種常見食材，并使用擁有多張菜品圖和多種食材的菜譜。

在實驗中主要利用了中位檢索排序(median retrieval rank, MedR, 越小越好)和top k召回率(recall at top K, R@K，召回越大越好)來對結(jié)果進行度量。從下表中可以看到研究人員提出的方法將MedR下降了很多，同時提升了R@K。

下圖展示了菜譜中的食材檢索出的top5對應(yīng)圖像。可以看到檢索出的圖像都屬于同一類，證明了模型對于原材料的理解和特征抽取具有泛化性。

隨后研究人員針對沙拉、餅干和松餅等三類西方常見的食物進行訓(xùn)練和合成，并利用感知分數(shù)和Frechet感知距離來作為評測指標。下圖可以看到本文提出的方法合成出的食物特別逼真，同時也真實反映了食材的構(gòu)成。

對于同樣的食材輸出，模型生成的菜品圖像表現(xiàn)也很穩(wěn)定：

與左上角的真實圖像相比，我們可以看到菜品的種類保持穩(wěn)定，同時圖像的質(zhì)量也十分優(yōu)秀。

最后研究人員還分析了隱含特征空間中的線性插值情況，在兩個不同的菜譜間進行差值可以看到一盤菜漸漸變成了另一盤了！

有了這樣的模型，下次買菜回來不知如何下手的時候，要不要先問問AI這些食材將會變成什么樣的美食呢？說不定它合成出的食物圖像將會啟發(fā)你在廚房的想象力呢！enjoy～～～