前方請注意，一款機器人正在對你微笑！

該機器人由來自中國的哥倫比亞大學(xué)計算機科學(xué)專業(yè)在讀博士生陳博源主導(dǎo)研發(fā)，它的名字叫夏娃（EVA）。

陳博源告訴 DeepTech，夏娃的命名源于希伯來語，意為 “生命 “。相關(guān)論文已于 5 月 30 日在 ICRA 會議上發(fā)表，論文名為《從心而笑：用學(xué)習(xí)模型驅(qū)動機器人臉》Smile Like You Mean It: Driving Animatronic Robotic Face with Learned Models，陳博源擔(dān)任第一作者。今年 4 月，機器人的早期藍圖也已經(jīng)在 Hardware-X 上開源。

目前，多數(shù)機器人都是靜態(tài)面孔、或者執(zhí)行預(yù)先設(shè)計好的表情，但隨著酒店機器人等 C 端產(chǎn)品的普及，面部更加逼真、且能根據(jù)不同情景表達多樣表情的機器人，也成為科學(xué)家們的研究對象。

夏娃的誕生耗時五年左右，陳博源的導(dǎo)師霍德?利普森（Hod Lipson）說：“夏娃的想法在幾年前就形成了，當(dāng)時我和我的學(xué)生開始注意到我們實驗室里的機器人正用它那塑料的、大大的眼睛盯著我們看?！?有次在雜貨店里，他看到一個補貨機器人，它帶著一頂舒適的手工編織帽。

當(dāng)時霍德就想，人們通過給機器人設(shè)計眼睛、身份或名字，來增加它們的人性化，如果眼睛和衣服都有效，為什么不制造一個擁有超級表情和反應(yīng)靈敏的人臉機器人呢？

然而說易行難，過去幾十年來，機器人的身體都由金屬或塑料制成，由于材料過硬導(dǎo)致機身無法像人體組織那樣流動和移動。

但是，模仿人類的面部表情，是讓機器人實現(xiàn)自適應(yīng)面部反應(yīng)的第一步。盡管這類系統(tǒng)具有實際價值，但現(xiàn)有研究主要集中在硬件設(shè)計和預(yù)先編程的面部表情上，即允許機器人從預(yù)定義的集合中選擇一個面部表情。

而人類能實現(xiàn)的表情復(fù)雜且多樣，因此具備該能力的機器人研發(fā)仍有一定挑戰(zhàn)性。

幾年前，夏娃項目的第一階段啟動，最初的夏娃是一個無實體的藍色半身像。之所以用藍色，是因為研究者希望避免機器人和人類過于相似，那種設(shè)計非常容易導(dǎo)致 “恐怖谷” 效應(yīng)（Uncanny Valley），該效應(yīng)指的是對于會威脅到人類存在的事物，人類會產(chǎn)生本能的反感和恐懼。

研究中，該團隊給夏娃設(shè)計了一款皮膚，其面部柔軟而富有表情，還能和人類表情相匹配。使用基于視覺的自我監(jiān)督學(xué)習(xí)框架，可把夏娃的學(xué)習(xí)過程分為生成模型和逆模型，從而實現(xiàn)準確和多樣化的面部模仿。

牽動臉部 42 塊微小肌肉，表達 6 種基本情緒

具體來說，他們使用尼龍線和馬達來牽引夏娃臉上的柔性硅膠臉皮，這種機械結(jié)構(gòu)構(gòu)成了夏娃臉部的人造 “肌肉”。

憑借不同 “肌肉” 部位的拉伸和收縮，夏娃會表達憤怒、厭惡、恐懼、喜悅、悲傷和驚訝等六種基本情緒。

而通過附著在夏娃皮膚和骨骼不同點上的 42 塊微小肌肉，它可表達的表情遠超預(yù)先編程方法可達到的范圍。

創(chuàng)造夏娃的最大挑戰(zhàn)，是設(shè)計一個足夠緊湊的系統(tǒng)。該系統(tǒng)能讓它適應(yīng)人類頭骨的范圍，同時還能具備足夠的功能以產(chǎn)生各種面部表情。

為克服該挑戰(zhàn)，陳博源等人使用 3D 打印來制造各種零件，這些零件能和夏娃的頭骨無縫集成在一起。結(jié)合上面提到的自監(jiān)督學(xué)習(xí)系統(tǒng)，可讓夏娃的學(xué)習(xí)過程完全不依賴于任何來自人來的數(shù)據(jù)集。

經(jīng)過團隊初期的努力，夏娃的微笑、皺眉甚至是不高興，都會給實驗室成員帶來情緒反應(yīng)。

陳博源的導(dǎo)師霍德說：“有一天，當(dāng)夏娃突然給我一個大大的、友好的微笑時，我正忙著自己的事，我知道這純粹是機械性的，但我發(fā)現(xiàn)自己不由自主地回以微笑。”

夏娃會笑了！接下來，他們要對指導(dǎo)夏娃面部動作的 AI 程序進行編程。編程之后，假如有人來到夏娃身邊，它可使用深度學(xué)習(xí)來 “閱讀” 人類表情。

但他們很快意識到，夏娃的面部運動過程過于復(fù)雜，因此無法被預(yù)定義的規(guī)則集控制。為應(yīng)對該挑戰(zhàn)，陳博源和團隊使用多個深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，創(chuàng)建出了夏娃的 “大腦”。

該“大腦” 具備兩大能力：讓夏娃通過大量的隨機運動，來了解自己復(fù)雜的機械系統(tǒng)能夠做出的各種表情；其次，在 “閱讀” 人類面孔后能夠想象：如果夏娃要模仿同樣的表情，自己看起來應(yīng)該是什么樣子的呢？

為了讓夏娃知道自己的機械結(jié)構(gòu)和臉部結(jié)構(gòu)之間的對應(yīng)關(guān)系，團隊記錄下了數(shù)小時夏娃在鏡頭面前隨意運動的影像，就像人類在鏡子前觀看自己一樣，夏娃的內(nèi)部神經(jīng)網(wǎng)絡(luò)（逆模型）學(xué)會了將肌肉運動、和自己臉部的視頻片段進行配對。

這時，夏娃對其自我形象已經(jīng)具備初步了解，接下來通過另一個深度神經(jīng)網(wǎng)絡(luò)（生成模型），它會將自我形象與目標面部表情特征進行匹配。

經(jīng)過多次迭代和兩個神經(jīng)網(wǎng)絡(luò)，夏娃最終可以閱讀人類的表情，并且對不同的表情進行實時模仿。

夏娃 2.0：設(shè)計上做出重大升級

基于夏娃 1.0，陳博源和即將加入其所在實驗室攻讀博士學(xué)位的胡宇航，在本次論文中提出了夏娃 2.0，把此前設(shè)計做了重大升級。

據(jù)他介紹，夏娃 2.0 由兩個子模塊組成：面部運動模塊和頸部運動模塊。

研究中，他們倆使用微型伺服電機來驅(qū)動夏娃表面的所有部件，這些部件都基于現(xiàn)成的硬件組件，可以自行 3D 打印或者去網(wǎng)上購買。

夏娃 2.0 還有一個基于學(xué)習(xí)的通用框架，能讓它從視覺觀察中學(xué)習(xí)面部模擬，從而模仿人類的不同表情。

更重要的是，該方法無需依賴人類監(jiān)督來提供命令，其關(guān)鍵思想是將問題分解為兩個階段：（1) 給定標準化的人類面部特征之后，首先使用生成模型合成具有同樣表情的機器人自我圖像；(2）然后，利用逆網(wǎng)絡(luò)輸出的電機指令來驅(qū)動機器人做出對應(yīng)表情。

相關(guān)實驗表明，該方法優(yōu)于此前基于最近鄰搜索的算法、以及從人臉到動作的直接映射方法。此外，夏娃的模仿可視化表明，對于不同的人類對象，該方法可模仿出準確的面部表情。

陳博源介紹稱，該研究概括了 12 個人類受試者和近 400 個不同的面部表情。經(jīng)測試發(fā)現(xiàn)，夏娃的響應(yīng)時間約為 0.18s，實時反應(yīng)能力較強。

在夏娃 2.0 中，其面部運動模塊可以進一步分為顱骨框架、眼睛模塊、肌肉模塊和顎模塊。團隊還重新設(shè)計了顱骨框架的三維形狀，為的是擴大機動空間，讓夏娃做更靈活的運動。新的頭骨框架，也讓其皮膚連接更緊密，面部外觀更光滑、更自然。

通過增加一對球關(guān)節(jié)和三對平行四邊形機制，還可確保夏娃 6 自由度的眼球模塊可在 ±20?的水平和垂直范圍內(nèi)自由移動，每個眼球的旋轉(zhuǎn)由兩個電機和三個球關(guān)節(jié)連桿控制。此外，基于人臉的眼瞼設(shè)計也得到升級。

為了減少肌肉控制噪音，陳博源讓每根尼龍繩穿過連接頭骨前部、和電機的透明乙烯基管，這樣可確保每塊肌肉的變形與電機的旋轉(zhuǎn)角度成正比。

我們可以和機器人建立信任嗎？

夏娃只是一項實驗室設(shè)備，它還不能像人類那樣使用面部表情，去進行復(fù)雜的交流。但是，這種可對各種人體面部表情語言做出反應(yīng)的機器人研究，將對機器人在工作場所、醫(yī)院、學(xué)校和家庭中發(fā)揮重要作用。

陳博源認為，未來機器人與人類的交互只增不減，因此和機器建立信任也變得越來越重要。

概括來說，該團隊提出了一種新的軟皮膚、以及基于視覺系統(tǒng)的電子機器人臉感知系統(tǒng)，并介紹了一個兩階段的自我監(jiān)督學(xué)習(xí)框架人臉模擬。

其實驗表明，在各種條件下，兩階段算法均能提高模仿人類面部表情的準確性和多樣性，并能實現(xiàn)實時規(guī)劃，有望給實際應(yīng)用開辟新的機會。

陳博源表示，模仿——是賦予機器人更復(fù)雜技能的重要一步。但是，對于交互式社交機器人來說，生成適當(dāng)?shù)姆磻?yīng)也是必不可少的。

更廣泛地說，構(gòu)建交互式機器人需要對他人情感、欲望和意圖進行更高水平的理解。因此對他來說，未來一個有趣的方向是探索機器人的高階思維。

陳博源生于 1994 年，談及學(xué)習(xí)經(jīng)歷，他告訴 DeepTech，其本科就讀于吉林大學(xué)電子科學(xué)與工程學(xué)院，大四做畢設(shè)時，獲得去英國曼徹斯特大學(xué)訪問的機會。本科畢業(yè)后，因為喜歡紐約的藝術(shù)氣息，申請來到哥倫比亞大學(xué)讀碩士。

后來在 TedTalk 看到目前導(dǎo)師霍德的演講，并被后者深深吸引，霍德的演講曾是 TedTalk 上點擊率最高的機器人主題演講，出于對學(xué)術(shù)大牛的崇拜，以及剛好項目上有合作，陳博源來到霍德教授組（創(chuàng)意機器實驗室）讀博士，目前是博士最后一年。

談及未來就業(yè)，他說無論是教職機會和工業(yè)界機會，都會考慮一下。至于夏娃的未來，他表示希望不斷對軟硬件功能升級，使得夏娃可以作為一類研究平臺，為教育、醫(yī)療領(lǐng)域的認知機器人做出重要貢獻。

原文標題：具備6種情緒，還會跟著奧巴馬一起笑！26歲吉大畢業(yè)生研發(fā)軟皮膚機器人，已被ICRA 2021接收 | 專訪

文章出處：【微信公眾號：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq