(來源綜合自VentureBeat等)

　　Facebook首席執(zhí)行官馬克·扎克伯格宣布推出Facebook Shops。

　　Facebook Shops將為企業(yè)建立單一在線商店，以讓客戶直接連接到Facebook和Instagram上。

“我們的長期愿景是建立一個多功能的Al生活方式助手，它可以準確搜索和排名數(shù)十億種產(chǎn)品，同時根據(jù)個人口味進行個性化。”

　　“同一系統(tǒng)將使在線購物具有社交性，就像現(xiàn)實生活中和朋友一起購物一樣。再進一步，它將推進視覺搜索，以使您的現(xiàn)實環(huán)境就可以支持虛擬購物。

　　如果您看到喜歡的東西（衣服，家具，電子產(chǎn)品等等），您可以為它拍張照片，系統(tǒng)會找到確切的商品，以及從那時到那里立即購買的幾個類似商品，并提供購物建議?！?/p>

　　這聽起來有點像科幻電影《少數(shù)派報告》中的場景：

　　阿湯哥在街上走，視網(wǎng)膜被自動掃描、提取身份信息，得知他喜歡喝吉尼斯黑啤，于是便開始對他投放吉尼斯廣告：“嘿，吉尼斯就在你身后！”

不論在現(xiàn)實中的任何地方，都能看到個性化商品投放

　　想要實現(xiàn)這個魔幻場景，要歸功于Facebook新開發(fā)的三個AI系統(tǒng)。

　　第一個是通用計算機視覺系統(tǒng)GrokNet，目標是在圖片或視頻中識別所有的產(chǎn)品，實現(xiàn)“一切皆可購買”。

　　它在七個數(shù)據(jù)集中進行了訓(xùn)練，其中包含數(shù)百萬個用戶發(fā)布、購買和出售的產(chǎn)品圖像，從SUV到細高跟鞋、再到各種形狀的桌子，無所不包。

　　第二個可以通過處理某個產(chǎn)品的2D視頻而創(chuàng)建其3D視圖，并且還能帶來強大的AR試穿。

　　第三個被稱為實例蒙版投影，可以從圖像中自動分割識別服裝產(chǎn)品。

通用產(chǎn)品識別的計算機視覺系統(tǒng)：GrokNet

　　為了實現(xiàn)這一愿景，F(xiàn)acebook正在部署一種新的通用計算機視覺系統(tǒng)，稱為GrokNet。設(shè)計這種新產(chǎn)品識別模型的目的是使“幾乎所有照片都可以用于購物”。

　　GrokNet目前為Facebook的點對點購物平臺Marketplace中的買賣雙方提供功能。當賣家將照片上傳到Marketplace時，系統(tǒng)會自動列出相應(yīng)屬性，例如商品的顏色或材料。

Facebook表示，GrokNet可以檢測出數(shù)十億張照片中的精確、相似（通過相關(guān)屬性）或一同出現(xiàn)的產(chǎn)品，且在Marketplace上執(zhí)行搜索和過濾的效率至少是類似算法的兩倍。

　　例如，與Facebook基于文本的歸因系統(tǒng)（只能識別33％）相比，它能夠識別90％的家庭和花園列表。

　　作為有限測試的一部分，除了在Marketplace賣家列出商品之前從圖像生成顏色和材料的標簽外，它還用于在頁面管理員上傳照片時在Facebook Pages上標記產(chǎn)品。

看來，以后在Facebook上被自動標記的，不只是你朋友的臉。

　　Facebook表示，在培訓(xùn)GrokNet的過程中，它使用了具有挑戰(zhàn)性角度的真實賣方照片以及目錄樣式的價差。

　　為了使所有國家，語言，年齡，大小和文化盡可能地具有包容性，它抽樣了不同體型，膚色，位置，社會經(jīng)濟階層，年齡和姿勢的示例。

　　Facebook開發(fā)了一種使用GrokNet作為反饋循環(huán)自動生成其他標識符的技術(shù)，而不是使用會花很多時間的產(chǎn)品標識符來手動注釋每個圖像，因為產(chǎn)品標識符已經(jīng)使用了很長時間。

　　利用對象檢測器，該方法可以識別圖像中可能產(chǎn)品周圍的框，然后將框與已知產(chǎn)品列表進行匹配，以將匹配項保持在相似度閾值內(nèi)。結(jié)果的匹配將被添加到訓(xùn)練集中。

　　

Facebook的GrokNet架構(gòu)

　　Facebook還利用了每個培訓(xùn)數(shù)據(jù)集都具有固有難度的情況。較簡單的任務(wù)不需要那么多圖像或注釋，而較困難的任務(wù)則需要更多圖像或注釋。

　　公司工程師通過將大部分培訓(xùn)分配給具有挑戰(zhàn)性的集，而每批只分配少量圖像給簡單的圖像，從而同時提高了GrokNet在不同任務(wù)上的準確性。

　　產(chǎn)品化的GrokNet具有83個損失函數(shù)（即，將變量的事件映射到表示與事件相關(guān)的某些成本的數(shù)字的函數(shù)），可以預(yù)測給定圖像的一系列屬性，包括其類別，屬性和可能的搜索查詢。

　　它僅使用256位來表示每個產(chǎn)品，就產(chǎn)生了類似于指紋的嵌入，可用于諸如產(chǎn)品識別，視覺搜索，視覺上相似的產(chǎn)品推薦，排名，個性化，價格建議和規(guī)范化等任務(wù)。

　　Facebook表示，將來，它將把GrokNet用來為Marketplace的店面賦能，以便客戶可以更輕松地找到產(chǎn)品，了解這些產(chǎn)品的穿著方式并獲得相關(guān)的配件建議。

　　“這種通用模型使我們能夠利用更多的信息源，從而提高了準確性，并且勝過了單一的垂直關(guān)注模型?！?/p>

　　基于SLAM技術(shù)的3D重建和AR試用/試穿

　　第二個AI模型為Facebook的3D視圖功能提供了支持，該功能現(xiàn)已通過測試，在iOS的Marketplace上提供。

　　基于2月份推出的Facebook3D照片工具，這個模型對手機實時視頻進行后期處理，以創(chuàng)建可旋轉(zhuǎn)并向上移動至360度的交互式偽3D表示。

　　Facebook使用一種稱為同步本地化和映射（SLAM）的方法進行重建，該方法可以在跟蹤代理人（智能手機）位置的同時創(chuàng)建和更新未知環(huán)境或?qū)ο蟮牡貓D。

　　智能手機的姿態(tài)在3D空間中重建，其路徑通過檢測異常間隙的系統(tǒng)進行平滑處理，并將每個姿態(tài)映射到校正不連續(xù)性的坐標空間中。

　　為了保持一致性，將平滑的相機路徑映射回原始空間，從而重新引入了不連續(xù)性并確保了物體的可識別性。

　　Facebook的SLAM技術(shù)還結(jié)合了對幀的觀察以獲得稀疏的點云，該點云由任何給定捕獲場景中最突出的特征組成。

　　這個云充當了相機姿勢的指導(dǎo)，這些姿勢與最能代表3D對象的視點相對應(yīng)；圖像以某種方式失真，看起來像是從視點拍攝的。

　　啟發(fā)式離群值檢測器會發(fā)現(xiàn)可能引入失真的關(guān)鍵點，并將其丟棄，而相似性約束使重構(gòu)的無特征部分變得更加僵硬，而散焦區(qū)域看起來更加自然。

　　除了3D重建之外，F(xiàn)acebook表示將很快利用其Spark AR平臺結(jié)帳功能，使客戶能夠看到物品在各個地方的外觀。

　　已經(jīng)有Nyx，Nars和Ray-Ban等品牌在Facebook Ads和Instagram中使用它來增強現(xiàn)實的“試穿”體驗。

該公司計劃支持試穿各種物品，包括家居裝飾。和家具-包括商店在內(nèi)的各種應(yīng)用程序和服務(wù)，F(xiàn)acebook的功能使企業(yè)可以通過網(wǎng)絡(luò)直接進行銷售。

　　自動分割識別服裝產(chǎn)品：實例蒙版投影

　　為了使諸如Marketplace之類的服務(wù)能夠在圖像中自動隔離服裝產(chǎn)品，F(xiàn)acebook開發(fā)了一種細分技術(shù)，該技術(shù)聲稱與幾種基準相比，它可以實現(xiàn)最先進的性能。

　　這項技術(shù)被稱為“實例蒙版投影”（Instance Mask Projection），可以發(fā)現(xiàn)腕帶、項鏈、裙子和毛衣等在不均勻的光線下拍攝或部分被遮蓋的物品，甚至可以以不同的姿勢出現(xiàn)在襯衫和夾克等其他物品下。

　　

Instance Mask Projection可以檢測整個服裝產(chǎn)品并大致預(yù)測其形狀。該預(yù)測用作改進每個像素的估計的指南，允許合并來自檢測的全局信息。預(yù)測的實例圖被投影到一個功能圖中，用作語義分割的輸入。

　　據(jù)Facebook稱，這種設(shè)計更便于進行服裝分析（涉及復(fù)雜的分層、大的變形和非凸體）以及街道場景分割（重疊實例和小對象）。

　　下一步：AI時尚助手！

　　Facebook表示，其目標是有一天將這些不同的方法結(jié)合到一個系統(tǒng)中，即時提供與個人口味和風(fēng)格相匹配的產(chǎn)品推薦。

　　它設(shè)想了一個助手，該助手可以通過分析一個人的衣櫥中的圖像來學(xué)習(xí)喜好，例如，讓人可以嘗試收藏并出售其他人可以預(yù)覽的服裝。

　　為此，F(xiàn)acebook表示，其研究人員正在制作一個“智能數(shù)字壁櫥”的原型，該壁櫥不僅根據(jù)計劃的活動或天氣提供服裝建議，而且還根據(jù)個人產(chǎn)品和美學(xué)提供時尚靈感。

　　Facebook預(yù)計最終將需要新的系統(tǒng)來適應(yīng)不斷變化的趨勢和偏好，理想情況下，該系統(tǒng)將從對潛在所需產(chǎn)品的圖像的反饋中學(xué)習(xí)。

　　它最近在Fashion ++方面取得了進展，它使用AI來提供個性化的穿搭建議，比如添加皮帶或半折襯衫。

　　但該公司表示，在真正的預(yù)測性時尚助手成為可能之前，必須在語言理解和個性化體驗方面取得進步。

　　可能，AI充分滲透進現(xiàn)實，開啟社交無縫購物、智能穿搭助手的那一天，離我們真的不遠了。