作者 / 開發(fā)者品牌和聲譽營銷部 Francesca Di Felice

阿里巴巴集團是一家全球化的科技公司，其目標簡單而明確：讓天下沒有難做的生意。自 1999 年以來，該集團創(chuàng)建了一系列工具和基礎設施來支持中小企業(yè)。如今，阿里國際運營著全球規(guī)模最大的零售商業(yè)業(yè)務之一。

阿里巴巴為其連接全球買家和供應商的國際電子商務平臺構建了一系列多模態(tài)大模型 (MLLM)。這個名為 Ovis 的模型系列能夠感知和理解視覺信息，允許用戶輸入圖像或視頻請求并獲得文本輸出結果。其性能最佳的模型之一Ovis1.6-Gemma2-9B是基于 Gemma 構建的。

挑戰(zhàn)

阿里巴巴的開發(fā)者希望為公司的國際電子商務平臺創(chuàng)建一個有效的多模態(tài)大模型，但在尋找一個能夠勝任多種任務且易于集成的基礎模型時遇到了困難。在對現(xiàn)有開放模型進行初步實驗時，團隊發(fā)現(xiàn)這些模型在多模態(tài)推理和文本生成等關鍵領域存在多種性能差距。

經(jīng)過全面測試，Gemma 2 的指令調優(yōu) 9B 參數(shù)模型 (gemma-2-9b-it) 展現(xiàn)出最佳的綜合性能，具備卓越的指令遵循能力和強大的文本生成能力。它在數(shù)學和編程等語言任務方面的優(yōu)勢使其成為多模態(tài)模型的理想基礎。然而，無縫集成視覺和文本嵌入又增加了任務的復雜度。團隊需要創(chuàng)新，以確保模型能夠在基于圖像的產(chǎn)品發(fā)布等關鍵業(yè)務應用中高效運行。

Gemma 在通用語言任務上表現(xiàn)尤為出色，特別是在數(shù)學和編程方面。我們利用 Gemma 的語言能力來提升我們在多模態(tài)任務上的表現(xiàn)。

解決方案

使用gemma-2-9b-it作為 Ovis 的基礎語言模型，為構建多模態(tài)架構奠定了堅實的基礎，彌補了視覺和文本輸入之間的差距。Ovis 采用獨特的方法：首先，它將連續(xù)的視覺特征轉換為概率性的視覺令牌 (Token)。然后，通過加權索引，Ovis 將這些令牌組裝成視覺嵌入。在此基礎上，Gemma 的 Transformer 架構將這些嵌入與文本輸入集成，確保多模態(tài)數(shù)據(jù)無縫流動。

Gemma 2 在數(shù)學和邏輯方面的優(yōu)勢顯著提升了 Ovis 在推理和理解任務上的能力，使阿里巴巴團隊能夠將這一新模型部署到各種業(yè)務運營中。例如，阿里國際數(shù)字商業(yè)平臺用戶現(xiàn)在可以使用 Ovis 根據(jù)產(chǎn)品圖像來識別產(chǎn)品類別和屬性或添加標簽。這大大減少了手動輸入的需求，讓用戶能夠更高效地創(chuàng)建商品詳情。

Ovis 的功能還擴展到了其他使用場景，如檢測文本與圖像之間的一致性問題、評估圖像質量以及生成結構化輸出。這些功能彰顯了 Ovis 的多功能性及其適應各種任務的能力。

影響

Ovis 顯著改進了阿里國際數(shù)字商業(yè)平臺上的產(chǎn)品生產(chǎn)工作流程，并在推理過程中展現(xiàn)出卓越的效率，為多模態(tài) AI 設定了新的標準。自發(fā)布以來，Ovis 已在 GitHub、Hugging Face、Model Scope 和 OpenCompass 等平臺上獲得了廣泛的認可和應用，甚至在 Hugging Face 首頁獲得推薦展示。

未來計劃

阿里巴巴計劃優(yōu)化并擴展 Ovis 系列以適應新的應用場景，同時與其他開發(fā)者和社區(qū)分享團隊的研究成果和見解，推動創(chuàng)新。

擴展產(chǎn)品系列

阿里巴巴希望引入更多樣化的新型 Ovis 模型，以滿足更多業(yè)務需求，例如為資源有限的團隊提供較小規(guī)模的模型。開發(fā)團隊基于 gemma-2-27b 模型發(fā)布了30B 參數(shù)版本，并且已經(jīng)在為未來的迭代做準備。

新用例

基于社區(qū)反饋，阿里巴巴將改進 Ovis 系列的光學字符識別、視覺理解和通用多模態(tài)理解能力，為用戶提供更多使用模型的方式。團隊還計劃利用模型出色的圖像-文本理解能力，在 Ovis 中加入照片分析、健身指導和美容建議等功能。

知識共享

阿里巴巴致力于與更廣泛的 AI 社區(qū)分享研究成果。團隊希望推動多模態(tài)技術領域中研究人員和開發(fā)者之間的協(xié)作與創(chuàng)新，進一步鞏固 Ovis 作為全球商業(yè)變革性工具的地位。