剛剛，商湯科技日日新SenseNova多模態(tài)大模型，在權(quán)威綜合評測權(quán)威平臺OpenCompass的多模態(tài)評測中取得榜單第一。

商湯日日新平均得分達到77.4，領(lǐng)先GPT-4o、Claude 3.5 Sonnet以及國內(nèi)所有不同尺寸的開源和閉源模型，尤其在涵蓋算術(shù)、統(tǒng)計、代數(shù)、幾何、數(shù)值常識、科學(xué)和邏輯的權(quán)威數(shù)據(jù)集MathVista維度上，取得78.4分的最高分，展現(xiàn)了領(lǐng)先的“數(shù)理”能力。

OpenCompass 多模態(tài)評測包含八個核心數(shù)據(jù)集，從多種視角客觀量化多模態(tài)大模型的能力。此次評測中，商湯日日新在幾乎所有維度上都達到或超過GPT-4o水平，其中四個維度上(MMStar、MathVista、OCRBench、MMVet)排名全球第一。

OpenCompass大模型開放評測體系是上海人工智能實驗室推出的，擁有完整開源可復(fù)現(xiàn)的評測框架，定期發(fā)布對各類大模型的評測成績和排名。體系覆蓋了語言與理解、常識與邏輯推理、數(shù)學(xué)計算與應(yīng)用、多編程語言代碼能力、智能體、創(chuàng)作與對話等多個方面，是對大模型真實能力各個維度的全面診斷。

小試牛刀，商湯多模態(tài)進階

作為計算機視覺領(lǐng)域的先行者和領(lǐng)軍企業(yè)，早在幾年前，商湯就確定了多模態(tài)大模型的研究方向，并在研發(fā)中，融合積累的領(lǐng)先算法、豐富數(shù)據(jù)和場景認(rèn)知建立起核心優(yōu)勢。

2023年4月，商湯率先發(fā)布了行業(yè)領(lǐng)先的多模態(tài)大模型;

2024年2月，基于商湯日日新4.0的多模態(tài)大模型，在當(dāng)時權(quán)威評測基準(zhǔn)測試集MME Benchmark上位列第一，綜合得分達2199.5(超過GPT-4V的1926.57)，并應(yīng)用到智能駕駛、智能車艙、電力行業(yè)等多個場景;

2024年7 月，商湯發(fā)布國內(nèi)首個交互體驗上對標(biāo)GPT-4o的大模型——日日新 5o，實現(xiàn)無延時的實時流式交互。

全新階段，跨模態(tài)深度融合

今年三季度以來，商湯已跨越初期探索，進入了多模態(tài)大模型的研發(fā)新階段——實現(xiàn)跨模態(tài)深度融合。以此目標(biāo)，商湯打造了全新原生多模態(tài)大模型——日日新SenseNova多模態(tài)大模型。

跨模態(tài)深度融合指能夠跨越不同模態(tài)(自然語言、代碼、語音、圖像、醫(yī)療影像、視頻等)之間的鴻溝，充分利用不同模態(tài)的信息，通過跨模態(tài)逆渲染、多模態(tài)思維鏈等技術(shù)創(chuàng)新，實現(xiàn)數(shù)據(jù)之間的集成和交互。由此，模型的感知和理解能力將得到極大增強，并支持多模態(tài)融合推理的實現(xiàn)。

跨模態(tài)融合有多種方法。例如，通過融合預(yù)訓(xùn)練以及后訓(xùn)練技術(shù)，商湯日日新多模態(tài)大模型大幅增強了數(shù)理邏輯和推理能力。

評測中，當(dāng)我們從“五年高考，三年模擬”里隨機抽取幾道高考數(shù)學(xué)題，日日新多模態(tài)大模型都可以輕松應(yīng)對。

此外，通過多模態(tài)融合并對模型進行定向優(yōu)化，商湯日日新多模態(tài)大模型還大幅提升了對統(tǒng)計圖表和多模態(tài)文檔的理解能力。

評測中，當(dāng)難度提升，讓我們看看結(jié)果如何。

商湯日日新成功輸出推理結(jié)果，效果令人驚嘆。

隨著融合模態(tài)有效提升AI大模型性能，多模態(tài)融合未來可廣泛應(yīng)用于諸多場景，例如在線上教育、語音客服等場景，結(jié)合語音和自然語言來提升交互體驗;在自動駕駛場景，融合視覺及多種模態(tài)數(shù)據(jù)，來提升感知精度和決策能力等。

數(shù)理還只是起點。目前，日日新SenseNova多模態(tài)大模型已經(jīng)可以通過API調(diào)用，即將開放普通用戶體驗。

One more thing，商湯日日新多模態(tài)大模型還能看懂中國書畫。