今年大模型還要如何進(jìn)化，還有怎樣的想象空間?

剛剛，商湯正式推出“日日新”融合大模型，領(lǐng)先實(shí)現(xiàn)原生融合模態(tài)，深度推理能力與多模態(tài)信息處理能力均大幅提升，并在兩大權(quán)威評(píng)測(cè)榜單奪得第一，成為“雙冠王”。

國(guó)內(nèi)權(quán)威大模型測(cè)評(píng)機(jī)構(gòu)SuperCLUE最新發(fā)布的《中文大模型基準(zhǔn)測(cè)評(píng)2024年度報(bào)告》：商湯“日日新”融合大模型以總分68.3的優(yōu)異成績(jī)，與 DeepSeek V3 一起并列國(guó)內(nèi)榜首，成為年度第一。

在近期另一個(gè)權(quán)威綜合評(píng)測(cè)機(jī)構(gòu)OpenCompass的多模態(tài)評(píng)測(cè)中，商湯以同一款模型同樣取得了榜單第一，分?jǐn)?shù)大幅領(lǐng)先GPT-4o。

“一個(gè)模型、雙料冠軍”，意味著商湯科技率先在原生融合模態(tài)訓(xùn)練取得實(shí)質(zhì)性突破，這將引領(lǐng)業(yè)界從大語言模型和多模態(tài)大模型分立的普遍現(xiàn)狀，走向真正意義的模型一統(tǒng)。

商湯“日日新”突破了模態(tài)融合的技術(shù)，跨越了模態(tài)之間的鴻溝，就為深度推理能力和多模態(tài)信息的結(jié)合鋪平了道路。

文理兼修，能寫能看能推理

商湯“日日新”融合大模型性能上文理兼修，在SuperCLUE年度評(píng)測(cè)中，文科成績(jī)以81.8分位列全球第一，超越OpenAI的o1模型;理科成績(jī)奪得金牌，其中計(jì)算維度以78.2分位列國(guó)內(nèi)第一。

實(shí)現(xiàn)原生模態(tài)融合后，“日日新”融合大模型不止能達(dá)到人類“看”和“想”的水平，還可以幫助你解決更多復(fù)雜問題，看不清的字體、數(shù)據(jù)圖表里的信息、文學(xué)創(chuàng)作與撰寫……這些都可以實(shí)現(xiàn)。

融合模態(tài)開拓應(yīng)用新維度

在實(shí)際應(yīng)用場(chǎng)景中，相較于傳統(tǒng)大語言模型僅支持單一文本輸入的模式，"日日新"融合大模型展現(xiàn)出顯著優(yōu)勢(shì)，尤其是在自動(dòng)駕駛、視頻交互、辦公教育、金融、園區(qū)管理、工業(yè)制造等天然擁有豐富模態(tài)信息的場(chǎng)景中。

“日日新"融合大模型能夠有效滿足用戶對(duì)圖像、視頻、語音、文本等多源異構(gòu)信息的綜合處理與識(shí)別需求。

例如，在辦公、金融領(lǐng)域，其行業(yè)屬性擁有很多復(fù)雜的富模態(tài)文檔：表格、文本、圖片、視頻，以及融合上述形式的豐富信息，基于“日日新”融合大模型的商湯應(yīng)用——辦公小浣熊就可以高效地完成處理分析相關(guān)的復(fù)雜任務(wù)。

與此同時(shí)，基于融合大模型的優(yōu)勢(shì)，商湯“日日新”在視覺交互上也有豐富的應(yīng)用場(chǎng)景，例如，在線上教育、語音客服等場(chǎng)景，均可以結(jié)合語音和自然語言來提升交互體驗(yàn)。

去年年底開始，原生多模態(tài)大模型就逐漸成為業(yè)內(nèi)探討的重要方向。然而由于數(shù)據(jù)和訓(xùn)練方法的局限，業(yè)內(nèi)很多機(jī)構(gòu)的嘗試并不成功——多模態(tài)訓(xùn)練過程往往會(huì)導(dǎo)致純語言任務(wù)尤其是指令跟隨和推理任務(wù)的性能嚴(yán)重下降。

得益于在計(jì)算機(jī)視覺領(lǐng)域十年深耕以及人工智能賦能場(chǎng)景的豐富經(jīng)驗(yàn)，商湯一直堅(jiān)信多模態(tài)模型是 AI 2.0 進(jìn)行場(chǎng)景落地的必由之路，對(duì)于多模態(tài)大模型的研發(fā)也有自己的獨(dú)特見解。在推動(dòng)語言模型和多模態(tài)模型融合的過程中，發(fā)展出兩項(xiàng)關(guān)鍵的創(chuàng)新技術(shù)：融合模態(tài)數(shù)據(jù)合成與融合任務(wù)增強(qiáng)訓(xùn)練，進(jìn)而完成“日日新”融合大模型的訓(xùn)練，推向市場(chǎng)。

在預(yù)訓(xùn)練階段，商湯不僅采用了天然存在的海量圖文交錯(cuò)數(shù)據(jù)，還通過逆渲染、基于混合語義的圖像生成等方法合成了大量融合模態(tài)數(shù)據(jù)，在圖文模態(tài)之間建立起大量交互橋梁，使得模型基座對(duì)于模態(tài)之間的豐富關(guān)系有更扎實(shí)的掌握，也為更好地完成跨模態(tài)任務(wù)打下堅(jiān)實(shí)的基礎(chǔ)，從而實(shí)現(xiàn)整體性能的提升。

在后訓(xùn)練階段，商湯基于對(duì)廣泛業(yè)務(wù)場(chǎng)景的認(rèn)知，構(gòu)建了大量的跨模態(tài)任務(wù)，包括視頻交互、多模態(tài)文檔分析、城市場(chǎng)景理解、車載場(chǎng)景理解等。通過把這些任務(wù)融入到增強(qiáng)訓(xùn)練的過程，商湯的融合模態(tài)模型不僅被激發(fā)出強(qiáng)大的對(duì)多模態(tài)信息進(jìn)行整合理解分析的能力，而且還形成了對(duì)業(yè)務(wù)場(chǎng)景有效的響應(yīng)能力，走通了應(yīng)用落地反哺基礎(chǔ)模型迭代的閉環(huán)。

實(shí)現(xiàn)多模態(tài)交互與深度融合、走向真正意義的模型一統(tǒng)，是走向世界模型的必經(jīng)之路，商湯科技已在該賽道實(shí)現(xiàn)領(lǐng)跑優(yōu)勢(shì)。