電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）隨著AGI生態(tài)的蓬勃發(fā)展，各種支持多模態(tài)的大模型推陳出新，比如最近比較火的音樂(lè)大模型Suno和文生視頻大模型Sora等等。然而在傳統(tǒng)基于文本的大語(yǔ)言模型上，除了追求更快更精準(zhǔn)的推理和高并發(fā)流量以外，似乎已經(jīng)沒(méi)有太多值得廠商大肆宣傳的特性了，直到最近超長(zhǎng)文本處理的爆火。

國(guó)產(chǎn)大模型的新卷法，長(zhǎng)文本處理

當(dāng)下將大模型長(zhǎng)文本處理炒熱的，無(wú)疑是來(lái)自月之暗面的Kimi。作為去年發(fā)布的大模型，Kimi的主要賣點(diǎn)就是長(zhǎng)文本，當(dāng)時(shí)發(fā)布的初版Kimi，就已經(jīng)支持到最多20萬(wàn)漢字的輸入處理。

然而僅僅20萬(wàn)字的文本處理，還不至于給用戶帶來(lái)質(zhì)變的交互體驗(yàn)，畢竟GPT-4 Turbo-128k已經(jīng)支持到約合10萬(wàn)漢字的長(zhǎng)文本處理，谷歌的Gemini pro也支持到最多70萬(wàn)個(gè)單詞的上下文，但不少長(zhǎng)篇小說(shuō)、專業(yè)書(shū)籍的字?jǐn)?shù)要遠(yuǎn)超這一數(shù)字。

Kimi支持200萬(wàn)字上下文 / 月之暗面

Kimi在最近爆火源于一項(xiàng)重大迭代升級(jí)，月之暗面將長(zhǎng)文本處理的字?jǐn)?shù)限制擴(kuò)展到200萬(wàn)字，遠(yuǎn)超Claude3、GPT-4 Turbo和Gemini Pro模型。在新功能推出和有效推廣下，Kimi很快涌入了一大批用戶，其app甚至短暫地沖進(jìn)了蘋果App Store前五的位置。然而這樣也對(duì)Kimi的運(yùn)營(yíng)造成了不小的壓力，Kimi在上周經(jīng)歷了多次宕機(jī)，這還是在月之暗面對(duì)服務(wù)器連續(xù)擴(kuò)容的前提下。

面對(duì)競(jìng)爭(zhēng)對(duì)手Kimi的用戶量激增，阿里巴巴和360很快就坐不住了。3月22日，阿里巴巴宣布通義千問(wèn)將向所有用戶免費(fèi)開(kāi)放1000萬(wàn)字的長(zhǎng)文檔處理功能；3月23日，360智腦宣布正式內(nèi)測(cè)500萬(wàn)字長(zhǎng)文本處理功能，且該功能即將入駐360 AI瀏覽器。

除了阿里巴巴和360外，目前國(guó)內(nèi)訪問(wèn)量第一的百度文心一言據(jù)傳也會(huì)在下月開(kāi)放長(zhǎng)文本處理功能，并計(jì)劃把字?jǐn)?shù)上限提高至200萬(wàn)甚至500萬(wàn)字。

超長(zhǎng)文本實(shí)現(xiàn)的技術(shù)難點(diǎn)和商業(yè)桎梏

盡管在用戶看來(lái)，阿里巴巴、360等廠商宣布支持超長(zhǎng)文本處理好像是一件無(wú)需多少時(shí)間的易事，但實(shí)際上超長(zhǎng)文本處理的實(shí)現(xiàn)存在不少技術(shù)痛點(diǎn)和商業(yè)成本問(wèn)題。要知道在2022年，絕大多數(shù)的LLM上下文長(zhǎng)度最多也只有2K，比如GPT-3。

直到GPT-4和Claude 2等，這些大模型才從架構(gòu)上對(duì)文本長(zhǎng)度進(jìn)行了優(yōu)化，可即便如此，主流的文本輸入長(zhǎng)度依然不會(huì)超過(guò)100K。這也是因?yàn)閷?duì)部分大模型而言，長(zhǎng)文本不一定代表著更好的使用體驗(yàn)，尤其是在查全率和準(zhǔn)確率上。

Claude的上下文長(zhǎng)度和召回率關(guān)聯(lián)圖 / Anthropic

以Anthropic給出的數(shù)據(jù)為例，從上圖可以看出，隨著文本長(zhǎng)度的增加，召回率是在逐步降低的，即便是最新的Claude3也是如此，而召回率代表了檢索出相關(guān)信息量占總量的比率。至于精確度，則與上下文中的事實(shí)位置存在很大的關(guān)系，如果用戶問(wèn)題的事實(shí)存在于文本開(kāi)頭或后半部分的位置，那么更容易得到精確的結(jié)果，而位于10%到50%之間位置的文本，則精確度急劇下降。

除此之外，長(zhǎng)文本對(duì)于GPU和內(nèi)存的資源消耗太大了，即便是小規(guī)模地?cái)U(kuò)展文本長(zhǎng)度，動(dòng)輒也要消耗100塊以上的GPU或TPU，這里指代的GPU還是A100這種單卡顯存容量高達(dá)40GB或80GB的設(shè)備。

這也是Kimi在經(jīng)歷大量用戶訪問(wèn)后，需要緊急擴(kuò)容的原因。而阿里巴巴之所以能這么快開(kāi)放長(zhǎng)文本能力，也是憑借著手握龐大的服務(wù)器資源。至于Anthropic，我們從Claude3 Opus高昂的Tokens價(jià)格，也可以猜到其硬件成本絕對(duì)不低。

另外，在持續(xù)火爆一年之后，目前的大模型應(yīng)用也難以單純靠技術(shù)立足市場(chǎng)吸引用戶了，商業(yè)推廣也已經(jīng)成了必行之路。就以Kimi為例，在社交媒體上有關(guān)該應(yīng)用的推廣可謂鋪天蓋地，很明顯對(duì)于新興的大模型應(yīng)用而言，收獲第一批用戶才是至關(guān)重要的。

據(jù)傳Kimi在廣告投放上，吸引每位新用戶的花費(fèi)在10元左右，而新用戶參與到使用中帶來(lái)的額外算力開(kāi)銷在12元至13元左右。如果單單只是根據(jù)手機(jī)平臺(tái)app的下載量計(jì)算，那么Kimi的每日獲客成本至少為20萬(wàn)人民幣，而這還未計(jì)算來(lái)自網(wǎng)頁(yè)端和小程序端的用戶。

AI產(chǎn)品國(guó)內(nèi)總榜 / AI產(chǎn)品榜

而且Kimi的推廣也不是從200萬(wàn)長(zhǎng)文本功能的推出才開(kāi)始的，早在二月份Kimi就開(kāi)始以長(zhǎng)文本這一特性加強(qiáng)商業(yè)推廣了。從AI產(chǎn)品榜中可以看出，Kimi在2月的訪問(wèn)量飆升，在國(guó)內(nèi)總榜中僅次于百度文心一言和阿里通義千問(wèn)，足見(jiàn)其在商業(yè)推廣和產(chǎn)品運(yùn)營(yíng)上都下了血本。但相對(duì)ChatGPT和New Bing之類的應(yīng)用而言，其訪問(wèn)量還是存在很大的差距。

這也充分說(shuō)明了為何國(guó)外的大模型應(yīng)用沒(méi)有去卷200K以上文本長(zhǎng)度的原因，目前算力、準(zhǔn)確度和長(zhǎng)文本之間的沖突限制了他們?nèi)グl(fā)展長(zhǎng)文本。但這對(duì)于中國(guó)的大模型應(yīng)用來(lái)說(shuō)，反而是一個(gè)彎道超車的機(jī)會(huì)，因?yàn)榇竽Ｐ蜕系拈L(zhǎng)文本能力確實(shí)帶來(lái)了用戶體驗(yàn)上的改變。

長(zhǎng)文本對(duì)于用戶體驗(yàn)的改變

國(guó)產(chǎn)大模型為什么要去卷長(zhǎng)文本，這是一個(gè)與大模型應(yīng)用落地息息相關(guān)的問(wèn)題。在過(guò)去，正是由于長(zhǎng)文本能力不足，絕大多數(shù)大模型應(yīng)用才會(huì)給人不堪大用的感覺(jué)，比如虛擬助手由于長(zhǎng)文本能力不足，會(huì)遺忘重要信息；基于大模型來(lái)設(shè)計(jì)劇本殺等游戲規(guī)則時(shí)，上下文長(zhǎng)度不夠只能在規(guī)則和設(shè)定上縮水，從而簡(jiǎn)化游戲難度；在論文分析和法律法規(guī)解讀這樣的關(guān)鍵領(lǐng)域，更是因?yàn)槿狈﹂L(zhǎng)文本的支持，無(wú)法給到用戶精準(zhǔn)的答案。

這與大模型卷參數(shù)規(guī)模不同，因?yàn)橛脩粢呀?jīng)發(fā)現(xiàn)了即便是70B這個(gè)量級(jí)的大模型，在面對(duì)用戶的問(wèn)題時(shí)，也會(huì)出現(xiàn)胡編亂造的問(wèn)題。反倒是長(zhǎng)文本提供了更多的上下文信息，大模型在對(duì)語(yǔ)義進(jìn)行分析判斷后，會(huì)提供更加精確的答案，所以不少用戶才會(huì)借助Kimi來(lái)分解長(zhǎng)篇小說(shuō)、總結(jié)論文等。

不過(guò)在享受長(zhǎng)文本處理帶來(lái)便利的同時(shí)，我們也應(yīng)該注意下長(zhǎng)文本處理背后潛在的信息安全和版權(quán)問(wèn)題。對(duì)于過(guò)去短文本的處理，就已經(jīng)存在一些可能暴露用戶真實(shí)身份和隱私信息的問(wèn)題，隨著長(zhǎng)文本支持對(duì)于更大文件和更長(zhǎng)文本的處理，有的人可能會(huì)選擇將合同、條例或標(biāo)準(zhǔn)等包含敏感信息的專業(yè)文件上傳到大模型上，又或是引入一些盜版文檔資源。

所以國(guó)家層面也開(kāi)始出臺(tái)各種管理辦法，對(duì)于大模型語(yǔ)言模型在內(nèi)的生成式人工智能進(jìn)行規(guī)范，不能侵犯知識(shí)產(chǎn)權(quán)并保護(hù)個(gè)人隱私。如此一來(lái)，對(duì)于大模型應(yīng)用本身的信息脫敏也提出了更高的要求。

寫在最后

相信經(jīng)過(guò)一年的大模型應(yīng)用轟炸后，不少用戶對(duì)于基本的AGI玩法已經(jīng)玩膩了，所以長(zhǎng)文本、文生視頻這種新的交互方式才會(huì)讓人趨之若鶩。但我們也很少看到成功的長(zhǎng)文本大模型商業(yè)化落地項(xiàng)目，畢竟在高額的獲客成本下，RAG這種外掛知識(shí)庫(kù)的方式可能更適合手中資金有限的初創(chuàng)AGI應(yīng)用開(kāi)發(fā)商。