ChatGPT引發(fā)了大型語(yǔ)言模型（LLM）的創(chuàng)新浪潮，比以往任何時(shí)候都有更多的公司將自然語(yǔ)言交互的能力融入到他們的產(chǎn)品中。LLM API的應(yīng)用正在創(chuàng)造一個(gè)新的生態(tài)，將生成式文字和語(yǔ)音的融合發(fā)展到一個(gè)新的水平，使得人機(jī)交互更加便捷。許多企業(yè)都正在積極探索，并制定新的人工智能（AI）戰(zhàn)略，以不同的方式來(lái)定制各個(gè)領(lǐng)域或行業(yè)的大型模型。未來(lái)充滿了發(fā)展的潛力，讓我們共同期待吧。 ?

1. 紅杉網(wǎng)絡(luò)中的幾乎每家公司都在為他們的產(chǎn)品建立大語(yǔ)言模型。 我們已經(jīng)看到了神奇的自動(dòng)完成功能，從代碼（Sourcegraph, Warp, Github）到數(shù)據(jù)科學(xué)（Hex）。我們已經(jīng)看到了更好的聊天機(jī)器人：從客戶支持、員工支持到消費(fèi)者娛樂(lè)。其他公司正在用“AI優(yōu)先”的理念重新想象整個(gè)工作流程：視覺(jué)藝術(shù)（Midjourney）、營(yíng)銷（Hubspot、Attentive、Drift、Jasper、Copy、Writer）、銷售（Gong）、聯(lián)絡(luò)中心（Cresta）、法律（Ironclad、Harvey）、會(huì)計(jì)（Pilot）、生產(chǎn)力（Notion）、數(shù)據(jù)工程（dbt）、搜索（Glean、Neeva）、雜貨購(gòu)物（Instacart）、消費(fèi)者支付（Klarna）和旅行規(guī)劃（Airbnb）。這些只是幾個(gè)例子，它們只是開(kāi)始，未來(lái)這類應(yīng)用會(huì)有爆發(fā)式增長(zhǎng)。

2. 這些應(yīng)用新生態(tài)：以語(yǔ)言模型API、檢索和協(xié)調(diào)為中心，但開(kāi)源的使用也在增長(zhǎng)。

65%的人開(kāi)始使用這類LLM的應(yīng)用程序，比兩個(gè)月前的50%要高，而其余的人仍在試驗(yàn)。

94%的人正在使用基礎(chǔ)模型API。在我們的樣本中，OpenAI的GPT顯然是最受歡迎的，占91%，然而Anthropic的興趣在上個(gè)季度增長(zhǎng)到15%。(一些公司正在使用多種模型）。

88%的人認(rèn)為檢索機(jī)制，如矢量數(shù)據(jù)庫(kù)，仍然是應(yīng)用生態(tài)的一個(gè)關(guān)鍵部分。檢索相關(guān)的上下文供模型推理，有助于提高結(jié)果的質(zhì)量，減少 "幻覺(jué)"（不準(zhǔn)確），并解決數(shù)據(jù)新鮮度問(wèn)題。有些人使用特制的矢量數(shù)據(jù)庫(kù)（Pinecone、Weaviate、Chroma、Qdrant、Milvus等等），而其他人則使用pgvector或AWS的產(chǎn)品。

38%的人對(duì)LangChain這樣的LLM協(xié)調(diào)和應(yīng)用開(kāi)發(fā)框架感興趣。一些人將其用于原型設(shè)計(jì)，而其他人則在生產(chǎn)中使用。在過(guò)去的幾個(gè)月里，采用率有所增加。

10%以下的人在尋找監(jiān)測(cè)LLM產(chǎn)出、成本或性能以及A/B測(cè)試提示的工具。我們認(rèn)為，隨著更多的大公司和受監(jiān)管的行業(yè)采用大語(yǔ)言模型，對(duì)這些領(lǐng)域的興趣可能會(huì)增加。

少數(shù)公司正在研究互補(bǔ)的生成技術(shù)，如生成性文本和語(yǔ)音如何更好結(jié)合起來(lái)。我們也相信這是一個(gè)令人興奮的增長(zhǎng)領(lǐng)域。

15%的公司從零開(kāi)始或開(kāi)放源碼建立了自定義語(yǔ)言模型，通常在使用LLM的API之外。自定義模型訓(xùn)練比幾個(gè)月前有意義地增加。這需要自己的計(jì)算、模型中心、托管、訓(xùn)練框架、實(shí)驗(yàn)跟蹤等方面的能力，這些能力的組件來(lái)自Hugging Face、Replicate、Foundry、Tecton、Weights & Biases、PyTorch、Scale等公司。

我們采訪的每一位從業(yè)者都說(shuō)，人工智能發(fā)展太快，對(duì)最終狀態(tài)的堆棧信心不足，但大家一致認(rèn)為，LLM的API仍將是一個(gè)關(guān)鍵支柱，其次是檢索機(jī)制和LangChain等開(kāi)發(fā)框架的普及。開(kāi)源和定制的模型訓(xùn)練和調(diào)整似乎也在上升，而且有必要，但目前成熟度較低。

3. 公司希望根據(jù)其獨(dú)特的環(huán)境定制大語(yǔ)言模型。 通用的大語(yǔ)言模型是強(qiáng)大的，但對(duì)于許多用例來(lái)說(shuō)并不具有差異性或充分性。公司希望在自己的數(shù)據(jù)上實(shí)現(xiàn)自然語(yǔ)言交互，能充分使用開(kāi)發(fā)者文檔、制品庫(kù)或測(cè)試件、人力資源或IT規(guī)則等。在某些情況下，公司也想根據(jù)用戶的數(shù)據(jù)定制應(yīng)用領(lǐng)域大模型：用戶的個(gè)人筆記、設(shè)計(jì)布局、數(shù)據(jù)指標(biāo)或代碼庫(kù)。 現(xiàn)在，有三種主要的方式來(lái)定制領(lǐng)域/行業(yè)大模型：?

從頭開(kāi)始訓(xùn)練一個(gè)自定義模型，困難程度最高。這是解決這個(gè)問(wèn)題的經(jīng)典和最難的方法。它通常需要高度熟練的ML科學(xué)家、大量的相關(guān)數(shù)據(jù)、訓(xùn)練基礎(chǔ)設(shè)施和計(jì)算。這也是歷史上許多自然語(yǔ)言處理（NLP）創(chuàng)新發(fā)生在巨型科技公司內(nèi)的主要原因之一。BloombergGPT是一個(gè)很好的例子，它是在巨型科技公司之外的定制模型工作，它使用了Hugging Face和其他開(kāi)源工具的資源。隨著開(kāi)源工具的改進(jìn)和更多公司對(duì)LLMs的創(chuàng)新，我們希望看到更多的定制和預(yù)訓(xùn)練模型的使用。

微調(diào)一個(gè)基礎(chǔ)模型。難度中等。這是通過(guò)進(jìn)一步的專有或特定領(lǐng)域數(shù)據(jù)的額外訓(xùn)練來(lái)更新預(yù)訓(xùn)練模型的權(quán)重。開(kāi)放源碼的創(chuàng)新也使得這種方法越來(lái)越容易獲得，但它仍然經(jīng)常需要一個(gè)復(fù)雜的團(tuán)隊(duì)。一些從業(yè)者私下承認(rèn)，微調(diào)比聽(tīng)起來(lái)要難得多，而且可能會(huì)產(chǎn)生意想不到的后果，比如模型漂移和在沒(méi)有警告的情況下 "破壞 "模型的其他技能。雖然這種方法有更大的機(jī)會(huì)變得更普遍，但目前對(duì)大多數(shù)公司來(lái)說(shuō)仍然遙不可及，但另一方面，這種情況正在迅速得到改善。

使用預(yù)先訓(xùn)練好的模型并檢索相關(guān)背景。最低的難度。人們常常認(rèn)為他們想要一個(gè)只為他們而微調(diào)的模型，而實(shí)際上他們只是想讓模型在正確的時(shí)間對(duì)他們的信息進(jìn)行推理。有很多方法可以在正確的時(shí)間為模型提供正確的信息：對(duì)SQL數(shù)據(jù)庫(kù)進(jìn)行結(jié)構(gòu)化查詢，在產(chǎn)品目錄中搜索，調(diào)用一些外部API或使用嵌入（embedding）檢索。嵌入檢索的好處是，它使非結(jié)構(gòu)化數(shù)據(jù)很容易使用自然語(yǔ)言進(jìn)行搜索。從技術(shù)上講，這是通過(guò)收集數(shù)據(jù)將其轉(zhuǎn)化為嵌入，將其存儲(chǔ)在一個(gè)矢量數(shù)據(jù)庫(kù)中，當(dāng)查詢發(fā)生時(shí)，搜索這些嵌入數(shù)據(jù)以獲得最相關(guān)的背景，并將其提供給模型。這種方法可以幫助我們破解模型有限的上下文窗口，成本較低，解決了數(shù)據(jù)的新鮮度問(wèn)題（例如，ChatGPT不知道2021年9月以后的世界），而且它可以由一個(gè)沒(méi)有經(jīng)過(guò)正式機(jī)器學(xué)習(xí)培訓(xùn)的單獨(dú)開(kāi)發(fā)者完成。

矢量數(shù)據(jù)庫(kù)很有用，因?yàn)樵诟咭?guī)模下，它們使存儲(chǔ)、搜索和更新嵌入更容易。到目前為止，我們觀察到較大的公司停留在其企業(yè)云協(xié)議內(nèi)，并使用其云供應(yīng)商提供的工具，而初創(chuàng)公司傾向于使用特制的矢量數(shù)據(jù)庫(kù)。然而，這類應(yīng)用也是高度動(dòng)態(tài)的。上下文窗口增長(zhǎng)很快（將 LLaMA、GPT-4 上下文都擴(kuò)展到32k token，這相當(dāng)于 50 頁(yè)的文字，基于 OpenLLaMA 大型語(yǔ)言模型將上下文的長(zhǎng)度擴(kuò)展到 256k token），未來(lái)上下文的擴(kuò)展能力不可限量?；A(chǔ)模型和云數(shù)據(jù)庫(kù)可能直接將檢索嵌入其服務(wù)中。我們正在密切關(guān)注這個(gè)市場(chǎng)的發(fā)展。

4. 今天，LLM APIs的生態(tài)與定制模型訓(xùn)練生態(tài)是分開(kāi)的，但隨著時(shí)間的推移，這些正在融合在一起。 我們感覺(jué)有兩個(gè)生態(tài)的故事：利用LLM API的生態(tài)（更封閉的源代碼、面向開(kāi)發(fā)者）與訓(xùn)練自定義LLM的生態(tài)（更開(kāi)放的源代碼、面向更復(fù)雜的ML團(tuán)隊(duì)）。有些人想知道，LLM通過(guò)API隨時(shí)可用是否意味著公司會(huì)減少自己的定制訓(xùn)練。到目前為止，我們看到的情況正好相反。隨著對(duì)AI興趣的增長(zhǎng)和開(kāi)源開(kāi)發(fā)的加速，許多公司對(duì)訓(xùn)練和微調(diào)自己的模型越來(lái)越感興趣。我們認(rèn)為，隨著時(shí)間的推移，LLM API和自定義模型兩種生態(tài)將越來(lái)越趨于一致。例如，一家公司可能會(huì)從開(kāi)源中訓(xùn)練自己的LLMs，但通過(guò)矢量數(shù)據(jù)庫(kù)補(bǔ)充檢索以解決數(shù)據(jù)的新鮮度問(wèn)題。聰明的初創(chuàng)公司為定制LLM建立工具，也在努力擴(kuò)展他們的產(chǎn)品，使之與LLM API革命更加相關(guān)。 ? ?

5. LLM生態(tài)正變得越來(lái)越對(duì)開(kāi)發(fā)者友好。 LLM API將強(qiáng)大的現(xiàn)成模型交到普通開(kāi)發(fā)者的手中，而不僅僅是ML團(tuán)隊(duì)?，F(xiàn)在，使用LLM的人群已經(jīng)顯著地?cái)U(kuò)展到了所有的開(kāi)發(fā)者，我們相信未來(lái)會(huì)看到更多面向開(kāi)發(fā)者的工具。例如，LangChain通過(guò)抽象化常見(jiàn)的問(wèn)題來(lái)幫助開(kāi)發(fā)者建立LLM應(yīng)用：將模型結(jié)合到更高層次的系統(tǒng)中，將對(duì)LLM的多個(gè)調(diào)用鏈能組合在一起，通過(guò)工具將模型和數(shù)據(jù)源連接起來(lái)，建立可以操作這些工具的代理，并通過(guò)使LLM轉(zhuǎn)換更加容易，以幫助我們避免廠商鎖定。一些人將LangChain用于原型設(shè)計(jì)，而另一些人則繼續(xù)在生產(chǎn)中使用它。

6. LLM需要變得更值得信賴（輸出質(zhì)量、數(shù)據(jù)隱私、安全）才能被全面采用。 在我們應(yīng)用中完全釋放LLM能量之前，許多公司希望有更好的工具來(lái)處理數(shù)據(jù)隱私、隔離、安全、版權(quán)和監(jiān)控模型輸出。從金融科技到醫(yī)療保健等受監(jiān)管行業(yè)的公司特別關(guān)注這個(gè)問(wèn)題，并報(bào)告說(shuō)很難找到軟件解決方案來(lái)解決這個(gè)問(wèn)題。好消息是，chatGPT可以在具有防火墻保護(hù)的安全沙箱環(huán)境中運(yùn)行，確保代碼執(zhí)行、數(shù)據(jù)分析和文件管理的最大安全性，具體可以參考：chatGPT 神器 Code Interpreter 的三大超級(jí)特性、十大驚人魔法。理想的情況是，有軟件可以提醒（如果不是阻止）模型產(chǎn)生錯(cuò)誤/幻覺(jué)、歧視性內(nèi)容、危險(xiǎn)內(nèi)容或其他問(wèn)題。一些公司還關(guān)注與模型共享的數(shù)據(jù)如何用于訓(xùn)練：例如，很少有人清楚：ChatGPT消費(fèi)者數(shù)據(jù)是默認(rèn)用于訓(xùn)練的，而ChatGPT商業(yè)版本和API數(shù)據(jù)則不會(huì)用于訓(xùn)練。隨著政策的明確和更多護(hù)欄的到位，LLM將得到更好的信任，我們可能會(huì)看到采用的另一個(gè)步驟的變化。

? 7. 語(yǔ)言模型應(yīng)用將變得越來(lái)越多模態(tài)

公司已經(jīng)在尋找有趣的方法來(lái)結(jié)合多種生成模型，以達(dá)到巨大的效果：融合了文本和語(yǔ)音生成的聊天機(jī)器人體現(xiàn)了更高的對(duì)話體驗(yàn)水平。文字和語(yǔ)音模型可以結(jié)合起來(lái)，幫助我們快速地修正/覆蓋視頻錄制的一些錯(cuò)誤，而不是重新錄制整個(gè)過(guò)程。模型本身正變得越來(lái)越多的多模態(tài)。我們可以想象，未來(lái)豐富的消費(fèi)者和企業(yè)AI應(yīng)用將結(jié)合文本、語(yǔ)音/音頻和圖像/視頻生成，創(chuàng)造更有吸引力的用戶體驗(yàn)，完成更復(fù)雜的任務(wù)。 AI剛剛開(kāi)始滲入技術(shù)的每個(gè)縫隙。今天，只有65%的受訪者在產(chǎn)品開(kāi)發(fā)中應(yīng)用LLM，而且其中許多是相對(duì)簡(jiǎn)單的應(yīng)用。隨著越來(lái)越多的公司推出LLM應(yīng)用，新的障礙、困難將會(huì)出現(xiàn)，需要我們面對(duì)挑戰(zhàn)、去克服困難?；A(chǔ)設(shè)施層將在未來(lái)幾年內(nèi)繼續(xù)快速發(fā)展，進(jìn)一步推動(dòng)LLM的應(yīng)用，越來(lái)越多的產(chǎn)品會(huì)融入LLM，增加產(chǎn)品用戶體驗(yàn)，更高效完成任務(wù)，未來(lái)越來(lái)越多的產(chǎn)品將讓我們更加興奮，值得期待。

編輯：黃飛

?