過去一年并不平凡。從去年11月至今，LLM大型語言模型持續(xù)破圈、始終盤踞熱點話題之列。根據(jù)Adobe Analytics的最新在線購物預測，感恩節(jié)本土市場假日季的在線收入，或?qū)⒂型麆?chuàng)達2218億美元。年度機遇近在眼前，跨境出海企業(yè)如何抓住機遇、突破銷售記錄？

對此，LLM或許能夠給出答案。微軟首席執(zhí)行官薩提亞·納德拉在剛剛結(jié)束的全球Ignite技術(shù)大會上曾表示，“生成式AI模型的參數(shù)范圍很廣，從需要 Azure 中最強大 GPU 的數(shù)萬億參數(shù)的 LLM，到數(shù)十億參數(shù)的特定任務SLM(小語言模型)。我們都提供了最佳的前沿模型選擇，用戶、客戶及合作伙伴可以使用這些模型構(gòu)建自己的AI應用，并滿足對成本、延遲和性能的特定需求。”

關(guān)于“黑五”的創(chuàng)意圖 Getty

無疑，以LLM為代表的AI新浪潮正在為廣告營銷行業(yè)帶來巨大變革與飛躍。本月起，“微軟全球營銷”將通過一系列專欄文章，為讀者進行前沿技術(shù)解讀。今天為大家奉上的是對LLM大型語言模型的技術(shù)原理詳解及科研視角前瞻。

專欄導讀

“由大型語言模型驅(qū)動的 AI 系統(tǒng)，正加速改變著每個人的工作與生活。作為全球領(lǐng)先的科技企業(yè)，微軟始終致力于推動前沿技術(shù)創(chuàng)新、應用與普及，為世界賦能。我們以豐富的 AI 經(jīng)驗和資源，秉承責任、可靠、可信原則，將 AI 融入微軟現(xiàn)有生態(tài)，從提供 AI 工具到構(gòu)筑 AI 平臺，與合作伙伴全方位攜手、擁抱技術(shù)潮流，予力用戶、惠及行業(yè)、創(chuàng)造社會價值?！?/p>

張祺

微軟全球資深副總裁

LLM的技術(shù)原理

圖注：LLM訓練全景圖

LLM 作為一種具有強大功能的模型，研究人員通過預訓練、微調(diào)、提示工程和插件等技術(shù)手段，使其備了理解自然語言并進行推理的能力。

預練習（Pre-training）

談到LLM的預訓練，我們指的是一種訓練方法。預訓練時，LLM學習大規(guī)模數(shù)據(jù)，從中提取出盡可能多的共性特征，從而減輕模型對特定任務的學習負擔。預訓練模型的發(fā)展經(jīng)歷了從BERT雙向變換器模型，到GPT 自回歸變換器模型的轉(zhuǎn)變。其中的典型代表即 OpenAI 的 GPT 系列。今年11月，OpenAI正式推出最新的GPT-4 Turbo。主要提升包括：上下文對話長度達到128k，采用全新模型控制技術(shù)優(yōu)化輸出，以及GPT-4 Turbo的知識庫更新到2023年4月等。

關(guān)于 ChatGPT 的創(chuàng)意圖 Getty

此外，Meta 創(chuàng)建的開源模型 LLaMA，也備受外界關(guān)注。今年7月，Meta在微軟的Inspire合作伙伴大會上宣布，與微軟合作推出LLaMA2，并獲得Azure 和 Windows的支持。10月，LLaMA2的延伸版本LLaMA Long 上線，上下文長度達到32k。

Meta 開源模型 LLaMA 創(chuàng)意圖 Getty

微調(diào)（Fine-tuning）

微調(diào)，是在已有的預訓練基礎(chǔ)上，通過少量的數(shù)據(jù)對LLM進行訓練，按要求實現(xiàn)修改和優(yōu)化，使之在特定任務上表現(xiàn)出更優(yōu)性能。微調(diào)減少了訓練新模型所需的時間和資源，同時減輕了標注數(shù)據(jù)的壓力，是一種快速遷移學習的方法。

關(guān)于信息數(shù)據(jù)的創(chuàng)意圖 Getty

最新的GPT-4 Turbo又一大升級，就是允許開發(fā)人員定制化微調(diào)，例如修改模型訓練過程，進行額外的特定領(lǐng)域預訓練、運行自定義強化學習后訓練過程等。

提示工程（Prompt Engineering）

提示工程是指設(shè)計和構(gòu)造適合LLM輸入的提示文本，以引導其產(chǎn)生特定類型的輸出。通過設(shè)計合適的提示詞，可以引導LLM在特定領(lǐng)域或任務上表現(xiàn)出更好的性能。LLM 在生成文本時具有一定的創(chuàng)造力和自由度。有人也把它稱為思維鏈（Tree-of-Thought），類似人類解決問題的思維方式，通過試錯的方式在解決空間中進行樹狀搜索，并在必要時進行回溯。思維鏈主要包括頭腦風暴（brainstorming）、評估（evaluation）、擴展（expansion）和決策（decision）四個階段構(gòu)成，形成的一整套鏈路，使得 LLM 能夠生成多個潛在的解決方案，評估并改進它們，最終給出用戶最佳的解決方案。

關(guān)于 LLM 的創(chuàng)意圖 Getty

插件和擴展（Plugin & Extension）

研究人員還會通過添加額外模塊或插件，來實現(xiàn)對LLM的功能擴展，增強其在特定任務上的能力。例如，Auto-GPT 和 JARVIS 是LLM功能擴展的典型代表。其中，Auto-GPT 是一種基于GPT 的自動化工具，它可以利用 GPT-4 的強大功能自動完成復雜任務。用戶給定一個目標，它就會將其分解為子任務，并利用互聯(lián)網(wǎng)和其他工具自動實現(xiàn)。

圖為 Auto-GPT 的官網(wǎng)首頁截圖

JARVIS 是一個框架，它利用ChatGPT 來規(guī)劃任務流程，根據(jù) Hugging Face 的功能介紹來選擇適合的模型，執(zhí)行各個子任務，并根據(jù)執(zhí)行結(jié)果生成反饋。JARVIS 可以實現(xiàn)多領(lǐng)域、多模態(tài)的復雜AI 任務，在語言、視覺、語音等方面都取得了令人印象深刻的結(jié)果。

LLM如何賦能廣告

在解析了 LLM 的技術(shù)原理后，跨境出海企業(yè)最想了解的就是究竟如何將LLM應用到廣告之中。對此，今年9月，微軟全球資深副總裁張祺博士在《聚焦AI大航海時代新契機、新模式、新動能》一文中曾給出過答案——搜索引擎的商業(yè)模式，如 AdWords和競價排名等，會隨技術(shù)的進步、體驗的迭代而不斷推陳出新。

目前，微軟廣告（Microsoft Advertising）正在通過 LLM 賦能實現(xiàn)垂直創(chuàng)新，為出海企業(yè)帶來嶄新機遇。

以 LLM 為基礎(chǔ)，以生成式人工智能（AIGC）技術(shù)為突破口融入了人工智能副駕 Copilot。Copilot為用戶提供了全新的搜索方式，也為廣告主及合作伙伴創(chuàng)造了接觸消費者的新機會和新可能。借助生成式AI，我們創(chuàng)造出效果出眾體感沉浸 、深度融合的廣告內(nèi)容，逐步將一眾廣受歡迎的搜索廣告形式（如文字廣告、購物廣告、多媒體廣告等）及類別（如酒店廣告、旅游廣告、郵輪廣告、信用卡廣告、汽車廣告等）引入必應聊天，讓用戶在會話廣告中精準獲取商品信息，在對比廣告中做出智慧決策。

圖注：用戶可以通過Copilot在聊天中進行商品對比。比如用戶想購買一輛新車，就會去對比不同制造商和型號的車輛數(shù)據(jù)。以此情境為例，對比廣告會將各型號汽車的數(shù)據(jù)整理到一份統(tǒng)一報告中，便于用戶對比各項指標。隨著搜索+聊天的全新模式日漸風靡，會話廣告將愈發(fā)普及、并適用于多個場景——比如定制某個城市之旅，再比如購買特定顏色和風格的家具建議等。

專為廣告主設(shè)計的微軟廣告平臺智能副駕（Microsoft Advertising Platform Copilot），貼心的聊天機器人將在線聊天指導您洞悉趨勢、制定策略、完成創(chuàng)建，最終幫您實現(xiàn)廣告目標。您只需描述需求，之后的工作全部交給Copilot, 它將基于流程整體協(xié)助交付：從素材提煉產(chǎn)品賣點，到結(jié)合微軟搜索趨勢，再到提交完整廣告圖文方案。借助微軟廣告平臺智能副駕，只需依據(jù)品牌及營銷目標，即可定制獨一無二的專屬方案，幾分鐘內(nèi)實現(xiàn)個性化精彩廣告。

展望未來

在LLM顛覆式技術(shù)創(chuàng)新大潮下，微軟廣告致力于為全體消費者提供更便捷、更高效的個性化創(chuàng)意廣告體驗，助力垂直創(chuàng)新。我們期待幫助廣告主及合作伙伴洞察行業(yè)先機，通過打造本土創(chuàng)新產(chǎn)品及服務，助力消費增長、推動本地品牌走向全球，在AI的黃金時代實現(xiàn)業(yè)務的垂直增長！

LLM專欄作者：耿秀波

微軟（亞洲）互聯(lián)網(wǎng)工程院

首席應用科學家

關(guān)于微軟廣告

微軟廣告（Microsoft Advertising）致力于為國內(nèi)廣告主提供動態(tài)廣告解決方案，與合作伙伴一道，共同發(fā)掘全球商機、開拓多元市場，現(xiàn)已覆蓋187個國家和地區(qū)、35種語言，觸達全球超14億受眾，并且擁有持續(xù)增長的高價值用戶。

在領(lǐng)先的AI技術(shù)、生產(chǎn)力工具和創(chuàng)新模式驅(qū)動下，本地行業(yè)與市場都將煥發(fā)新生。微軟將通過創(chuàng)新產(chǎn)品和服務，助力本土品牌走向全球，實現(xiàn)高速增長。

本文為《技術(shù)賦能》專欄系列文章之一

專欄介紹：AI大航海時代，前沿技術(shù)無疑為行業(yè)革新、企業(yè)增長與創(chuàng)意變現(xiàn)提供了新機遇，一場創(chuàng)新模式的革命已如箭在弦，這正是我們策劃此專欄系列文章的初衷。在此，來自微軟（亞洲）互聯(lián)網(wǎng)工程院的首席應用科學家以及高級、資深研究員們，將在系列專欄文章中分享他們對人工智能、大語言模型及其應用領(lǐng)域如何實現(xiàn)技術(shù)賦能的洞察及前瞻。更多專欄內(nèi)容，敬請期待！