大型語言模型能識別、總結(jié)、翻譯、預測和生成文本及其他內(nèi)容。

AI 應(yīng)用在大型語言模型的幫助下，可用于解決總結(jié)文章、編寫故事和參與長對話等多種繁重工作。

大型語言模型（LLM）是一種深度學習算法，可以通過大規(guī)模數(shù)據(jù)集訓練來學習識別、總結(jié)、翻譯、預測和生成文本及其他內(nèi)容。

大型語言模型是 Transformer 模型最成功的應(yīng)用之一。它們不僅將人類的語言教給 AI，還可以幫助 AI 理解蛋白質(zhì)、編寫軟件代碼等等。

除了加速翻譯軟件、聊天機器人、AI 助手等自然語言處理應(yīng)用之外，大型語言模型還在醫(yī)療、軟件開發(fā)等許多其他領(lǐng)域被使用。

大型語言模型的用途有哪些？

語言不僅僅是人類間的交流。

計算機的語言是代碼、生物學的語言是蛋白質(zhì)和分子序列……大型語言模型可用于此類語言或跨越多類型交流方式的場景。

這些模型擴大了 AI 在各行各業(yè)中的影響，并有望推動新一輪的研究、創(chuàng)造和生產(chǎn)浪潮。因為它們可以幫助生成全球棘手問題的復雜解決方案。這些模型擴大了 AI 在各行各業(yè)中的影響，并有望推動新一輪的研究、創(chuàng)造和生產(chǎn)浪潮。因為它們可以幫助生成全球棘手問題的復雜解決方案。

例如，使用大型語言模型的 AI 系統(tǒng)可以學習分子和蛋白質(zhì)結(jié)構(gòu)數(shù)據(jù)庫，然后運用這些知識提出可行的化合物方案，幫助科學家開發(fā)出突破性的疫苗或療法。

大型語言模型還能幫助重構(gòu)搜索引擎、指導聊天機器人以及歌曲、詩歌、故事和營銷材料的編寫工具等等。

大型語言模型如何運作？

大型語言模型從海量數(shù)據(jù)中學習。顧名思義，大型語言模型的核心就是訓練它的數(shù)據(jù)集的大小。但對“大型”的定義正在隨著 AI 的發(fā)展而不斷擴大。

目前，用于訓練大型語言模型的數(shù)據(jù)集通常大到包含互聯(lián)網(wǎng)長時間跨度內(nèi)的幾乎所有內(nèi)容。

當一個模型獲得了一個數(shù)據(jù)集但沒有收到關(guān)于該如何處理它的明確指示時，這些海量文本就會通過無監(jiān)督學習被輸入到 AI 算法中。大型語言模型通過這種方法來學習單詞、單詞之間的關(guān)系以及其背后的概念。例如它可以學會根據(jù)上下文來區(qū)分“bark”這個詞的不同含義。

就像掌握了一門語言的人可以猜測一個句子或段落接下來可能出現(xiàn)的內(nèi)容，甚至可以自己想出新的詞匯或概念一樣，大型語言模型可以使用其掌握的知識來預測和生成內(nèi)容。

大型語言模型也可以為特定用例進行定制，包括通過微調(diào)或提示調(diào)整（prompt-tuning）等技術(shù)。Prompt-tuning 向模型提供小塊數(shù)據(jù)，來集中訓練其勝任特定應(yīng)用。

憑借并行處理序列的計算效率，Transformer 模型架構(gòu)正在成為規(guī)模最大、性能最強的大型語言模型背后的構(gòu)建塊。

大型語言模型的主要用途

大型語言模型正在為搜索引擎、自然語言處理、醫(yī)療、機器人、代碼生成等領(lǐng)域開辟新的可能性。

當下熱門的 ChatGPT 人工智能聊天機器人就是大型語言模型的應(yīng)用之一，它可以用于無數(shù)自然語言處理任務(wù)。

大型語言模型的應(yīng)用范圍近乎無限，包括：

• 零售商和其他服務(wù)商可以使用大型語言模型通過動態(tài)聊天機器人、AI 助手等方式提供更好的客戶體驗。

• 搜索引擎可以使用大型語言模型提供更加直接且貼近人類的答案。

• 生命科學研究者可以訓練大型語言模型理解蛋白質(zhì)、分子、DNA 和 RNA。

• 開發(fā)者可以使用大型語言模型編寫軟件和教機器人完成體力活。

• 營銷人員可以訓練大型語言模型，將客戶的要求與反饋歸類或根據(jù)產(chǎn)品描述將產(chǎn)品分類。

• 金融顧問可以使用大型語言模型總結(jié)財報會議并創(chuàng)建重要會議的記錄。信用卡公司可以使用大型語言模型進行異常檢測和欺詐分析以保護消費者。

• 法務(wù)團隊可以使用大型語言模型輔助進行法律釋義和文件起草。

為了在生產(chǎn)中高效運行這些大型模型，需要具備大量資源、技術(shù)專長等。因此，企業(yè)開始轉(zhuǎn)向 NVIDIA Triton Inference Server。這款軟件可以幫助實現(xiàn)模型部署的標準化并為生產(chǎn)提供快速、可擴展的 AI。

在哪里可以獲得大型語言模型

2020 年 6 月，OpenAI 發(fā)布了 GPT-3 服務(wù)。該服務(wù)由一個具有 1750 億參數(shù)的模型驅(qū)動，可以根據(jù)簡短的書面提示生成文本和代碼。

2021 年，NVIDIA 和 Microsoft 開發(fā)了 Megatron-Turing Natural Language Generation 530B。作為世界最大的閱讀理解和自然語言推理模型之一，它能夠輕松完成總結(jié)歸納和內(nèi)容生成等任務(wù)。

HuggingFace 在去年發(fā)布了 BLOOM。這個開放式大型語言模型能夠生成 46 種自然語言和十幾種編程語言文本。

另一個大型語言模型 Codex 能幫助軟件工程師和其他開發(fā)者將文本轉(zhuǎn)換成代碼。

NVIDIA 提供了一些工具來簡化大型語言模型的構(gòu)建和部署：

• NVIDIA NeMo LLM服務(wù)，可提供一條快速路徑，以便自定義和使用在多個框架上訓練的大型語言模型。開發(fā)者可以在私有云和公有云上使用 NeMo LLM 部署企業(yè) AI 應(yīng)用。

• NVIDIA AI 平臺內(nèi)置的NVIDIA NeMo Megatron是一個能夠簡單、高效、經(jīng)濟地訓練和部署大型語言模型的框架。NeMo Megatron 專為開發(fā)企業(yè)級應(yīng)用而設(shè)計，它所提供的端到端工作流程可用于自動化分布式數(shù)據(jù)處理、訓練 GPT-3 和 T5 等大規(guī)模自定義模型以及將這些模型部署到大規(guī)模推理中。

• NVIDIA BioNeMo是一個用于蛋白質(zhì)組學、小分子、DNA 和 RNA 大型語言模型的特定領(lǐng)域代管服務(wù)和框架。是一款基于 NVIDIA NeMo Megatron 構(gòu)建的 AI 賦能藥物研發(fā)云服務(wù)和框架，用于在超級計算規(guī)模下訓練和部署大型生物分子 Transformer AI 模型。

大型語言模型所面臨的挑戰(zhàn)

擴展和維護大型語言模型是一件困難且昂貴的事。

要建立一個基礎(chǔ)大型語言模型通常需要花費數(shù)百萬美元進行數(shù)月時間的訓練。

而且由于大型語言模型訓練的巨大數(shù)據(jù)需求，開發(fā)者和企業(yè)會發(fā)現(xiàn)想要獲得足夠多的數(shù)據(jù)集十分困難。

大型語言模型的規(guī)模使得想要部署它們需要具備一定的技術(shù)專長，包括對深度學習、Transformer 模型以及分布式軟件和硬件的深入了解。

許多技術(shù)領(lǐng)導者正在努力推進開發(fā)工作，努力建立能夠擴大大型語言模型接入范圍的資源來幫助個人和各規(guī)模企業(yè)都能從中受益。

點擊閱讀原文，進一步了解大型語言模型。

掃描下方海報二維碼，即可免費注冊 GTC23，在 3 月 24 日 聽 OpenAI 聯(lián)合創(chuàng)始人與 NVIDIA 創(chuàng)始人的爐邊談話，將由 NVIDIA 專家主持，配中文講解和實時答疑，一起看 AI 的現(xiàn)狀和未來！