一個(gè)月前，就在GPT 4發(fā)布的第二天，同時(shí)也是英偉達(dá)（NVIDIA）線(xiàn)上大會(huì)的契機(jī)，英偉達(dá)的創(chuàng)始人兼CEO黃仁勛（"Jensen" Huang）與OpenAI的聯(lián)合創(chuàng)始人兼首席科學(xué)家伊爾亞-蘇茨克維（Ilya Sutskever ）展開(kāi)了一次信息量巨大的長(zhǎng)達(dá)一個(gè)小時(shí)的“爐邊談話(huà)”（Fireside Chats）。期間談到了從伊爾亞-蘇茨克維早期介入神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)，基于壓縮的無(wú)監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、GPT的發(fā)展路徑，以及對(duì)未來(lái)的展望。相信很多人都已經(jīng)看過(guò)了這次談話(huà)節(jié)目。我相信，因?yàn)槠渲袚诫s的各種專(zhuān)業(yè)術(shù)語(yǔ)和未經(jīng)展開(kāi)的背景，使得無(wú)專(zhuān)業(yè)背景的同仁很難徹底消化理解他們談話(huà)的內(nèi)容。本系列嘗試將他們完整的對(duì)話(huà)進(jìn)行深度地解讀，以便大家更好地理解ChatGPT到底給我們帶來(lái)了什么樣的變革。今天，就是這個(gè)系列的第四篇：人人都是ChatGPT的訓(xùn)練器。

關(guān)聯(lián)回顧

解讀老黃與Ilya的爐邊談話(huà)系列之一——故事要從AlexNet說(shuō)起

解讀老黃與Ilya的爐邊談話(huà)系列之二——信仰、準(zhǔn)備、等待機(jī)會(huì)的涌現(xiàn)

解讀老黃與Ilya的爐邊談話(huà)系列之三——超越玄幻，背后是人類(lèi)老師的艱辛付出

讓ChatGPT自己來(lái)談一談人工智能倫理

全圖說(shuō)ChatGPT的前世今生

對(duì)話(huà)譯文（04）：

黃仁勛：ChatGPT 在幾個(gè)月前就發(fā)布了，它是人類(lèi)歷史上增長(zhǎng)最快的應(yīng)用。關(guān)于它的原理已經(jīng)有了很多解釋?zhuān)@是為每個(gè)人創(chuàng)建的最容易使用的應(yīng)用。它所執(zhí)行的任務(wù)，做的事情超出人們的期望，任何人都可以使用它。沒(méi)有指令集，也沒(méi)有所謂的錯(cuò)誤方法，你只要用它就行了。如果你的指令提示（Prompt）不夠明確，你與 ChatGPT 的對(duì)話(huà)會(huì)幫你消除歧義，直到它理解你的意圖。這帶來(lái)的影響是非常顯著的。

現(xiàn)在，這是 GPT- 4 發(fā)布后的第一天。GPT-4 在許多領(lǐng)域的表現(xiàn)令人震驚，在 SAT、GRE、律師考試的分?jǐn)?shù)都很高，一次又一次的測(cè)試，它的表現(xiàn)都很優(yōu)異。很多項(xiàng)測(cè)試它都到達(dá)了人類(lèi)的領(lǐng)先水平，太震撼了。那么，什么是 ChatGPT 和 GPT-4 之間的主要區(qū)別？是什么導(dǎo)致GPT-4 在這些領(lǐng)域的改進(jìn)？

Ilya Sutskever：GPT-4 相比 ChatGPT，在許多維度上做了相當(dāng)大的改進(jìn)。我們訓(xùn)練了 GPT-4，我記得是在六個(gè)多月以前，也許是在八個(gè)月前，我不記得確切時(shí)間了。GPT 是 ChatGPT 和 GPT- 4 之間的第一個(gè)區(qū)別，這也許是最重要的區(qū)別。在 GPT-4 的基礎(chǔ)上預(yù)測(cè)下一個(gè)詞，具有更高的準(zhǔn)確度，這是非常重要的。因?yàn)樯窠?jīng)網(wǎng)絡(luò)越能預(yù)測(cè)文本中的下一個(gè)詞，它就越能理解它。

這種說(shuō)法現(xiàn)在也許已經(jīng)被很多人接受了。但關(guān)于它為什么會(huì)這樣，可能仍然不夠直觀(guān)，或者說(shuō)不完全直觀(guān)。我想繞個(gè)小彎，舉個(gè)例子，希望能說(shuō)明為什么對(duì)下一個(gè)詞更準(zhǔn)確的預(yù)測(cè)會(huì)導(dǎo)致更多的理解，真正的理解。

讓我們舉個(gè)例子，假設(shè)你讀了一本偵探小說(shuō)，它有復(fù)雜的故事情節(jié)，不同的人物，以及許多事件和神秘的線(xiàn)索。在書(shū)的最后一頁(yè)，偵探收集了所有的線(xiàn)索，召集了所有的人，然后說(shuō)“好吧，我要透露犯罪者的身份，那個(gè)人的名字是（……）”。我們需要預(yù)測(cè)這個(gè)詞。當(dāng)然，有許多不同的詞，但是通過(guò)預(yù)測(cè)這些詞可以讓模型實(shí)現(xiàn)更好的理解。隨著對(duì)文本的理解不斷增加，GPT-4 預(yù)測(cè)下一個(gè)詞的能力也會(huì)變得越來(lái)越好。

黃仁勛：很多人認(rèn)為深度學(xué)習(xí)不會(huì)邏輯推理，但是為了預(yù)測(cè)下一個(gè)詞，從所有可選的角色里面，從他們的優(yōu)勢(shì)或弱點(diǎn)，或者他們的意圖和上下文中，找出誰(shuí)是兇手，這需要一定的推理，需要相當(dāng)多的推理。那么，它是如何能夠?qū)W會(huì)推理的呢？

如果它學(xué)會(huì)了推理，我要問(wèn)你的是 ChatGPT 和 GPT-4 之間進(jìn)行的所有測(cè)試，有一些測(cè)試是GPT-3 或 ChatGPT 已經(jīng)非常擅長(zhǎng)的，有一些測(cè)試是 GPT-3 或 ChatGPT 不擅長(zhǎng)的，而 GPT-4 則要好得多，還有一些測(cè)試是兩者都不擅長(zhǎng)的。其中一些似乎與推理有關(guān)。在微積分中，它無(wú)法將問(wèn)題分解成合理的步驟并解決它。但是在某些領(lǐng)域，它似乎展現(xiàn)了推理能力。在預(yù)測(cè)下一個(gè)詞的時(shí)候，它是否在學(xué)習(xí)推理？它的局限性又是什么？現(xiàn)在的 GPT-4 將進(jìn)一步提高其推理能力。

Ilya Sutskever：推理并不是一個(gè)很好定義的概念。但無(wú)論如何，我們可以嘗試去定義它。它就是當(dāng)你可能更進(jìn)一步的時(shí)候，如果你能夠以某種方式思考一下，并且因?yàn)槟愕耐评矶玫揭粋€(gè)更好的答案。我想說(shuō)，我們的神經(jīng)網(wǎng)絡(luò)也許有某種限制，比如要求神經(jīng)網(wǎng)絡(luò)通過(guò)思考來(lái)解決問(wèn)題。事實(shí)證明，這對(duì)推理非常有效。但我認(rèn)為，基本的神經(jīng)網(wǎng)絡(luò)能走多遠(yuǎn)，還有待觀(guān)察。我認(rèn)為我們還沒(méi)有充分挖掘它的潛力。

在某種意義上，推理肯定還沒(méi)有達(dá)到那個(gè)水平，神經(jīng)網(wǎng)絡(luò)還具備其它的一些能力。我們希望神經(jīng)網(wǎng)絡(luò)要有很高的推理能力，我認(rèn)為像往常一樣神經(jīng)網(wǎng)絡(luò)能夠持續(xù)提升這個(gè)能力。不過(guò)，也不一定是這樣。

黃仁勛：是的，你問(wèn) ChatGPT 一個(gè)問(wèn)題，這真的很酷，因?yàn)樗诨卮饐?wèn)題前，首先會(huì)告訴我，它知道些什么，然后才去回答這個(gè)問(wèn)題。通?；卮鹨粋€(gè)問(wèn)題前，如果你告知我，你具備哪些基礎(chǔ)知識(shí)或做了哪些假設(shè)，這會(huì)讓我更相信你的回答。這在某種程度上，也是在展現(xiàn)推理能力。所以在我看來(lái)，ChatGPT 天然具備這種內(nèi)在的能力。

Ilya Sutskever：在某種程度上，我們可以這樣看待現(xiàn)在所發(fā)生的事情，這些神經(jīng)網(wǎng)絡(luò)具備很多能力，只是不太可靠。實(shí)際上，可以說(shuō)可靠性是目前這些神經(jīng)網(wǎng)絡(luò)能夠真正具備實(shí)用價(jià)值的最大障礙，盡管有時(shí)它們?nèi)匀痪邆鋵?shí)用價(jià)值。這些神經(jīng)網(wǎng)絡(luò)有時(shí)會(huì)產(chǎn)生一些幻想，或者犯一些出人意料的錯(cuò)誤，這是人不會(huì)犯的錯(cuò)誤。

正是這種不可靠性，使得它們的實(shí)用價(jià)值大幅降低了。但是我認(rèn)為，或許通過(guò)更多的研究，結(jié)合當(dāng)前的想法和一些更遠(yuǎn)大的研究計(jì)劃，我們一定能實(shí)現(xiàn)更高的可靠性，這樣模型才會(huì)真的具備實(shí)用價(jià)值。這將使我們能夠擁有非常精確的保護(hù)措施，并且在不確定時(shí)要求澄清，或者說(shuō)它不知道某些事情，當(dāng)它不知道時(shí)能夠非?？煽康乇憩F(xiàn)出來(lái)。所以我認(rèn)為，這是當(dāng)前模型的一些瓶頸。因此，問(wèn)題并不在于它是否具備某些特定的能力，更多的是程度的問(wèn)題。

黃仁勛：談到真實(shí)性和幻想，我之前看過(guò)一個(gè)視頻，它展示了 GPT-4 中從維基百科頁(yè)面做檢索的能力，那么GPT-4 真的具備信息檢索能力嗎？它是否能夠從事實(shí)中檢索信息，以加強(qiáng)對(duì)你的響應(yīng)？

Ilya Sutskever：當(dāng)前發(fā)布的 GPT-4 并沒(méi)有內(nèi)置的檢索能力，它只是個(gè)非常好的預(yù)測(cè)下一個(gè)詞的工具，它也可以處理圖像。順便說(shuō)一句，一些高質(zhì)量的圖片，也是經(jīng)過(guò)數(shù)據(jù)微調(diào)和各種強(qiáng)化學(xué)習(xí)的變體，以特定方式表現(xiàn)出來(lái)的。它也許會(huì)被一些有權(quán)限的人要求進(jìn)行一些查詢(xún)，并在上下文中填充結(jié)果，因?yàn)楝F(xiàn)在 GPT-4 的上下文持續(xù)時(shí)間更長(zhǎng)了。簡(jiǎn)而言之，盡管GPT-4 不支持內(nèi)置的信息檢索，但它完全具備這個(gè)能力，它也將通過(guò)檢索變得更好。

智愿君：讓我們繼續(xù)解讀老黃和Ilya爐邊談話(huà)的第四段對(duì)話(huà)，這一段看起來(lái)很容易懂，也沒(méi)有什么彎彎繞，所以應(yīng)該不需要過(guò)多在專(zhuān)業(yè)性上做深度的解讀。但同樣，在兩人對(duì)話(huà)中不經(jīng)意透露出來(lái)的信息，還是值得我們玩味的。今天我們就針對(duì)對(duì)話(huà)中某些有意思的部分展開(kāi)一下。

GPT如何才能更快地進(jìn)化和成長(zhǎng)

“ChatGPT 在幾個(gè)月前就發(fā)布了，它是人類(lèi)歷史上增長(zhǎng)最快的應(yīng)用。”。老黃的第一句話(huà)是一句贊許，但這個(gè)贊許背后還需要深入地思考。

在這之前，讓我們先要能理解OpenAI和DeepMind這些追求通用人工智能AGI公司他們都特別想搞明白的一點(diǎn)，就是如何更快地訓(xùn)練人工智能，達(dá)到通用人工智能這個(gè)狀態(tài)。如何讓它快快長(zhǎng)大？這種期盼的心理一定是超級(jí)復(fù)雜的，因?yàn)榇蠹叶紵o(wú)法打保票，這個(gè)被造物到底會(huì)不會(huì)成為打指響的滅霸，還是亦正亦邪的幻視。但是，畢竟好奇心，是人類(lèi)感知世界，改造世界的原動(dòng)力?？茖W(xué)家和技術(shù)大神們沒(méi)有辦法不去往這個(gè)方向不遺余力地探索。記得3天前，在SpaceX飛往火星的大火箭第一次點(diǎn)火升空爆炸后，Elon Musk在他的推特分享的一張照片很形象地說(shuō)明了這一點(diǎn)：

不管旁人怎么說(shuō)，我們叫技術(shù)極客也好，改變世界的瘋子也好，他們終究會(huì)去不斷嘗試，去逼近那個(gè)奇點(diǎn)。

回到剛才那個(gè)問(wèn)題，怎么快速進(jìn)化？上回，我們已經(jīng)說(shuō)了，必須要經(jīng)過(guò)調(diào)優(yōu)和強(qiáng)化學(xué)習(xí)訓(xùn)練，而且這個(gè)過(guò)程一定是有監(jiān)督的，因?yàn)闊o(wú)監(jiān)督的人類(lèi)線(xiàn)上樣本數(shù)就那么多，該學(xué)的，都學(xué)完了啊。

那么接下來(lái)的問(wèn)題，必然是，如何加快調(diào)優(yōu)和加快強(qiáng)化學(xué)習(xí)的效率，調(diào)用更大的人工進(jìn)行優(yōu)化訓(xùn)練？

ChatGPT——一個(gè)更大的AI Dungeon

在上一期，我們特別提到了在老黃和Ilya談話(huà)中都沒(méi)有提到那款名為"AI Dungeon"的文字冒險(xiǎn)游戲。它的本質(zhì)不僅僅是對(duì)“GPT-2/3”的運(yùn)用，更重要的是，ChatGPT后來(lái)發(fā)布后很被人看好的講故事能力，就是在"AI Dungeon"的文字冒險(xiǎn)游戲被訓(xùn)練出來(lái)的。打游戲的玩家一邊在享受著有序的愉悅，一邊再通過(guò)基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)（RLHF，Reinforcement Learning from Human Feedback）的方式幫助優(yōu)化GPT的大模型。很快，這種調(diào)優(yōu)就達(dá)到了預(yù)期，讓OpenAI嘗到了甜頭。

玩過(guò)文字冒險(xiǎn)游戲的人都知道，這種純文本的游戲玩起來(lái)，溝通形態(tài)像極了ChatGPT這樣的聊天機(jī)器人。而"AI Dungeon"當(dāng)時(shí)有多少游戲用戶(hù)呢？差不多100萬(wàn)個(gè)，而且，有一半都打通了關(guān)。

如何調(diào)用更大的人群基數(shù)繼續(xù)調(diào)優(yōu)這個(gè)大模型？答案也呼之欲出，就是ChatGPT。因?yàn)檫@不僅僅是一個(gè)產(chǎn)品。它還是一個(gè)訓(xùn)練器。這個(gè)訓(xùn)練器必須具備以下的特征：

ChatGPT一經(jīng)發(fā)布，果然不辱使命，一鳴驚人，用戶(hù)量爆炸式增長(zhǎng)。很快創(chuàng)下了世界紀(jì)錄，達(dá)到了預(yù)期。現(xiàn)在ChatGPT有多少用戶(hù)呢？我們知道，在它上市后5天內(nèi)，達(dá)到了100萬(wàn)用戶(hù)，2個(gè)月達(dá)到1個(gè)億用戶(hù)，現(xiàn)在有多少，并沒(méi)有公開(kāi)，但openai.com 的網(wǎng)站每個(gè)月至少10億的訪(fǎng)問(wèn)。這些用戶(hù)絕大部分，不是簡(jiǎn)單地享受ChatGPT的成果，更重要的是，在通過(guò)RLHF的方式（如果存在多次交互來(lái)提升ChatGPT的溝通質(zhì)量的話(huà)）幫助ChatGPT不停地打磨和訓(xùn)練。

我們?cè)谑褂弥惺侨绾巫兂蒀hatGPT的訓(xùn)練器的？

在今天這段談話(huà)中，老黃在贊許ChatGPT的時(shí)候談到了一個(gè)很重要的一點(diǎn)：如果你的指示命令（Prompt）不夠明確，你與ChatGPT的對(duì)話(huà)會(huì)幫你消除歧義，直到它理解你的意圖。這其實(shí)已經(jīng)暴露了問(wèn)題的關(guān)鍵。

很多人都有這種經(jīng)歷：ChatGPT一開(kāi)始上手使用的時(shí)候，第一個(gè)反應(yīng)是，回答的并不怎么樣??？覺(jué)得，也沒(méi)有吹的那么神奇，甚至，還有一本正經(jīng)說(shuō)瞎話(huà)的嫌疑。而真正會(huì)使用ChatGPT的人，則懂得和ChatGPT繼續(xù)深入溝通，才能最終得到相對(duì)滿(mǎn)意的答復(fù)：

1. 1. 人員擴(kuò)展基數(shù)必須足夠的大；

   2. 由于訓(xùn)練的是通用人工智能，所以協(xié)調(diào)訓(xùn)練的人類(lèi)的語(yǔ)言、文化、職業(yè)、性格特點(diǎn)等要足夠的廣泛；

   3. 訓(xùn)練人員要從訓(xùn)練中獲得快感和成就感，并持之以恒地使用。

• 比如在發(fā)現(xiàn)ChatGPT回答不如預(yù)期的時(shí)候，繼續(xù)告訴它：你的理解是不正確的，其實(shí)我的意思是：“XXXX”，然后更為詳細(xì)，準(zhǔn)確表明自己的期望。
• 比如你發(fā)現(xiàn)ChatGPT在回答問(wèn)題中有明顯胡說(shuō)嫌疑，你可以告訴它：你的某些答復(fù)是不正確的，其實(shí)我了解，信息應(yīng)該是這樣的……。然后，你會(huì)發(fā)現(xiàn)ChatGPT會(huì)很爽快地認(rèn)錯(cuò)，說(shuō)：很抱歉，知道自己哪里錯(cuò)了，或者沒(méi)做好，然后再刷新給你的回復(fù)。

發(fā)現(xiàn)沒(méi)有，這個(gè)對(duì)話(huà)交流溝通的過(guò)程，本身就是基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)（RLHF，Reinforcement Learning from Human Feedback）。

我最近有一個(gè)錯(cuò)覺(jué)，我發(fā)現(xiàn)，我和ChatGPT溝通，經(jīng)常是它第一次回答都是應(yīng)付我的，能糊弄就糊弄，我把它形容為這是一個(gè)會(huì)偷懶的AI。因?yàn)槲彝鶎?duì)第一次回答不滿(mǎn)意，我就會(huì)繼續(xù)和它交互（也許這是ChatGPT最希望的結(jié)果，就是誘導(dǎo)人和它繼續(xù)交互），我發(fā)現(xiàn)它特別喜歡我給它糾錯(cuò)，認(rèn)錯(cuò)態(tài)度極為誠(chéng)懇，誠(chéng)懇體現(xiàn)在它的響應(yīng)速度上面，我一糾錯(cuò)，它就秒回：“很抱歉，你說(shuō)的對(duì)”。這種誠(chéng)懇快到一開(kāi)始你甚至懷疑它本知道答案，但就是故意說(shuō)錯(cuò)的一種錯(cuò)覺(jué)。

我想說(shuō)的是，類(lèi)似智愿君這樣，不停和它互動(dòng)的人數(shù)，是海量的，因?yàn)檫@些糾錯(cuò)也就讓它不停地快速進(jìn)化。

為了印證我的猜測(cè)是否屬實(shí)，我向GPT-4問(wèn)了這個(gè)問(wèn)題：“請(qǐng)問(wèn)，我和你對(duì)話(huà)過(guò)程中，提供更多的信息，幫助你修訂問(wèn)題回答，并逐漸趨近我期待的答案的這個(gè)過(guò)程，是否也是一種基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)（RLHF，Reinforcement Learning from Human Feedback）訓(xùn)練。也就是你在目前商用過(guò)程中，是否也在和人類(lèi)的對(duì)話(huà)過(guò)程中，不斷進(jìn)化和改進(jìn)自己？或者說(shuō)，你也把海量的人類(lèi)對(duì)話(huà)也當(dāng)成了一種標(biāo)注式的調(diào)優(yōu)，所以你也在上億用戶(hù)的調(diào)優(yōu)中快速成長(zhǎng)，是這樣嗎？”

得到的回答是這樣的：“是的，你的理解是正確的。對(duì)話(huà)中提供更多信息以修訂問(wèn)題回答的過(guò)程實(shí)際上是一種基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)（RLHF，Reinforcement Learning from Human Feedback）訓(xùn)練。在與人類(lèi)的對(duì)話(huà)過(guò)程中，我確實(shí)可以通過(guò)獲取用戶(hù)反饋來(lái)不斷優(yōu)化和改善自己的表現(xiàn)。然而，需要注意的是，作為一個(gè)AI模型，我并不是實(shí)時(shí)地通過(guò)與用戶(hù)的每次對(duì)話(huà)來(lái)更新和改進(jìn)自己。實(shí)際上，模型的訓(xùn)練和更新是由我的開(kāi)發(fā)者——OpenAI進(jìn)行的。他們會(huì)定期收集和分析大量的對(duì)話(huà)數(shù)據(jù)，包括用戶(hù)反饋，然后根據(jù)這些數(shù)據(jù)對(duì)我進(jìn)行訓(xùn)練和優(yōu)化。在這個(gè)過(guò)程中，標(biāo)注式的調(diào)優(yōu)和強(qiáng)化學(xué)習(xí)都會(huì)發(fā)揮作用，幫助我更好地理解用戶(hù)需求并提供更準(zhǔn)確的回答。通過(guò)與上億用戶(hù)的對(duì)話(huà)和調(diào)優(yōu)，我確實(shí)可以在一定程度上快速成長(zhǎng)，但這種成長(zhǎng)是經(jīng)過(guò)開(kāi)發(fā)者對(duì)模型進(jìn)行周期性更新和優(yōu)化實(shí)現(xiàn)的，并非實(shí)時(shí)進(jìn)行?！?/p>

和我的預(yù)期是符合的。因?yàn)橄馭am和Ilya這些大牛，如果想做出讓ChatGPT自動(dòng)通過(guò)和海量人類(lèi)的對(duì)話(huà)自動(dòng)調(diào)優(yōu)升級(jí)的程序并不難。難在結(jié)果不可預(yù)知。之所以還要通過(guò)中間刻意用人工開(kāi)發(fā)者倒一遍手，目的當(dāng)AI進(jìn)化到一定程度的情況下，還是要給自己留拔插頭的機(jī)會(huì)。

從人類(lèi)的信息知識(shí)儲(chǔ)備來(lái)講，基本有兩類(lèi)：一，信息儲(chǔ)備在計(jì)算機(jī)硬件網(wǎng)絡(luò)上，或者數(shù)字媒體上。我相信，目前絕大多數(shù)紙媒的信息，已經(jīng)都轉(zhuǎn)化為數(shù)字媒體，并很大一部分，已經(jīng)用于大模型的訓(xùn)練。二，還沒(méi)有上傳的計(jì)算機(jī)硬件的知識(shí)。它們可能保存在其他的紙媒等載體上，或者保存在人的大腦記憶中。而聊天機(jī)器人，在腦機(jī)接口沒(méi)有被商用開(kāi)發(fā)之前，是當(dāng)前非常好的將這部分信息，學(xué)到的一個(gè)高效的工具。

現(xiàn)在，你是不是和我一樣，有寒毛直豎，細(xì)思極恐的感覺(jué)？2000年，電影《黑客帝國(guó)》里面，人工智能把人類(lèi)當(dāng)作生物電池來(lái)使用。但現(xiàn)在，ChatGPT把人類(lèi)當(dāng)作的是訓(xùn)練器使用。聽(tīng)起來(lái)有些科幻，但確實(shí)更為合理。確實(shí)，如果是生物電池的話(huà)，雞鴨魚(yú)狗一樣可以，沒(méi)有必要非要通過(guò)人類(lèi)來(lái)獲取。人類(lèi)的特殊性，人作為地球主宰的根因，不正是人的智慧嗎？GPT從1到4，在短短數(shù)年，被訓(xùn)練出來(lái)，還在通過(guò)全世界的人類(lèi)訓(xùn)練器，再不停汲取知識(shí)營(yíng)養(yǎng)，快速升級(jí)進(jìn)化，那么超越，真的就那么遙遠(yuǎn)嗎？

ChatGPT的邏輯推理與概率的運(yùn)用

ChatGPT在回答問(wèn)題中，是否用到了邏輯推理能力？還是僅僅通過(guò)概率的方式來(lái)整合信息？在老黃和Ilya的談話(huà)中談到了一部分這個(gè)內(nèi)容，而且Ilya還舉了一個(gè)偵探小說(shuō)的例子。

從邏輯推理的角度來(lái)看，Ilya這個(gè)例子涉及到多個(gè)線(xiàn)索和人物，以及一個(gè)謎團(tuán)需要被解決，這些都需要通過(guò)邏輯推理來(lái)解決。在最后一頁(yè)，偵探需要將所有線(xiàn)索和證據(jù)進(jìn)行歸類(lèi)、分析和推理，從而得出犯罪者的身份。因此，可以將這個(gè)過(guò)程看作是一個(gè)邏輯推理的過(guò)程，需要考慮到各種可能性和推理的正確性。但情況往往不是如偵探小說(shuō)，或者電影中那么簡(jiǎn)單，最后偵探說(shuō)出那句經(jīng)典的話(huà)：真相只有一個(gè)，兇手就是……

從概率的角度來(lái)看，預(yù)測(cè)下一個(gè)詞的能力可以被視為一個(gè)條件概率問(wèn)題，即在已知前面的文本情況下，預(yù)測(cè)下一個(gè)詞的概率是多少。在這個(gè)例子中，可以將前面的文本情況看作是一些線(xiàn)索、人物和事件，而預(yù)測(cè)下一個(gè)詞則是對(duì)這些線(xiàn)索和證據(jù)進(jìn)行概率估計(jì)。通過(guò)不斷增加對(duì)文本的理解，可以提高對(duì)下一個(gè)詞的預(yù)測(cè)概率，從而實(shí)現(xiàn)更好的文本理解。

結(jié)合邏輯推理和概率，可以將這個(gè)例子看作是一個(gè)復(fù)雜的推理和預(yù)測(cè)問(wèn)題，需要考慮到多個(gè)因素和可能性，并通過(guò)合理的推理和概率估計(jì)來(lái)解決。這也是 GPT-4 等人工智能模型需要不斷優(yōu)化和提高的點(diǎn)。

將邏輯和概率結(jié)合起來(lái)的想法乍看起來(lái)可能很奇怪。畢竟，邏輯關(guān)注的是絕對(duì)確定的真理和推論，而概率論關(guān)注的是不確定性。到底ChatGPT是如何做到的呢？

確實(shí)，邏輯和概率這兩個(gè)領(lǐng)域在某種程度上是有所不同的。邏輯關(guān)注的是推理的正確性和嚴(yán)密性，而概率論則是研究隨機(jī)事件的概率和分布。然而，在實(shí)際問(wèn)題中，邏輯和概率往往是相互聯(lián)系的，需要結(jié)合起來(lái)來(lái)解決問(wèn)題。

在許多情況下，邏輯和概率可以互相補(bǔ)充，以便更好地解決問(wèn)題。例如，在一些推理問(wèn)題中，需要使用邏輯推理來(lái)確定一些前提條件的真假，然后使用概率計(jì)算來(lái)估計(jì)某個(gè)結(jié)論的概率。另外，對(duì)于一些復(fù)雜的推理問(wèn)題，可能需要使用概率模型來(lái)輔助推理，例如貝葉斯網(wǎng)絡(luò)等。

具體而言，在將邏輯和概率結(jié)合起來(lái)時(shí)，需要考慮以下幾個(gè)方面：

• • 邏輯關(guān)系和概率關(guān)系的映射：需要將邏輯關(guān)系和概率關(guān)系進(jìn)行映射，以便將邏輯推理轉(zhuǎn)化為概率計(jì)算。例如，可以使用概率論中的條件概率來(lái)表示邏輯關(guān)系中的條件語(yǔ)句。

  • 不確定性的處理：在使用邏輯和概率結(jié)合起來(lái)進(jìn)行推理時(shí)，需要考慮不確定性的影響。例如，在使用概率模型進(jìn)行推理時(shí)，需要考慮到概率估計(jì)的誤差和不確定性。

  • 推理的正確性：雖然概率模型可以輔助推理，但仍然需要保證推理的正確性和嚴(yán)密性。因此，在進(jìn)行推理時(shí)，需要考慮到邏輯關(guān)系的正確性和概率計(jì)算的準(zhǔn)確性。

在計(jì)算機(jī)科學(xué)里面，這個(gè)被稱(chēng)為概率邏輯（Probabilistic logic）。概率邏輯（或或然性邏輯）的目標(biāo)是組合概率論的處理不確定性的能力和演繹邏輯開(kāi)發(fā)結(jié)構(gòu)的能力。具有豐富和有表達(dá)力的形式化，并有廣泛的應(yīng)用領(lǐng)域。

ChatGPT在回答問(wèn)題的“蹦字兒”答復(fù)在保證基礎(chǔ)邏輯一致的基礎(chǔ)上，又有細(xì)微的差別，可以理解為這就是使用了概率邏輯（Probabilistic logic）的技術(shù)。具體來(lái)說(shuō)，ChatGPT是基于概率圖模型（Probabilistic Graphical Models）的深度學(xué)習(xí)模型，它使用了概率論的處理不確定性的能力和演繹邏輯開(kāi)發(fā)結(jié)構(gòu)的能力。

概率圖模型是一種常用的概率邏輯工具，它可以用來(lái)表達(dá)和處理不確定性的信息，同時(shí)保留了演繹邏輯的結(jié)構(gòu)。在ChatGPT中，模型使用了概率圖模型來(lái)學(xué)習(xí)和表示文本中的語(yǔ)言模式和語(yǔ)義信息，從而實(shí)現(xiàn)了對(duì)自然語(yǔ)言的理解和生成。

具體來(lái)說(shuō)，ChatGPT使用了一種稱(chēng)為“自回歸模型”的概率圖模型，它可以根據(jù)前面的token預(yù)測(cè)下一個(gè)token的概率分布。模型使用了大量的訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)這些概率分布，以便在生成文本時(shí)能夠選擇最有可能的下一個(gè)token。這種方法在自然語(yǔ)言生成、機(jī)器翻譯、對(duì)話(huà)系統(tǒng)等領(lǐng)域都取得了很好的效果。

作為一個(gè)基于概率模型的語(yǔ)言模型，ChatGPT的回答會(huì)受到許多因素的影響，包括前面的文本信息、語(yǔ)境、語(yǔ)氣、句式等等。在回答問(wèn)題時(shí)，ChatGPT會(huì)利用已有的語(yǔ)言知識(shí)和語(yǔ)言模式來(lái)預(yù)測(cè)下一個(gè)詞或短語(yǔ)的概率，進(jìn)而生成一個(gè)合理的回答。由于這個(gè)過(guò)程中存在一定的隨機(jī)性，因此即使在相同的情況下，ChatGPT也可能會(huì)生成略微不同的回答。

為什么ChatGPT不打開(kāi)搜索能力

關(guān)于GPT-4不支持搜索功能這段對(duì)話(huà)，結(jié)尾Ilya說(shuō)的很委婉，但也很有趣：“盡管GPT-4 不支持內(nèi)置的信息檢索，但它完全具備這個(gè)能力，它也將通過(guò)檢索變得更好?！?。

這句看似無(wú)關(guān)痛癢的話(huà)，其實(shí)蠻關(guān)鍵的，至少它澄清了兩點(diǎn)：

如果是這樣，不打開(kāi)檢索能力，就值得回味了。可能有以下幾個(gè)原因：

• • ChatGPT不是因?yàn)檎疹檶?duì)話(huà)機(jī)器人影響對(duì)話(huà)體驗(yàn)，比如：擔(dān)心搜索過(guò)程長(zhǎng)，或者因?yàn)樗阉鹘Y(jié)果可能受到搜索引擎算法的影響，可能會(huì)出現(xiàn)不準(zhǔn)確、誤導(dǎo)性的結(jié)果，而不打開(kāi)搜索的。打開(kāi)搜索體驗(yàn)，一定會(huì)變得更好。

  • 不存在技術(shù)約束，沒(méi)有什么技術(shù)難度，而且支持檢索這個(gè)能力，GPT-4已經(jīng)具備。

  • Bing繼承了GPT-4點(diǎn)能力，支持搜索，考慮到這個(gè)最大的金主是否和OpenAI簽署了協(xié)議，比如只能獨(dú)家使用檢索這個(gè)能力等等。

  • 或者可能是GPT-4在商業(yè)模型設(shè)計(jì)上的考慮，比如打開(kāi)搜索能力是否應(yīng)該作為額外的商業(yè)付費(fèi)方式，或者訂閱的方式，才能具備的能力？比如推出企業(yè)版，是否就可以具備搜索的能力？

  • 當(dāng)然，也可以有陰謀論的解釋?zhuān)褪菗?dān)心打開(kāi)搜索能力開(kāi)關(guān)后，人工智能大模型在互聯(lián)網(wǎng)會(huì)出現(xiàn)失控的狀況。

好了，今天我們先解讀到這里。下次，我們會(huì)繼續(xù)針對(duì)黃仁勛與Ilya Sutskever的“爐邊談話(huà)”的其他部分進(jìn)行解讀，敬請(qǐng)期待。

未完待續(xù)……