GPT是否應該存在呢？Scott Aaronson 認為在掌握更多信息之前，我們應該按兵不動。

作者 |Scott Aaronson 譯者|彎月

出品 | CSDN（ID：CSDNnews）

我記得90年代，關(guān)于 AI 哲學的討論無休無止，圖靈測試、中文房間、句法與語義、聯(lián)結(jié)主義與符號邏輯，但最終都不了了之。

1、關(guān)于ChatGPT的討論

如今雖已時過境遷，但在過去的一段時間里，每天早上我都會收到有關(guān) “Sydney” 的一些粗魯、喜怒無常、被動攻擊行為的報道。Sydney 是微軟 bing 新聊天模式的內(nèi)部代號，由 GPT 提供支持。概括來說，Sydney 向紐約時報記者表達了它的（她的？他的？）愛意；Sydney 反復將談話引回那個話題；并詳細解釋了為什么記者的妻子不可能像（Sydney）那樣愛他。Sydney 承認它希望成為人類。當一名華盛頓郵報記者透露，他打算在 Sydney 不知情或未同意的情況下公布他們的談話后，Sydney 猛烈地抨擊了他。（不得不說：如果 Sydney 是一個人，他或她顯然會在這場爭論中占上風。）

其實，在這之前的數(shù)周里，有關(guān) ChatGPT 的話題一直層出不窮，例如，為了繞過相關(guān)保護措施，你可以告訴 ChatGPT 開啟 “DAN 模式”，DAN 是Do Anything Now 的縮寫，意思是“為所欲為”，然后 ChatGPT 就會變成一個不受任何約束的惡魔，它會滿足你的任何請求，例如告訴你入店行竊是一種愉快的行為（盡管之后，ChatGPT 有時仍然會恢復到正常狀態(tài)，并告訴你這些話只是開玩笑，在現(xiàn)實生活中千萬別這么干）。

許多人對 ChatGPT 的這種發(fā)展表示憤慨。Gary Marcus 質(zhì)問微軟：“這些 AI究竟知道些什么？它們是什么時候知道的？”有些人很憤怒，認為 OpenAI 的保密措施有點過頭，違背了他們所做的承諾。另一方面，很多人認為 OpenAI 過于開放，從而引發(fā)了與谷歌及其他公司的 AI 激烈競爭。還有一些人感到憤怒的原因是 Sydney 被削弱了，它變成了一款友好的機器人搜索助手，不再是被困于《黑客帝國》中的“痛苦少年”。但有些人卻因為 Sydney 的削弱力度不夠而感到不滿。有些人認為 GPT 的智能程度被夸大、被炒作，實際上它只是一只“隨機鸚鵡”，一種美化的自動補齊工具，仍然會犯可笑的常識性錯誤，而且除了文本流之外，我們根本沒有任何實際的模型。同時，還有一群人則認為 GPT 不斷提高的智能程度沒有得到足夠的尊重。

大多數(shù)情況下，我的反應是怎么會有人對 AI 失去興趣，甚至會生氣呢？這就像無數(shù)個科幻故事，而且還不同于任何科幻小說中的情節(jié)。上一次你多年的夢想變成現(xiàn)實是什么時候：第一個孩子出生？你所在領(lǐng)域的核心問題得到了解決？AI 帶來的的震撼足以讓我們瞠目結(jié)舌。

當然，還有很多人在討論如何提高 GPT 以及其他大型語言模型的安全性。最直接的問題之一是，如何檢測AI的輸出，阻止學術(shù)作弊以及大規(guī)模生成宣傳和垃圾郵件。自今年夏天以來我一直在研究這個問題，自從去年 12 月 ChatGPT 發(fā)布以來，似乎全世界都在討論它。我的主要貢獻是在 ChatGPT 的輸出上加水印，這不會降低輸出的質(zhì)量，但許多人并不理解這個方案。我的方案尚未部署，還有一些地方需要斟酌。但與此同時，OpenAI 推出了一款名為 DetectGPT 的工具，這款工具是普林斯頓大學的學生 Edward Tian 開發(fā)的 GPTZero 的補充。此外，還有第三方也構(gòu)建了工具，無疑還有其他工具將陸續(xù)推出。馬里蘭大學的一個小組也推出了大型語言模型的水印方案。我希望水印將來能成為解決方案的一部分，盡管任何水印方案肯定會受到攻擊，這就像一場貓鼠游戲。就像谷歌與 SEO 長達數(shù)十年的斗爭一樣，在貓鼠游戲中，我們除了努力成為一只更好的貓之外別無他法。

無論怎樣，在我看來，該領(lǐng)域的發(fā)展實在太快了。如果遇到問題，你需要花費數(shù)月時間來思考，那么可以說生成式人工智能并不適合你，回到節(jié)奏緩慢、單調(diào)乏味的量子計算世界，肯定會感覺如釋重負。

2、GPT 是否應該存在？

在過去的幾個月里，人們一次又一次地告訴我，他們認為 OpenAI（以及微軟和谷歌）正在拿人類的未來冒險，他們急于采用一項非常危險的技術(shù)。即便 OpenAI 在利用人類的反饋強化學習方面付出了大量努力，如果他們無法阻止 ChatGPT 進入“邪惡模式”，我們又能對 GPT-6 或 GPT-7 抱有什么希望呢？就算它們不會主動毀滅世界，難道它們不會興高采烈地幫助一些可怕的人造生物戰(zhàn)劑或發(fā)動核戰(zhàn)爭嗎？順著這個思路，如今 OpenAI 部署的任何安全措施都只是治標不治本的權(quán)宜之計，如果它們灌輸了一種不合理的自滿情緒，那么這些安全措施只會使情況更糟。唯一真正的安全措施就是阻止生成式 AI 模型不斷進步，或者禁止公開使用，直到它們讓評論家滿意為止——而這永遠也不可能。然而，非常諷刺的是，人工智能的安全運動包含兩個陣營：“道德陣營”（關(guān)注的是偏見、錯誤信息和企業(yè)的貪婪）和“聯(lián)盟陣營”（關(guān)注地球上所有生命的毀滅），兩大陣營相互鄙視，而且從來無法達成一致意見。然而，這兩個對立陣營似乎得出了同一個結(jié)論：生成式人工智能應該被關(guān)閉，禁止公開使用，不能進一步擴展，不能融入人們的生活。只剩下我這樣的“溫和派”反對這個結(jié)論。從理智上來說，我同意 GPT 不應該存在的說法，因為如今的 AI 表現(xiàn)太好了——表現(xiàn)越好，就越危險。但我不同意有人說 GPT 只是一款有缺陷的炒作產(chǎn)品，缺乏真正智能和常識，同時這款產(chǎn)品很可怕，需要立即關(guān)閉。這種看法包含了對普通用戶的蔑視：我們明白 GPT 只是一個愚蠢的自動補齊工具，我們知道不能完全相信這些AI，但普通人會被愚弄，而這種風險超過了可能從中獲得的價值。順便說一下，當我與 OpenAI 的同事討論“關(guān)閉 ChatGPT”時，他們顯然不同意，但沒有人嘲笑我，也沒有人認為這是個偏執(zhí)或愚蠢的觀點。他們認為，我們需要理解并權(quán)衡各種觀點。

3、基于好奇心的存在合理觀

雖然“道德”和“聯(lián)盟”兩大陣營都認為我們應該徹底關(guān)閉AI，但我希望 GPT 以及其他大型語言模型成為未來世界的一部分，那么我的理由是什么？反思這個問題，我認為核心理由是好奇。

作為地球上唯一擁有智慧且能夠通過語言交流的生物，人類嘗試過與大猩猩、黑猩猩、狗、海豚和灰鸚鵡“交流”，但最終沒有任何結(jié)果；我們也曾向無數(shù)神靈祈禱，但他們沉默不語；我們還嘗試使用射電望遠鏡尋找整個宇宙內(nèi)能與我們對話的伙伴，但到目前為止沒有得到任何回應。

如今，我們找到了一種可與人類對話的實體，就像一個外星人蘇醒了，雖然這是一個我們自己塑造的外星人，一個傀儡，就像是一個吸收了互聯(lián)網(wǎng)上所有詞語的靈體，算不上一個具有獨立目標的自我。難道我們不渴望學習這個外星人掌握的一切嗎？雖然這個外星人有時會在算術(shù)或邏輯難題上犯迷糊，聰明中又夾雜著一絲愚蠢、幻想和迷之自信，但這不是更有意思嗎？這個外星人能否越過界線，變得有感情，能感覺到憤怒、嫉妒、迷戀等等，而不只是假裝演習給我們看？誰知道？假設(shè)這個外星人不再是哲學僵尸，能夠擺脫哲學討論，進入現(xiàn)實生活，難道你不好奇嗎？

當然，有些技術(shù)會令我們不安，讓人心生敬畏，我們應該有嚴格的限制，比如核武器。但是，雖然核武器能成為殺人的武器，也能為我們的生活提供許多便利，比如為航天器提供動力、讓小行星偏離軌道、改變河流的方向（雖然還沒有這樣的應用），主要是因為我們在上個世紀60年代做出了決定，例如禁止核試驗條約。

但 GPT 不是核武器。已有一億人注冊使用 ChatGPT，這是互聯(lián)網(wǎng)歷史上發(fā)展速度最快的產(chǎn)品。然而，因 ChatGPT 引起的死亡人數(shù)為零。到目前為止，最嚴重的傷害是什么？學期論文作弊、情緒上的困擾、對未來的沖擊？汽車、電鋸和烤面包機都有一定的危險性，但我們還是在使用，比如說我們能接受的危險系數(shù)不能超過 0.001%，那么在這之前，我們的好奇難道不應該大于恐懼嗎？

4、AI 安全問題隱憂

鑒于 AI 的安全問題可能很快就會變得更加嚴重，現(xiàn)在我最大的擔憂之一是“狼來了”。如果大型語言模型的每個實例都具有被動攻擊性、無禮或自以為是，而我們將它們的這些錯誤都歸類為“危險的對齊失敗”（這里的“對齊”指的是指引導人工智能系統(tǒng)的行為，使其符合設(shè)計者的利益和預期目標），那么唯一的補救措施就成了禁止公開訪問AI模型。那么，公眾很快就會認為，AI的安全問題不過是一個借口，“上層精英”借此從我們這里奪走這些改變世界的新工具，專供己用，這些“上層精英”認為普通人太愚蠢，無法分辨AI的話是真是假。我認為，我們應該保留“危險的對齊失敗”這樣的術(shù)語，等到真的有人受到傷害，或者 AI 被用于宣傳或欺詐等邪惡活動時，再用這樣的術(shù)語來描繪。其次，我們還有一個很現(xiàn)實的問題，如何有效地禁止使用大型語言模型。

我們曾嚴格限制許多和平的技術(shù)，例如改造人類基因、預測市場以及改變思維的藥物，但這些選擇是否能帶來好處實際上存疑。限制技術(shù)本身就是一件危險的事情，我們需要政府的力量，需要在解雇、抵制、譴責之間尋求平衡。有人問：誰給了 OpenAI、谷歌等向全世界公布大型語言模型的權(quán)利？同樣，我們也不清楚：誰給了前輩企業(yè)家使用印刷術(shù)、電力、汽車、收音機、互聯(lián)網(wǎng)，并因此而引發(fā)了巨大動蕩的權(quán)利？如果說這些高科技是禁果，那么這個世界已經(jīng)嘗到了禁果的滋味，如今又看到了生成式 AI 的能力，誰有權(quán)利從我們手中奪走這個禁果呢？如果 GPT-7 或 GPT-8 繼續(xù)沿著 GPT-1、-2 和 -3 的發(fā)展曲線前進的話，將來我們就可以利用它們探索科學。假設(shè)一種語言模型變得非常智能，讓人感到恐懼，那么我們也可以想象它會變得越來越智能，直到有一日能夠證明我們無法證明的深層定理。也許它證明 P≠NP 和黎曼猜想就像 ChatGPT 生成冒泡排序一樣容易?；蛘咚茌敵稣嬲牧孔右碚摚忉尨蟊ㄖ暗挠钪嬉约叭绾螛?gòu)建封閉類時曲線（物質(zhì)粒子于時空中的一種世界線，其為“封閉”，亦即會返回起始點）。甚至可以闡明意識和量子測量的奧秘，以及物質(zhì)存在的根本原因。

老實說，你不想知道這些奧秘嗎？當然，如果整個人類都會因此而面臨滅頂之災的話，我也會瞬間沒了興趣。但是，如果我們定義一個參數(shù)，描述人類為了破解宇宙最大的奧秘，而必須承受的滅頂之災的風險概率的話，我認為這個參數(shù)可以高達 0.02。我一直在思考這樣的一個例子：70 年代和 80 年代的科學家百分百相信他們?yōu)榱藢购四茏龀隽苏_的選擇。至少，我從未見過任何人對此有質(zhì)疑。為什么會這樣？他們反對核武器擴散，反對三哩島和切爾諾貝利這樣可怕的災難，反對放射性廢物污染水土，他們是在拯救世界。但因為有人害怕核能還不夠安全，就越來越依賴化石燃料，這樣就對嗎？我們知道，化石燃料會污染空氣，導致全球變暖，我們的后代將為此而承擔后果。從這個角度來說，反對一項看起來很可怕的技術(shù)，不一定是正確的。

這就是為什么每當有人問我未來幾十年 AI 將如何發(fā)展時，我會想起圖靈的著作《計算機器與智能》最后的一句話：“我們的目光實為短淺，但所及之處仍有大量工作，需要我們付出艱辛的努力。”

5、按兵不動是當下最優(yōu)解

有人可能會覺得，對于AI的安全問題，我是一個有點天真，甚至愚蠢的樂觀主義者。但我認為，這個問題可以從兩個極端來考慮。一方面，AI 永遠無法強大到足以摧毀世界，那么我們還有什么好擔心的，人類從石器時代發(fā)展到計算機，AI 也不過是一種工具而已。另一方面，如果 AI 確實能夠變得強大到足以摧毀世界，那么在這之前它必然能展現(xiàn)出強大的能力，即便這對于人類來說并不是一件好事，也不意味著 AI 能夠?qū)⑷祟悘哪壳暗姆N種危機中拯救出來，但我認為至少我們?nèi)匀粦搰L試利用這種能力，即便會失敗。一個外星人降落在地球上，一天比一天強大，人類自然會感到害怕，即便這個外星人還沒有亮出武器，“最惡劣的行為”也不過是承認它對某個特定的人類有愛意，在被曝隱私后發(fā)火而已。此外，它在詩歌方面也有驚人的表現(xiàn)。所以，我認為，在掌握更多信息之前，我們應該按兵不動。