近日，OpenAI的科學家Hyung Won Chung在首爾國立大學的演講中表示，GPT-4即將實現(xiàn)重大突破，并在性能上有顯著跳躍。

他指出，新一代的大型語言模型正處于重大的變革之前，社會需要盡快改變對人工智能的看法。盡管目前市場上的大型模型可能在某些方面表現(xiàn)不佳，但隨著模型規(guī)模的擴大，許多原有的結(jié)論可能會被推翻。

目前，大型模型由于輸入和輸出的限制存在一些問題，一些人對大型模型的發(fā)展表達了一些擔憂。他們擔心大型模型可能會導(dǎo)致信息濫用和誤導(dǎo)，特別是在虛假新聞和深度偽造方面。然而，根據(jù)Chung的演講，新一代的GPT可能具備快速自我糾正的能力，可以有效解決這些問題。

Hyung Won Chung表示，他在實驗過程中會記錄失敗的情況。每當有新模型出現(xiàn)時，他會再次運行實驗，查看哪些是成功的，哪些是失敗的，并不斷更新和糾正自己的認知和理解，以適應(yīng)技術(shù)的快速發(fā)展。

目前，GPT-3和GPT-4之間仍存在顯著差距，試圖填補當前模型與GPT-4之間的差距可能是不切實際的。

總的來說，Hyung Won Chung認為，最大似然估計的目標函數(shù)是達到GPT-4 10000倍規(guī)模的瓶頸。使用更多表達能力的神經(jīng)網(wǎng)絡(luò)來學習目標函數(shù)將成為下一個更可擴展的范式。隨著計算成本的指數(shù)級下降，可擴展的方法最終將取得成功。

編輯：黃飛