北京時(shí)間 5 月 9 日晚，ICLR 2024 會(huì)場(chǎng)，GLM大模型技術(shù)團(tuán)隊(duì)受邀發(fā)表題為 The ChatGLM's Road to AGI 的主旨演講，全面闡述GLM大模型面向 AGI 三大技術(shù)趨勢(shì)。

第一，GLM-4的后續(xù)升級(jí)版本即GLM-4.5及其升級(jí)模型，應(yīng)當(dāng)基于超級(jí)認(rèn)知（Superintelligence）和超級(jí)對(duì)齊（Superalignment）技術(shù)。

GLM大模型團(tuán)隊(duì)認(rèn)為，文本是構(gòu)建大模型最關(guān)鍵的基礎(chǔ)，但下一步則應(yīng)該把文本、圖像、視頻、音頻等多種模態(tài)混合在一起訓(xùn)練，構(gòu)建真正原生的多模態(tài)模型，同時(shí)超級(jí)對(duì)齊（Superalignment）技術(shù)將協(xié)助提升大模型的安全性。

第二，為解決更加復(fù)雜的問題，GLM大模型團(tuán)隊(duì)提出GLM-OS概念，即以大模型為中心的通用計(jì)算系統(tǒng)。在ICLR現(xiàn)場(chǎng)，GLM大模型團(tuán)隊(duì)詳細(xì)闡述了GLM-OS的實(shí)現(xiàn)方式：基于已有 All-Tools 能力加上內(nèi)存記憶（memory）和自我反饋（self-reflection） 機(jī)制，GLM-OS 有望實(shí)現(xiàn)模仿人類的Plan-Do-Check-Act 循環(huán)。

首先做出計(jì)劃，然后初步嘗試形成反饋，基于反饋結(jié)果調(diào)整規(guī)劃，然后再行動(dòng)以期達(dá)到更好的效果。大模型依靠PDCA循環(huán)機(jī)制形成自我反饋和自我提升——恰如人類自己所做一樣。

第三，GLM大模型團(tuán)隊(duì)還在現(xiàn)場(chǎng)講解了自2019年以來團(tuán)隊(duì)就一直在研究的名為GLM-zero的技術(shù)。GLM-zero旨在研究人類的“無意識(shí)”學(xué)習(xí)機(jī)制?！爱?dāng)人在睡覺的時(shí)候，大腦依然在無意識(shí)地學(xué)習(xí)?！盙LM大模型團(tuán)隊(duì)表示，“無意識(shí)”學(xué)習(xí)機(jī)制是人類認(rèn)知能力的重要組成部分，包括自我學(xué)習(xí)（self-instruct）、自我反思（self-reflection）和自我批評(píng)（self-critics）。

人腦中存在著反饋 （feedback） 和決策 （decision-making） 兩個(gè)系統(tǒng)，分別對(duì)應(yīng)著大模型和內(nèi)存記憶兩大部分，GLM-zero的相關(guān)研究將進(jìn)一步拓展人類對(duì)意識(shí)、知識(shí)、學(xué)習(xí)行為的理解，換而言之，盡管還處于非常早期的研究階段，但GLM-zero可以視為通向AGI的必經(jīng)之路，這是GLM大模型團(tuán)隊(duì)第一次向外界公開這一技術(shù)趨勢(shì)。

除了闡述GLM大模型面向AGI的三大技術(shù)趨勢(shì)，GLM大模型技術(shù)團(tuán)隊(duì)在ICLR主旨演講中還回顧了國(guó)產(chǎn)自研大模型 ChatGLM 的演進(jìn)之路，向現(xiàn)場(chǎng)近2000名與會(huì)嘉賓與學(xué)者介紹了GLM系列大模型多項(xiàng)前沿研究成果，涵蓋數(shù)學(xué)、文生圖、圖像理解、視覺UI理解、Agent智能體、涌現(xiàn)現(xiàn)象等領(lǐng)域。這是中國(guó)大模型團(tuán)隊(duì)首度登上 ICLR 主旨演講環(huán)節(jié)。

ICLR 國(guó)際學(xué)習(xí)表征會(huì)議由深度學(xué)習(xí)巨頭、圖靈獎(jiǎng)獲得者 Yoshua Bengio 和 Yann LeCun 在2013年?duì)款^舉辦，與ICML、NeurIPS 并稱為機(jī)器學(xué)習(xí)領(lǐng)域水平最高會(huì)議之一。5月7日，ICLR 2024 在奧地利維也納會(huì)展中心開幕，受新一波人工智能浪潮推動(dòng)，本屆ICLR在參展人數(shù)、展覽規(guī)模、論文數(shù)量上均創(chuàng)新高。

審核編輯 黃宇