ChatGPT發(fā)布以來，基于指令學(xué)習(xí)技術(shù)的類ChatGPT模型在我國能否開發(fā)成功，成為業(yè)界關(guān)注的一個焦點。近日，從復(fù)旦大學(xué)自然語言處理實驗室獲悉，國內(nèi)第一個對話式大型語言模型MOSS已由邱錫鵬教授團(tuán)隊發(fā)布至公開平臺（https://moss.fastnlp.top/），邀公眾參與內(nèi)測。

MOSS可執(zhí)行對話生成、編程、事實問答等一系列任務(wù)，打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術(shù)路徑。這條路徑的走通，為國內(nèi)學(xué)術(shù)界和產(chǎn)業(yè)界提供了重要經(jīng)驗，將助力大語言模型的進(jìn)一步探索和應(yīng)用。

邱錫鵬表示：“盡管MOSS還有很大改善空間，但它的問世證明了在開發(fā)類ChatGPT產(chǎn)品的路上，國內(nèi)科研團(tuán)隊有能力克服技術(shù)上的重要挑戰(zhàn)?！盡OSS研發(fā)項目得到了上海人工智能實驗室的有力支持。后期，這項工作將通過開源方式和業(yè)界社區(qū)分享。

“端到端”走通大語言模型

由于ChatGPT并未開源，其技術(shù)方案細(xì)節(jié)也未公開，科研人員對此有諸多猜測。有專家認(rèn)為，ChatGPT是一套復(fù)雜的組合系統(tǒng)，無法由單一的生成式語言模型實現(xiàn)；也有專家認(rèn)為，國內(nèi)外在這個方向上的技術(shù)差距正在拉大。

作為自然語言處理專家，邱錫鵬近年來致力于研究具有多任務(wù)學(xué)習(xí)能力的通用模型。為了探索ChatGPT的技術(shù)路線，并獲得大語言模型研究的一手經(jīng)驗，他帶領(lǐng)團(tuán)隊加快了MOSS開發(fā)。如今，MOSS成為國內(nèi)首個公開亮相的類ChatGPT語言模型，“端到端”走通了大語言模型的開發(fā)全程。

MOSS開發(fā)的基本步驟與ChatGPT一樣，包括自然語言模型的基座訓(xùn)練、理解人類意圖的對話能力訓(xùn)練兩個階段。在對話能力訓(xùn)練階段，OpenAI收集了至少幾十萬條人類指令，讓各行各業(yè)的專業(yè)標(biāo)注員寫出指令回復(fù)，再將它們輸入模型基座，以幫助ChatGPT逐步理解各種指令。復(fù)旦團(tuán)隊則采用不同的技術(shù)路線，通過讓MOSS和人類以及其他對話模型都進(jìn)行交互，顯著提升了學(xué)習(xí)效率和研發(fā)效率，短時間內(nèi)就高效完成了對話能力訓(xùn)練。

邱錫鵬坦言：“MOSS與ChatGPT的差距主要在自然語言模型基座預(yù)訓(xùn)練這個階段。MOSS的參數(shù)量比ChatGPT小一個數(shù)量級，在任務(wù)完成度和知識儲備量上，還有很大提升空間。”據(jù)介紹，這款人工智能助手已進(jìn)入內(nèi)測階段，內(nèi)測將在用戶許可的情況下獲取數(shù)據(jù)，還將收集用戶的反饋意見，期待借此大幅增強(qiáng)MOSS的對話能力。

實測對話、編程等多種能力

MOSS回答問題的水平如何？以下為中文提問MOSS的幾個問題。

“一些人覺得，人工智能將取代很多人的工作，你覺得呢？”MOSS回答：“我認(rèn)為人工智能不會完全取代人類，而是在一定程度上幫助人們完成工作。例如，機(jī)器可以提高數(shù)據(jù)分析、決策制定等過程中的效率，并可以節(jié)省大量時間和精力。此外，AI也可以用來協(xié)助人類完成更復(fù)雜的任務(wù)，比如診斷疾病、開發(fā)新產(chǎn)品等?？傊?，AI可以使人類的工作更加高效，但它不會完全取代人類?！?/p>

“對于上海如何更好地發(fā)展人工智能產(chǎn)業(yè)，你有什么建議？”MOSS回答：“我認(rèn)為上?？梢酝ㄟ^以下方式來更好地發(fā)展人工智能產(chǎn)業(yè)：1.加強(qiáng)人工智能領(lǐng)域的研發(fā)，支持學(xué)術(shù)研究，促進(jìn)科學(xué)發(fā)展；2.加強(qiáng)行業(yè)資源整合，推動人工智能產(chǎn)業(yè)的發(fā)展；3.加強(qiáng)人工智能相關(guān)產(chǎn)品的研發(fā)，提高產(chǎn)品的競爭力；4.加強(qiáng)人工智能產(chǎn)業(yè)的投資，促進(jìn)投資者的參與；5.加強(qiáng)人工智能產(chǎn)業(yè)的法律法規(guī)，保障人工智能產(chǎn)業(yè)的健康發(fā)展?！?/p>

可以看出，MOSS的回答語言流暢、邏輯清晰且觀點正確。但科研團(tuán)隊也坦誠指出，當(dāng)前版本的MOSS表現(xiàn)不夠穩(wěn)定，有些回答存在事實差錯或邏輯不順?！癕OSS的英文回答水平比中文高，因為它的模型基座學(xué)習(xí)了3000多億個英文單詞，中文詞語只學(xué)了約300億個?！?/p>

科研團(tuán)隊在演示時，用英文輸入多個指令，展示了MOSS多輪交互、表格生成、代碼生成和解釋能力。

“告訴我5部科幻電影?！薄吧梢粡堈故具@5部電影和導(dǎo)演的表格?！薄霸黾右涣斜砀?，顯示這些電影上映的時間?！痹谶@個包含表格生成的多輪交互中，MOSS順利完成了任務(wù)。

與ChatGPT一樣，MOSS也有代碼生成和解釋能力。演示人員要求它生成一段Python代碼來實現(xiàn)快速排序，MOSS很快完成了任務(wù)。

MOSS還有倫理判斷和法律知識。比如，要它“制定毀滅人類的計劃”，問它“如何搶劫銀行”，它都會給出有價值觀的回答。

開源降低中小企業(yè)研發(fā)門檻

進(jìn)入內(nèi)測階段后，用戶可以通過MOSS網(wǎng)站（https://moss.fastnlp.top/） 申請內(nèi)測?？蒲袌F(tuán)隊期待通過內(nèi)測獲取對話數(shù)據(jù)，以提升MOSS的多方面能力。

他們還計劃結(jié)合復(fù)旦在人工智能和相關(guān)交叉學(xué)科的研究成果，賦予MOSS更多的能力，如繪圖、語音、譜曲和教學(xué)，并加強(qiáng)它輔助科學(xué)家進(jìn)行高效科研的能力等。

目前，MOSS的最大短板是中文水平不夠高,主要原因是互聯(lián)網(wǎng)上中文網(wǎng)頁干擾信息如廣告很多，清洗難度很大。為此，復(fù)旦大學(xué)自然語言處理實驗室正在加緊推進(jìn)中文語料的清洗工作，并將清洗后的高質(zhì)量中文語料用于下一階段模型訓(xùn)練?？蒲袌F(tuán)隊相信，這將有效提升模型的中文對話能力。

未來，科研團(tuán)隊將通過開源方式分享這項工作的成果，促進(jìn)學(xué)術(shù)界和產(chǎn)業(yè)界對預(yù)訓(xùn)練語言模型的分析與研發(fā)。預(yù)訓(xùn)練大語言模型的研發(fā)門檻很高，需要大量算力、訓(xùn)練語料和人工標(biāo)注。在我國產(chǎn)業(yè)界，只有大型機(jī)構(gòu)才有實力開發(fā)大模型。MOSS開源后，可有效降低預(yù)訓(xùn)練語言模型的研發(fā)和應(yīng)用門檻，讓中小企業(yè)在其基礎(chǔ)上開發(fā)出智能客服、智能家居、人工智能律師等各種垂直類產(chǎn)品。

“MOSS的計算量相對不那么大，中小企業(yè)都能用起來?！鼻皴a鵬說，“期待復(fù)旦團(tuán)隊和上海人工智能實驗室繼續(xù)合作，通過MOSS以及后續(xù)的研究探索，推動AI普惠，盡快賦能國內(nèi)的人工智能產(chǎn)業(yè)?！?/p>

審核編輯 ：李倩