AI很聰明？有時計算加法的水平還不如高中生

谷歌的DeepMind的研究人員建立了兩種不同類型的最先進的神經(jīng)網(wǎng)絡(luò)，看看它們能否被訓(xùn)練來回答高中數(shù)學(xué)問題。結(jié)果是E級，沒有把6以上的個位數(shù)相加。

你會算下面這道題嗎？

1+1+1+1+1+1+1等于多少？

如果你的答案是7，那么恭喜你，正確，而且你的數(shù)學(xué)要比目前最先進的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)要出色。

我沒有開玩笑，根據(jù)國外媒體報道，谷歌旗下DeepMind的人工智能研究人員本周發(fā)表了一項研究，他們試圖訓(xùn)練神經(jīng)網(wǎng)絡(luò)來解決算術(shù)、代數(shù)和微積分的基本問題。這類問題通常是對高中生的測試。

但是神經(jīng)網(wǎng)絡(luò)的表現(xiàn)并不好。除了不正確地猜出上述問題的答案為6外，神經(jīng)網(wǎng)絡(luò)在一次標準測試中只答對了40道題中的14道。

研究人員指出，這相當(dāng)于英國16歲學(xué)生的E級。

基本上，在這一點上，人工智能很難真正學(xué)習(xí)任何基礎(chǔ)數(shù)學(xué)。

這篇名為“分析神經(jīng)模型的數(shù)學(xué)推理能力”的論文被創(chuàng)建為一個基準測試集，其他人可以在此基礎(chǔ)上構(gòu)建神經(jīng)網(wǎng)絡(luò)來進行數(shù)學(xué)學(xué)習(xí)，就像ImageNet被創(chuàng)建為一個圖像識別基準測試一樣。

引用紐約大學(xué)著名的神經(jīng)網(wǎng)絡(luò)評論家Gary Marcus的話，作者提到了著名的神經(jīng)網(wǎng)絡(luò)的“脆弱性”，并主張調(diào)查為什么人類能夠更好地執(zhí)行“關(guān)于對象和實體的離散成分推理，這是代數(shù)上的概括”。

他們提出了一系列不同的數(shù)學(xué)問題，這些問題應(yīng)該促使神經(jīng)網(wǎng)絡(luò)獲得這樣的推理，其中包括“規(guī)劃(例如，按照正確的組合順序識別函數(shù))”，當(dāng)一個數(shù)學(xué)問題的部分可能是關(guān)聯(lián)的，也可能不是分配的，也可能不是交換的。

他們寫道:“如果一個模型不具備至少一部分代數(shù)泛化的能力，它就很難在一系列問題類型中做得很好?！币虼耍瑪?shù)據(jù)集。

他們提出了一系列問題，沒有一個涉及幾何，也沒有一個是口頭問題：

42*r+27*c =-1167和130*r+4*c=372，求r等于多少。

答案：4

作者綜合了這些數(shù)據(jù)集，而不是將它們眾包，因為這樣很容易獲得大量的例子。他們將問題以“自由形式”的句子形式提交給計算機，這樣計算機就不會以任何方式將問題解析得更容易，比如“樹”或“圖”數(shù)據(jù)形式。

這些問題的基礎(chǔ)是“美國學(xué)校數(shù)學(xué)課程(16歲以下)，僅限于文本問題(因此不包括幾何問題)，它提供了作為學(xué)習(xí)課程一部分的廣泛數(shù)學(xué)主題?！彼麄儗懙?，他們加強了基礎(chǔ)課程，提出了“為代數(shù)推理提供良好測試”的問題。

他們指出，為了訓(xùn)練一個模型，他們本可以賦予一些神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)能力，但關(guān)鍵是讓它從無到有，并建立數(shù)學(xué)能力。因此，他們或多或少采用了標準的神經(jīng)網(wǎng)絡(luò)。

他們寫道:“我們感興趣的是評估通用模型，而不是那些已經(jīng)具備數(shù)學(xué)知識的模型?！?/p>

“從翻譯到通過圖像標題進行解析，這些模型(通常是神經(jīng)結(jié)構(gòu))如此普遍的原因在于，由于這些函數(shù)近似器的設(shè)計中編碼的領(lǐng)域特定知識相對較少(或沒有)，所以它們沒有偏見。”

作者構(gòu)建了兩種不同的“最先進的”神經(jīng)網(wǎng)絡(luò)來解析、嵌入并回答這些問題。一種是“長短時記憶”(LSTM)神經(jīng)網(wǎng)絡(luò)，它擅長處理順序類型的數(shù)據(jù)，由Sepp Hochreiter和Jurgen Schmidhuber在20世紀90年代開發(fā)。

他們還訓(xùn)練了所謂的“轉(zhuǎn)換器”，這是谷歌開發(fā)的一種較新的遞歸神經(jīng)網(wǎng)絡(luò)，在處理各種任務(wù)時越來越受歡迎，比如嵌入文本序列來處理自然語言。

他們給了神經(jīng)網(wǎng)絡(luò)一些時間來思考，因為“模型可能需要花費幾個計算步驟來整合問題中的信息”。

“為了實現(xiàn)這一點，我們在輸出答案之前添加了額外的步驟(零輸入)。”

結(jié)果一般。例如，回到本文開頭的問題，當(dāng)數(shù)字超過前六個計數(shù)數(shù)字時，基本加法就失敗了。作者表示，他們“測試了添加1 + 1 ++ 1的模型，其中1出現(xiàn)n次。

“LSTM和Transformer模型都給出了n≤6的正確答案，但n = 7的錯誤答案是6(似乎漏掉了一個1)，n > 7的其他錯誤值也是6?！?/p>

這是為什么呢?就像神經(jīng)網(wǎng)絡(luò)經(jīng)常發(fā)生的情況一樣，一些其他的事情似乎正在幕后發(fā)生，因為當(dāng)把更大的數(shù)以更長的序列相加時，比如34+53+…+936等等，神經(jīng)網(wǎng)絡(luò)能夠做得很好，作者觀察到。

“我們對這種行為沒有一個很好的解釋，”他們寫道。他們假設(shè)，當(dāng)他們分析問題并對其進行操作時，神經(jīng)網(wǎng)絡(luò)正在創(chuàng)建“子和”，而當(dāng)他們失敗時，這是因為“輸入被‘偽裝’了，由重復(fù)多次的相同數(shù)字組成”。

一般來說，神經(jīng)網(wǎng)絡(luò)在一些事情上做得最好，比如在一個長數(shù)字中找到“位置值”，比如，在一個數(shù)字中找出“十位”，比如9343012。他們也擅長四舍五入十進制數(shù)和按大小順序排序。

對這個系統(tǒng)來說，最難的問題是“數(shù)字理論問題”，比如因式分解，把數(shù)字或其他數(shù)學(xué)對象分解成組成部分，以及判斷一個數(shù)字是否是質(zhì)數(shù)。但他們指出，人類在這方面也有困難，所以這并不奇怪。另一個問題是“混合算術(shù)”的組合，所有四種運算都在這里進行。在那里，機器的性能精度“下降到50%左右”。

為什么計算機在做加法或減法的時候做得很好，但當(dāng)被要求做所有這些時卻感到困惑?

“我們推測，這些模塊之間的區(qū)別在于，前者可以用一種相對線性/淺層/并行的方式計算(因此通過梯度下降法相對更容易發(fā)現(xiàn)求解方法)，”作者沉思道，“而用括號計算混合算術(shù)表達式?jīng)]有捷徑。”

總而言之，在高中課程中，收集了一系列現(xiàn)實世界的問題，作者稱E級成績“令人失望”和“中等”。

他們得出這樣的結(jié)論:當(dāng)變壓器神經(jīng)網(wǎng)絡(luò)構(gòu)建執(zhí)行比LSTM變體,“兩個網(wǎng)絡(luò)在做多”算法推理”和“模型沒有學(xué)會做任何代數(shù)/算法操作的值,而是學(xué)習(xí)相對淺技巧來獲得好的答案的許多模塊?！?/p>

盡管如此，現(xiàn)在已經(jīng)有了一個數(shù)據(jù)集，他們希望這是一個基線，在此基礎(chǔ)上，其他人將加入他們的行列，訓(xùn)練更多種類的網(wǎng)絡(luò)。他們指出，數(shù)據(jù)集很容易擴展，這應(yīng)該能讓研究人員直接達到大學(xué)水平的數(shù)學(xué)水平。

希望到那時，神經(jīng)網(wǎng)絡(luò)已經(jīng)學(xué)會了加法。