最近，谷歌的AI研究人員、"Test of Time Award"得主Ali Rahimi指出，計(jì)算機(jī)通過嘗試錯(cuò)誤法（trial and error）進(jìn)行學(xué)習(xí)的機(jī)器學(xué)習(xí)算法已經(jīng)成為“煉金術(shù)”的一種形式。Rahimi說，如果不深入了解構(gòu)建和訓(xùn)練新算法所需的基本工具，研究人員就會(huì)像中世紀(jì)的煉金術(shù)士一樣用道聽途說的方法來研究人工智能。

去年在NIPS會(huì)議上，谷歌的AI研究人員、"Test of Time Award"得主Ali Rahimi（阿里·拉希米）對他所在的研究領(lǐng)域進(jìn)行了一次猛烈的抨擊。

Rahimi在NIPS現(xiàn)場的演講中指出，計(jì)算機(jī)通過嘗試錯(cuò)誤法（trial and error）進(jìn)行學(xué)習(xí)的機(jī)器學(xué)習(xí)算法已經(jīng)成為“煉金術(shù)”的一種形式。他說，研究人員不知道為什么某些算法有效，而其他算法不起作用，在選擇AI架構(gòu)方面也沒有嚴(yán)格的標(biāo)準(zhǔn)。

最近，在ICLR 2018發(fā)表的一篇論文中，Rahimi和幾位合作者列舉了他們認(rèn)為是煉金術(shù)問題的一些案例，并為提高AI的嚴(yán)謹(jǐn)性提出了一些處方。

“這個(gè)領(lǐng)域存在一種’痛苦’，”Rahimi說，“我們中許多人感覺自己使用的是一種外星技術(shù)?！?/p>

在解釋 “煉金術(shù)” 時(shí)，Rahimi 說道：“吳恩達(dá)說過，機(jī)器學(xué)習(xí)就是新時(shí)代的電力。我卻認(rèn)為機(jī)器學(xué)習(xí)慢慢變成了新時(shí)代的煉金術(shù)。煉金術(shù)本身并不是壞事。它推動(dòng)了冶金、紡織、化工、醫(yī)療等技術(shù)的發(fā)展，但是同時(shí)煉金術(shù)師也相信真的能把銅片變成黃金。 我希望我所生活的世界是基于非常穩(wěn)固、有規(guī)律、有系統(tǒng)理論的知識體系上，而不是煉金術(shù)上?！?/p>

煉金術(shù)問題與AI的可重復(fù)性問題不同?？芍貜?fù)性問題是指，由于實(shí)驗(yàn)和發(fā)表的不一致，研究人員無法復(fù)制彼此的結(jié)果。

煉金術(shù)問題也與機(jī)器學(xué)習(xí)的“黑箱”問題或“可解釋性”問題不同，后者是指難以解釋特定的AI如何得出其結(jié)論。

正如Rahimi所言，煉金術(shù)問題和黑箱問題的區(qū)別在于，“一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)是黑箱”和“整個(gè)領(lǐng)域變成了黑箱”。

Rahimi說，如果不深入了解構(gòu)建和訓(xùn)練新算法所需的基本工具，研究人員就會(huì)像中世紀(jì)的煉金術(shù)士一樣用道聽途說的方法來研究人工智能。

谷歌的計(jì)算機(jī)科學(xué)家Francois Chollet補(bǔ)充說：“人們受草包族科學(xué)吸引，”依靠“民間傳說和魔法咒語”。例如，他說，研究人員傾向于采用一些小技巧來調(diào)整他們的AI的“學(xué)習(xí)率”—— 算法在每次錯(cuò)誤后自行糾錯(cuò)的比率——而不理解為什么某個(gè)算法比其他的更好。

另一些情況下，研究人員像在黑暗中亂撞一樣訓(xùn)練他們的算法。例如，他們實(shí)現(xiàn)了所謂的“隨機(jī)梯度下降”，以優(yōu)化算法的參數(shù)，獲得盡可能低的失敗率。然而，盡管有數(shù)千篇關(guān)于隨機(jī)梯度下降的學(xué)術(shù)論文，以及無數(shù)應(yīng)用該方法的技巧，這個(gè)過程仍然依賴于試錯(cuò)。

隨機(jī)梯度下降使用嘗試錯(cuò)誤法來優(yōu)化算法，目標(biāo)是找到3D景觀中的最小值

Rahimi的論文強(qiáng)調(diào)了可能導(dǎo)致的浪費(fèi)精力和次優(yōu)性能。例如，論文指出，當(dāng)其他研究人員對一個(gè)state-of-the-art的語言翻譯算法去除了大部分的復(fù)雜性時(shí)，它實(shí)際上在將英語翻譯成德語或法語時(shí)的表現(xiàn)更好了，這表明算法的原作者并沒有完全理解這些額外的部分有什么好處。

反過來，Twitter的一名機(jī)器學(xué)習(xí)研究人員Ferenc Huszar說，有時(shí)候，附加在算法上的花里胡哨的那些東西是這個(gè)算法唯一好的部分。他說，在某些情況下，算法的核心部分在技術(shù)上是有缺陷的，這意味著它的好結(jié)果“完全歸功于應(yīng)用的其他技巧”。

至于機(jī)器學(xué)習(xí)中哪些算法、什么時(shí)候表現(xiàn)最好，Rahimi提出了一些建議。他說，對于初學(xué)者來說，研究人員應(yīng)該像翻譯算法那樣進(jìn)行“消融研究”：一次刪除算法的一個(gè)部分，以查看每個(gè)組件的功能。他呼吁進(jìn)行“切片分析”，在此基礎(chǔ)上，對算法的性能進(jìn)行詳細(xì)分析，以了解某些地方的改進(jìn)會(huì)怎樣在其他方面產(chǎn)生損失。

Rahimi還說，研究人員應(yīng)該對他們的算法進(jìn)行多種不同條件和設(shè)置的測試，并報(bào)告所有設(shè)置下算法的性能。

加州大學(xué)伯克利分校（UC Berkeley）的計(jì)算機(jī)科學(xué)家Ben Recht是拉希米有關(guān)煉金術(shù)演講的共同作者，他提出，AI需要借鑒物理學(xué)的方法。在物理學(xué)中，研究人員經(jīng)常把問題縮小到一個(gè)更小的“玩具問題”（toy problem）。“物理學(xué)家很擅長設(shè)計(jì)簡單的實(shí)驗(yàn)來找到對現(xiàn)象的解釋?！彼f。

一些AI研究人員已經(jīng)開始采用這種方法，例如，在測試圖像識別算法時(shí)，先在小的黑白手寫字符上實(shí)驗(yàn)，而非直接處理大幅的彩色照片，以更好地理解算法的內(nèi)部機(jī)制。

DeepMind的計(jì)算機(jī)科學(xué)家Csaba Szepesvari認(rèn)為，這個(gè)領(lǐng)域還需要減少對競爭性測試的重視。他說，目前，如果報(bào)告的算法優(yōu)于某些基準(zhǔn)，那么論文更有可能得到發(fā)表，而不是論文揭示了該軟件的內(nèi)部工作原理更容易發(fā)表。

這就是那些花里胡哨的翻譯算法能夠通過同行評審的方式?！翱茖W(xué)的目的是產(chǎn)生知識，”Szepesvari說，“你要生產(chǎn)出別人可以采用、可以成為研究的基石的東西?！?/p>

但并不是每個(gè)人都同意Rahimi和Recht的批評。Facebook的首席人工智能科學(xué)家Yann LeCun擔(dān)心，將過多的精力從研究前沿技術(shù)轉(zhuǎn)移到核心的理解上可能會(huì)減緩創(chuàng)新的速度，阻礙AI的實(shí)際應(yīng)用?！斑@不是煉金術(shù)，而是工程學(xué)?！盠eCun說，“工程就是亂糟糟的。”

Recht認(rèn)為有條不紊的研究和大膽開拓的研究可以達(dá)到一個(gè)平衡?！拔覀儍烧叨夹枰?，”他說，“我們需要了解哪些地方出現(xiàn)故障，以構(gòu)建可靠的系統(tǒng)；我們也必須推進(jìn)研究的前沿，以實(shí)現(xiàn)更多令人贊嘆的系統(tǒng)。”