一篇一年前的Nature論文近日在Reddit上引發(fā)熱議，一位數(shù)據(jù)科學家認為這篇預測地震余震的論文在數(shù)據(jù)處理方法上存在重大缺陷，導致實驗結(jié)果虛高，他向Nature去信反映意見，后者承認問題存在，但認為沒有必要修正，而論文作者則態(tài)度強硬，不承認論文有問題。有人整理了事件的來龍去脈，引發(fā)熱烈討論。

近日，一篇一年前發(fā)表在《Nature》上的一篇關于使用深度學習技術預測大地震余震的文章在Reddit上引發(fā)熱議。

事情的起源是，一位名叫Rajiv Shah數(shù)據(jù)科學家認為，這篇由哈佛大學和谷歌聯(lián)合發(fā)表的論文在訓練數(shù)據(jù)集和測試數(shù)據(jù)集劃分和選擇上存在重大缺陷，造成了“目標泄露”，導致預測性能結(jié)果偏高。這實際上使整個實驗結(jié)果不再有效。

于是他聯(lián)系了《Nature》表達了自己的對這篇文章的不同意見，然而Nature方面盡管承認他的意見有合理之處，論文在模型和算法設計上存在缺陷，但拒絕對此進行修正。兩位論文作者也給出回復意見，否認了Rajiv Shah的全部意見。

一年前舊賬重提：一篇Nature論文缺陷引發(fā)的爭議

于是，近日Rajiv Shah在Medium上發(fā)文，將此事的整個過程講述了一遍，并堅持自己的觀點。隨文附上了Nature論文、自己與Nature方面的通信往來，以及作者的回復意見等。熱心網(wǎng)友將此文轉(zhuǎn)到Reddit上，引發(fā)熱烈討論：

來看看當事人Rajiv Shah在Medium上的博客文章對于此事的梳理：（Medium原文編譯）

人工智能，機器學習，預測建模和數(shù)據(jù)科學的研究在過去幾年中發(fā)展迅速。隨著人工智能研究和相關產(chǎn)業(yè)的持續(xù)增長，新一代的機器學習增強、自動化和GUI工具的誕生讓越來越多的人構(gòu)建預測模型。

但這樣問題就來了：雖然使用預測建模工具變得更容易，但預測建模知識還不夠普及，如果不小心，就很容易導致錯誤的結(jié)論。

不良方法會導致不準確的結(jié)果

大概一年前，我在《自然》上讀到一篇文章，聲稱通過深度學習預測地震的余震達到了前所未有的準確性。但讀過之后，我對他們的聲稱的結(jié)果產(chǎn)生了深深的懷疑。他們的方法的建模過程完全不夠仔細，導致結(jié)果不再可信。

與此同時，這篇論文引發(fā)了廣泛關注和認可。甚至在Tensorflow的官方說明中也提到了這篇文章，作為深度學習應用的例子。我發(fā)現(xiàn)這篇論文存在重大缺陷。論文中出現(xiàn)的數(shù)據(jù)泄漏問題會導致文中得出的準確度得分偏高，而且預測方法在模型選擇上也不夠關注（如果更簡單的模型可以達到同樣的準確度，就不必構(gòu)建6層神經(jīng)網(wǎng)絡了）。

回到我之前的觀點：論文中使用的方法很精巧，但在基本預測建模上的錯誤可能會使實驗的整個結(jié)果無效。數(shù)據(jù)科學家應該在工作中及時發(fā)現(xiàn)并避免這些問題。我認為本文作者們完全忽略了這一點，所以我聯(lián)系了作者，希望能改進文中的分析流程。雖然我們之前溝通過，但關于這篇文章的疑問，她沒有回復我的郵件。

Nature回復：承認瑕疵，拒絕修正，論文作者表示沒毛病

那么，我該怎么辦？我的同事建議我發(fā)個Twitter就算了，但我認為應該大力提倡良好的建模習慣和理念。所以在接下來的6個月里，我一直在記錄自己的結(jié)果，并與Nature方面進行了分享。

今年1月，我收到了Nature的一份回復說明，認為盡管關于數(shù)據(jù)泄漏和模型選擇的嚴重問題使文中的實驗結(jié)果不夠可靠，但他們認為沒有必要糾正，因為Devries等人主要關注的是將機器學習作為一種工具來獲得對自然世界的洞察力，重點不是算法設計的細節(jié)。而此文的作者則做出了措辭更為嚴厲的回應。

我感到很失望。這是一篇重磅論文（畢竟發(fā)在Nature上啊），盡管文中的方法有缺陷，但它還是發(fā)表了，推動了對人工智能的又一波追捧。

本周，兩位從事地震分析的數(shù)據(jù)科學家Arnaud Mignan和Marco Broccardo也撰文指出了在Nature那篇余震預測文章中發(fā)現(xiàn)了缺陷。我也把我自己的分析和可重現(xiàn)的代碼放在了github上。

我想說清楚一點：我不是故意和Nature那篇論文的作者人品有問題。我不認為她們是有意為之，她們的目標只是展示如何將機器學習技術應用于余震預測。文章作者之一Devries是一位多才多藝的地震科學家，希望將最新的方法用于她的研究領域，并從中找到亮眼的結(jié)果。

但問題在于：這些觀點和結(jié)果是基于有根本缺陷的方法得出的。僅僅說“這不是機器學習論文，而是地震論文”是解釋不了的。一旦使用了預測模型，那么預測結(jié)果的質(zhì)量就取決于建模質(zhì)量，取得的成果就屬于數(shù)據(jù)科學的成果，數(shù)據(jù)科學的結(jié)果必須嚴謹。

期刊方面歷來對刊登對關于最新技術和方法的論文興趣極高，但是，如果我們允許有基本問題的論文或項目取得進展，就會傷害我們所有人，對預測建模領域造成破壞。

Nature論文介紹：深度學習預測余震效果拔群

實際上，新智元在此前的報道中曾對Nature這篇文章進行過簡要介紹：

谷歌和哈佛大學在Nature雜志發(fā)表的一篇論文中，研究人員展示了如何用深度學習預測余震位置，而且預測結(jié)果比現(xiàn)有模型更可靠。

他們訓練了一個神經(jīng)網(wǎng)絡，在一個包含131000多個“主震-余震”事件的數(shù)據(jù)庫中尋找模式，然后在一個包含30000對類似事件的數(shù)據(jù)庫中測試其預測。

“主震-余震”事件的一個樣本

深度學習網(wǎng)絡比最有用的現(xiàn)有模型（稱為“庫侖破裂應力變化”）更可靠。在從0到1的精度范圍內(nèi)——1是完全準確的模型，0.5是一半準確的模型——現(xiàn)有庫侖模型得分為0.583，而新的AI系統(tǒng)達到0.849。

“關于地震，你需要知道三件事情，”研究人員說：“它們什么時候發(fā)生、它們會有多強烈、它們會發(fā)生在哪里。在這項工作之前，我們有經(jīng)驗定律來解釋它們發(fā)生的時間和規(guī)模，現(xiàn)在我們正在研究它們可能發(fā)生在哪?！?/p>

人工智能在這一領域的成功歸功于該技術的核心優(yōu)勢之一：它能夠發(fā)現(xiàn)復雜數(shù)據(jù)集中以前被忽視的模式。這在地震學中尤為重要，因為在地震學中看到數(shù)據(jù)中的關聯(lián)性非常困難。地震事件涉及太多變量，從不同區(qū)域的地面構(gòu)成到地震板塊之間的相互作用類型，以及能量在地震波中穿過地球傳播的方式。理解這一切是非常困難的。

研究人員表示，他們的深度學習模型能夠通過考量一個被稱為“米塞斯屈服準則”（von Mises yield criterion）的因素來做出預測，這是一種用于預測材料何時開始在壓力下破裂的復雜計算。研究人員表示，這個因素常用于冶金等領域，“但在地震科學中從未流行過?！爆F(xiàn)在，隨著這一新模型的發(fā)現(xiàn)，地質(zhì)學家可以研究其關聯(lián)性。

盡管這項研究取得了成功，但它還遠未準備好在現(xiàn)實世界中應用。首先，AI模型只關注由地面永久性變化引起的余震，稱為靜態(tài)應力。但后續(xù)地震也可能是由于后來發(fā)生的地面隆隆聲造成的，稱為動態(tài)壓力?，F(xiàn)有模型也太慢而無法實時工作。這很重要，因為大多數(shù)余震發(fā)生在地震發(fā)生后的第一天，然后每過一天頻率大致減半。

Rajiv的意見：訓練方法缺陷導致“目標泄露”，實驗結(jié)果虛高

在Rajiv致Nature的信中，指出這篇文章中存在“重大方法性錯誤”，使得文章結(jié)論不再嚴謹可靠。Rajiv主要提出了三點意見，以第一點為主。

第一，文中對模型訓練和測試數(shù)據(jù)運用存在缺陷，出現(xiàn)了“目標泄露”（Target Leakage），論文中公布的預測精度實際上是偏高的結(jié)果（AUC=0.849）。論文中使用地震中部分數(shù)據(jù)來訓練模型，然后再次使用這些數(shù)據(jù)來測試模型。這種目標泄露會導致機器學習中的結(jié)果偏高，而實際效果并沒有這么好。為了避免這一錯誤，需要使用“分組分區(qū)”的方法，保證地震數(shù)據(jù)只會出現(xiàn)在訓練部分或測試部分其中之一,而本文沒有這樣做。

第二個問題是沒有使用學習曲線。

第三是上來就使用深度學習模型，而沒有考慮邏輯回歸、隨機森林等基線方法。這可能會給讀者造成誤導，認為只有深度學習才能對余震預測任務取得良好效果，實際上并非如此，許多其他方法（如SVM、GAM）都可以獲得與文中模型基本相當?shù)男阅堋?/p>

在Nature的回復中，實際上在一定程度上承認了Rajiv意見的合理性，但拒絕對此進行糾正。

Nature方面的態(tài)度是：

盡管關于數(shù)據(jù)泄漏和模型選擇的問題使文中的實驗結(jié)果不夠可靠，但沒有必要糾正，因為本文作者Devries等人主要關注的是將機器學習作為一種工具來獲得對自然世界的洞察力，算法設計的細節(jié)不是重點。

而論文作者方面給出的回復意見對這三點均予以反駁，二位作者表示：

1、Rajiv關于“數(shù)據(jù)泄露”使得模型性能虛高的說法在科學背景下不具備合理性。對地震數(shù)據(jù)訓練集和測試集的分組符合機器學習的基本方法。

2、本文使用神經(jīng)網(wǎng)絡作為工具，為了獲得關于余震的一些模式信息，并沒有表示其他機器學習方法無用的意思。

3、整個文章的主旨就是神經(jīng)網(wǎng)絡能夠成功學習簡單的模式。

二位作者還在回復意見的最后部分表示，Rajiv的評論沒有任何科學背景。我們是地震科學家，我們的目標是利用機器學習獲得關于余震位置模式的信息，完成這個目標的是我們，而不是Rajiv的這些評論。如果Nature選擇公開這些評論，我們會感到很失望。

網(wǎng)友熱議：Nature承認有問題就該改，作者態(tài)度令人堪憂

Nature上的文章從來不缺少關注，尤其是出現(xiàn)重大爭議的文章。雖然是一筆一年前的老賬，但來龍去脈還很清楚，毫無懸念地成為Reddit上頭號熱帖。

從回復的熱門帖子看，很多網(wǎng)友認為Rajiv的批評意見值得充分討論，而Nature在承認論文中的算法存在一定問題的情況下仍然拒絕修改，沒有盡到應盡的責任。至于二位作者的回復，一方面缺乏面對反對意見時的風度，而且對某些重要概念（比如數(shù)據(jù)泄露）的理解存在問題。

下面簡單摘選幾個：

1、我覺得論文作者的回復比批評意見本身更為“居高臨下”啊。意見中提到使用更簡單的方法也能得到基本相同的結(jié)果，這說明進行一些模型簡化測試很有必要。尤其是作者回復的最后一段，簡直是在說：我們是地震科學家，敢問您是哪位?。咳缓筮€跟Nature講，如果你公布了這些評論意見，我們會“很失望”的。作者憑什么這么說？為什么這些評論意見不該公布？難倒公布了不正能引發(fā)更多良性的科學討論嗎？而且評論中的意見也不是孤例，其他文章中也有提到這個問題。如果我是這篇文章的會議審稿人，我也會有類似的疑問，至少我會要求作者作一些模型簡化測試。

2、我讀了論文作者（Phoebe DeVrias和Brendan Meade）對Nature編輯的回應。雖然我不知道這些評論的背景，但可以肯定地說，她們面對批評意見表現(xiàn)得非常不成熟。

3、“我們承認在訓練和測試集中都使用了來自同一地震的數(shù)據(jù)，但這并不重要，因為我們是聰明的地震科學家?！编?，很好很強大。