近日，關于“預注冊”（Pre-registered）的研究方式在Reddit論壇上引發(fā)了熱烈討論?！邦A注冊”是先向期刊提交理論研究和實驗設計方案，在評審并接受后，再展開進一步工作的一種方式。Reddit用戶呼吁在機器學習領域中也采用這種方式，引發(fā)了網友們的熱議。

所謂“預注冊”研究，通俗點說就是，在實際著手開始研究之前，先將研究假設和實驗設計方案等前期重要信息，向欲投稿的學術期刊進行事先注冊，由期刊先行組織專家進行同行評議。

如果評議通過，則期刊一般原則性承諾同意發(fā)表。然后再進入正式研究和論文撰寫、投稿等后續(xù)環(huán)節(jié)。

顯然，這一方式與現(xiàn)行的研究和論文發(fā)表流程有很大不同。

英國卡迪夫大學的研究人員特別對“預注冊”制度及其影響做了首次分析研究。

研究結果表明，采用這種模式，最終產生無效結果（即研究結果無法證明假設）的情形會大大增高，尤其是在心理學領域。這表明“預注冊”制度對一些“削足適履”的假結果起到了明顯的過濾作用。

傳統(tǒng)研究流程中，研究人員為了獲得“優(yōu)質結果”，易產生發(fā)表偏見、p值作弊、可重復性低的嚴重問題

于是，Reddit上今天也掀起機器學習論文也要實行“預注冊”的大討論。

預注冊有多好？能夠避免“發(fā)表偏見”

研究人員指出，在傳統(tǒng)的提出假設——設計實驗——驗證結果——投稿發(fā)表的研究流程中，研究人員容易為獲得正面結果而產生“發(fā)表偏見”，可能會對不利于證明研究假設的結論有意隱瞞，甚至對數(shù)據(jù)進行篡改等造假作弊手段。

他們認為，在進行研究之前記錄下研究假設和實驗方案，確實可以取得預期的結果，能夠減少為獲得正面結果而產生的“發(fā)表偏見”。

日前，《Nature》網站也撰文稱，“預注冊”制度確實可以起到預期的“去偽存真”的作用，提高科學研究的可信度和可重復性。

在開始收集數(shù)據(jù)之前，先將研究方案進行登記和記錄，可能會改變研究結果。圖片來源：Ariana Lindquist / Bloomberg / Getty

文中提到，沒有獲得正面結果的研究往往被歸檔，從此不見天日，這會導致為獲取正面結果而產生的“發(fā)表偏見”，損害科學文獻的可信度。

現(xiàn)有分析表明，在進行研究之前，對研究方案進行登記和同行評議，可以改善這個問題，并有助于糾正為獲取正面結果而產生的發(fā)表偏見問題。

來自英國卡迪夫大學的研究人員稱，他們的這一研究是對“預注冊”研究方式是否有效的第一次分析。結果發(fā)現(xiàn)，事先將研究方案進行登記的研究更有可能報告無效的結果。該分析于10月17日發(fā)表在PsyArXiv資源庫上。

預注冊去偽存真：真的能提高研究結果質量

在“預注冊”制度下，研究人員需要在研究開始前就向相應期刊提交研究方案。如果研究方案通過了同行評議，該期刊會暫時承諾在研究完成時將論文發(fā)表，無論研究結果如何。

這種做法在過去幾年中已經開始在科學界出現(xiàn)，這一制度起源于美國法律強制要求的臨床試驗中的“預登記”制度。目前約有140種期刊使用這種方式，有130份進行預注冊的研究報告，其最終研究結果已經發(fā)表。

“預注冊”制度的支持者希望，該方式能夠打擊那些可疑的研究活動，比如先看結果，或根本不報告負面結果，然后再回頭提出研究假設。

為了考察“預注冊”方式是否會增加研究報告無效結果的頻率，心理學家Chris Allen和David Mehler分析了生物醫(yī)學和心理學中113份預登記報告的結果。

在這些研究中，他們考察了296個彼此獨立的研究假設，結果發(fā)現(xiàn)，總體而言，這些研究后來發(fā)表的結果中，有61%不支持最初的假設。對于考察可重復性研究的驗證研究，這個數(shù)字比例要更高一些，為66％，對于原始研究，這一比例為55％。

來源：PsyArXiv，https://psyarxiv.com/3czyt(2018）。

這些數(shù)字遠遠高于一般科學文獻中提出的無效結果的比例，以前的研究表明，研究人員估計該比例在5％到20％之間。

預注冊報告的數(shù)量呈指數(shù)級增長，但研究的代表性還有待提升

不過，荷蘭埃因霍溫科技大學的心理學研究人員Anne Scheel表示，這項研究可能仍然低估了無效研究結果的真實比例。

據(jù)其他研究估計，在心理學中測試中的假設實際上為假的比例可能高達90％，Scheel說。這表明當前科學文獻中的實際上的無效結果“與我們期望中不存在任何發(fā)表偏見的情況”大不相同。

她表示，這一分析是探索性的，而且研究結果也可以有其他解釋。

比如Scheel說，由于采用“預注冊”可以或多或少地保證論文發(fā)表，人們可能會策略性地使用這種制度，提出一些預期可能無法通過驗證的研究假設。

她補充說，“預注冊”制度誕生不久，有可能迄今為止發(fā)表的研究并不能更廣泛地代表心理學領域的情況。 “目前還有很多未知因素，”Scheel說。 “但對于科學家來說，這也是一個非常激動人心的時刻。”

目前，預注冊報告的數(shù)量正呈指數(shù)級增長，Allen現(xiàn)在希望能夠進行樣本量更大的另一項研究，以便回答之前研究提出的一些問題，而且計劃將這項研究也進行“預注冊”。

Reddit呼吁ML中采用“預注冊”：無效結果會比其他領域有用得多

Reddit上便有位用戶拋出了一個討論：

若是能在機器學習領域中召開預登記實驗的會議/期刊就好了。你只要提交理論部分的論文以及實驗的設計，然后讓評審們進行評估，若是他們覺得OK，你再繼續(xù)做實驗。而且，無論實驗結果如何，這篇論文都算是被接受了。

此貼一出，便得到了眾多網友的圍觀與評論，網友Flag_Red評論到：

目前很多機器學習的研究都屬于工程學，我覺得在這種情況下，無效結果會比其他領域有用得多。我認為這主要歸結于機器學習在工程方面要比理論方面超前很多。

在其他領域中，他們會說：“這是我的假設”，然后再對其進行測試。若結果無效，仍然是一件非常有意思的事情，“我的假設”本應該有效，卻不知什么原因變得無效了。

然而，在機器學習中，幾乎沒有人在測試假設之前就說，“我認為這將會因為某某原因而起作用”。許多的發(fā)現(xiàn)都是來自簡單的實驗。

如果我們能在ML學術界培養(yǎng)一種更傳統(tǒng)的科學文化，那么發(fā)表無效結果論文數(shù)的增加，也未嘗不是一件好事。但就目前的狀況而言，我認為并不會有多大幫助。

另一位網友表示：

這可能為時過早。無效結果在物理學領域中非常有用，并且具有完善的理論框架。

現(xiàn)在大多數(shù)的深度學習是由研究生根據(jù)直覺和實證結果結合在一起的。 無效結果可能是一個很好的啟發(fā)式方法，但如果沒有一個堅實的理論框架，這個假設期刊中的信噪比會非常高。

當然，這甚至還沒有解決大規(guī)模超參數(shù)搜索和隨機初始化的問題，我認為這才是真正的問題。你的方法失敗是因為你的原始概念不健全，還是因為你無法找到超參數(shù)和/或隨機初始化的正確組合呢?

那么對于在機器學習領域也采用“預注冊”制度，你怎么看呢？