近日，各大頂會(huì)評(píng)審風(fēng)波不斷，可謂民意洶涌。Nature發(fā)表文章稱，我國(guó)國(guó)家自然科學(xué)基金委員會(huì)正在利用AI來選擇匹配評(píng)審人。那么這套系統(tǒng)是否能夠做到省時(shí)省力又無偏見呢？讓我們來一探究竟。

同行評(píng)審飽受爭(zhēng)議，要不試試AI？

最近，人工智能頂會(huì)IJCAI 19遭眾多網(wǎng)友猛烈抨擊：審稿不專業(yè)、學(xué)生審稿、review寥寥幾句、打分看心情。被網(wǎng)友評(píng)價(jià)為“審稿宇宙最爛”。

微博用戶評(píng)論

連大會(huì)程序主席Sarit Kraus也被迫站出來作解釋：

由于論文數(shù)量太多，審稿人數(shù)量不足，時(shí)間也頗為緊迫，只能在現(xiàn)有條件下盡力把控審稿流程。對(duì)于作者們反映的審稿過程瑕疵、公平性不足、隨機(jī)性太強(qiáng)等問題表示理解。

那么，為什么不試試AI呢？

文章地址：

https://www.nature.com/articles/d41586-019-01517-8

昨日，Nature發(fā)表文章稱，中國(guó)國(guó)家自然科學(xué)基金委員會(huì)(NSFC)正在建立一個(gè)更加復(fù)雜的系統(tǒng)，該系統(tǒng)將利用自然語言處理技術(shù)抓取在線科學(xué)文獻(xiàn)數(shù)據(jù)庫和科學(xué)家的個(gè)人網(wǎng)頁，收集潛在評(píng)審人員的出版物或研究項(xiàng)目的詳細(xì)信息。

國(guó)家自然科學(xué)基金委負(fù)責(zé)人李靜海表示，該系統(tǒng)將使用文本的語義分析來比較資助申請(qǐng)和潛在評(píng)審人信息，并確定最佳匹配。

這個(gè)工具可以選擇研究人員來審查資助申請(qǐng)，讓這個(gè)過程更有效、更快、更公平。一些研究人員表示，NSFC采用的方法是世界領(lǐng)先的，但其他人對(duì)AI能否改善這一過程持懷疑態(tài)度。

AI加持同行評(píng)審：省時(shí)省力，也可減少偏見，外國(guó)正在效仿

上個(gè)月在杭州召開的學(xué)術(shù)交流會(huì)議上，國(guó)家自然科學(xué)基金前負(fù)責(zé)人楊衛(wèi)介紹了試點(diǎn)數(shù)據(jù)。該工具的試用版本從去年獲批資助項(xiàng)目的近44000個(gè)專家組中各選擇至少1位專家，每個(gè)專家組由3~7人組成。楊衛(wèi)說，該系統(tǒng)已經(jīng)減少了行政人員尋找評(píng)審專家的時(shí)間。他說，今年也將采用類似的方法來選擇評(píng)審專家。

節(jié)省時(shí)間

歐洲最大的基礎(chǔ)研究機(jī)構(gòu)法國(guó)國(guó)家科學(xué)研究中心國(guó)際合作部主任Patrick Nédellec說，中國(guó)國(guó)家自然科學(xué)基金委員會(huì)已經(jīng)成為改革資助審查程序的全球領(lǐng)導(dǎo)者。Nedellec在去年9月的一次會(huì)議上討論了國(guó)家自然科學(xué)基金的改革計(jì)劃，他說，因?yàn)樯暾?qǐng)基金的數(shù)量不斷增加，NSFC已經(jīng)被迫進(jìn)行了創(chuàng)新。

“壓力如此之大，中國(guó)別無選擇，只能尋找最好的辦法，”他表示。

在過去的五年里，國(guó)家自然科學(xué)基金收到的申請(qǐng)數(shù)量以每年約10%的速度增長(zhǎng)。2018年，該機(jī)構(gòu)評(píng)審了22.5萬份資助申請(qǐng)，幾乎是美國(guó)國(guó)家科學(xué)基金會(huì)收到的6倍。李靜海說，國(guó)家自然科學(xué)基金委正在努力處理申請(qǐng)并尋找合適的評(píng)審人員?！疤魬?zhàn)在于沒有足夠的人手，”他表示：“AI會(huì)解決這個(gè)問題?！?/p>

減少偏見

李靜海還希望這個(gè)工具能夠減少審稿人評(píng)審時(shí)的偏見。他說，在中國(guó)，科學(xué)家們可能為他們的項(xiàng)目找關(guān)系?！霸u(píng)審中的一個(gè)問題是，人們可能走關(guān)系。AI是不會(huì)被行賄收買的，”李靜海說。

在其他一些國(guó)家，申請(qǐng)者可以推薦由哪位專家審查他們的提案，這也是一個(gè)問題。例如，瑞士國(guó)家科學(xué)基金會(huì)發(fā)現(xiàn)，由申請(qǐng)者推薦的評(píng)審員比由基金會(huì)選擇的評(píng)審員更有可能支持這個(gè)項(xiàng)目。

國(guó)家自然科學(xué)基金委的試點(diǎn)AI系統(tǒng)目前僅適用于中文網(wǎng)站，但李靜海希望它將來也能夠抓取英文網(wǎng)站。

維也納理工大學(xué)的科學(xué)政策顧問Manfred Horvat表示：“國(guó)家自然科學(xué)基金委的改革計(jì)劃雄心勃勃、具有前瞻性和全面性。”Horvat去年9月也聽過李靜海的演講。

其他國(guó)家也在效仿中國(guó)。上個(gè)月，挪威研究委員會(huì)開始使用自然語言處理技術(shù)，將大約3000份研究提案分組，并將它們與最佳評(píng)審小組進(jìn)行匹配。

在接受《國(guó)家科學(xué)評(píng)論》((National Science Review，NSR)專訪時(shí)，李靜海院士表示：

在其他國(guó)家有一些智能系統(tǒng)的雛形，但還沒有過一個(gè)完整的系統(tǒng)。比如在一些期刊的投審稿系統(tǒng)中，已經(jīng)可以通過關(guān)鍵詞匹配來判斷特定的專家是否適合審稿，也可以提供審稿人的既往評(píng)審數(shù)據(jù)。

而我們希望能做得更多更好更嚴(yán)格。將要建成的系統(tǒng)可以對(duì)評(píng)審人的既往研究工作、發(fā)表過的文章等進(jìn)行分析，通過語義理解比對(duì)，與基金申請(qǐng)書進(jìn)行匹配，找到在專業(yè)上合適的專家，同時(shí)結(jié)合信譽(yù)數(shù)據(jù)，遴選出最適合的評(píng)審人。

評(píng)審人的選擇在基金評(píng)審中舉足輕重，是世界各國(guó)科學(xué)基金資助機(jī)構(gòu)共同關(guān)心的問題?，F(xiàn)在，申請(qǐng)人常常不信任機(jī)器的選擇，而單純依靠人為選擇也同樣可能影響公正性。我們希望能夠利用更先進(jìn)的人工智能技術(shù)，真正解決這個(gè)問題。這方面還需要凝聚科技界全體的智慧。

Frontiers通過AI協(xié)助審稿人和編輯提高效率

高質(zhì)量的同行評(píng)審是學(xué)術(shù)出版的基礎(chǔ)，證明研究假設(shè)、方法和結(jié)論的有效性、嚴(yán)謹(jǐn)性和正確性。出版商和審稿人面臨的挑戰(zhàn)是，在不斷增加的稿件提交面前，要保持嚴(yán)格的質(zhì)量標(biāo)準(zhǔn)。

Frontiers(《前沿》系列期刊)在2018年推出下一代通常評(píng)審AIRA，試圖解決日益增長(zhǎng)的稿件提交量，并更有效地保護(hù)稿件和同行評(píng)審質(zhì)量。

Frontiers聲稱，AIRA使用內(nèi)部自定義算法，同時(shí)使用iThenticate（CrossRef首創(chuàng)并與iParadigms公司共同開發(fā)出一個(gè)全新的，用于幫助學(xué)術(shù)出版者驗(yàn)證出版文檔原創(chuàng)性的工具）和Ada（一款文字檢查工具）。所有這些都經(jīng)過Frontiers的10年同行評(píng)審經(jīng)驗(yàn)的培訓(xùn)和嚴(yán)格測(cè)試，并完全融入Frontiers的協(xié)作評(píng)審論壇和內(nèi)部流程。

AIRA能夠通過分析稿件質(zhì)量、解釋和傳達(dá)審核流程，以及提供建議和識(shí)別潛在審稿人，為編輯、審稿人和內(nèi)部團(tuán)隊(duì)提供協(xié)助，并將通過持續(xù)學(xué)習(xí)不斷優(yōu)化。

上述功能已集成到Frontiers Review Forum和內(nèi)部工作流程中，簡(jiǎn)化了投稿人在Frontiers的發(fā)布流程。

Frontiers首席執(zhí)行官兼聯(lián)合創(chuàng)始人Kamila Markram：“技術(shù)不能取代人，而是幫助人們能夠以更有效的方式做出編輯決策。AIRA可以讓我們的編輯、審稿人和內(nèi)部團(tuán)隊(duì)專注于在正確的時(shí)間做對(duì)的事并做出關(guān)鍵決策。這加快了審查過程并縮短了發(fā)布時(shí)間，同時(shí)確保了最高質(zhì)量的控制?！?/p>

AI致力于兩項(xiàng)關(guān)鍵同行評(píng)審任務(wù)

AIRA目前致力于兩項(xiàng)關(guān)鍵的同行評(píng)審任務(wù)：質(zhì)量控制和評(píng)審員識(shí)別。其算法可根據(jù)一系列質(zhì)量測(cè)量，快速準(zhǔn)確地評(píng)估提交的稿件，包括文本重疊；語言、人體圖像的存在以及其他道德因素。

達(dá)到既定質(zhì)量門檻的人員，將被傳遞給編輯；而任何有潛在問題的人員都會(huì)被標(biāo)記，并交由Frontiers的研究誠(chéng)信和審查運(yùn)營(yíng)團(tuán)隊(duì)以進(jìn)行進(jìn)一步調(diào)查，并且在解決之前暫停一些審核工作。

AIRA的算法還根據(jù)專業(yè)知識(shí)和可用性，來識(shí)別潛在的審閱者，并檢查編輯、審閱者和作者之間是否存在潛在的利益沖突。

Frontiers的質(zhì)量和道德高級(jí)經(jīng)理MarieSoulière說：“它不僅標(biāo)記有潛在問題的稿件，還會(huì)告訴我們需要手動(dòng)檢查的內(nèi)容，從而減少了審查疲勞并使審查更加準(zhǔn)確。AIRA還能夠提醒一些人工難以完成的檢查任務(wù)，例如抄襲。“

想用AI來匹配審稿人？目前可能還不行

但并非所有人都支持AI用在評(píng)審過程中。

英國(guó)劍橋RAND Europe研究機(jī)構(gòu)的科學(xué)政策專家Susan Guthrie指出，加拿大衛(wèi)生研究院在使用一種用于評(píng)審人員選擇的算法時(shí)就遇到了重大挑戰(zhàn)。

這個(gè)機(jī)構(gòu)于2016年聘請(qǐng)了RAND Europe公司對(duì)同行評(píng)審的研究進(jìn)行meta分析。而得出的結(jié)論有時(shí)可謂是大跌眼鏡：算法有時(shí)會(huì)選擇存在利益沖突、不適合或者沒有資格的審稿人。獨(dú)立專家小組的結(jié)論是：

雖然基于算法的匹配聽起來很有吸引力，但在人工智能的這個(gè)階段，它可能實(shí)現(xiàn)的目標(biāo)是有限的。審稿人的選擇必須主要依據(jù)科學(xué)的人類判斷。

威斯康辛州麥迪遜市教育分析公司的政策研究員Elizabeth Pier認(rèn)為，人工智能無法消除選擇偏見。

她擔(dān)心人工智能系統(tǒng)最終會(huì)復(fù)制人類判斷中根深蒂固的偏見，而不是避免它們。她建議國(guó)家自然科學(xué)基金委員會(huì)應(yīng)該做一項(xiàng)研究，將人工智能選擇的審稿人與人類選擇的審稿人進(jìn)行比較。李靜海對(duì)此表示，一旦系統(tǒng)建立并運(yùn)行起來，自然科學(xué)基金委可能會(huì)考慮這一點(diǎn)。

“偉大的項(xiàng)目”需要時(shí)間的打磨

李靜海計(jì)劃在未來五年推出其他工具，使撥款系統(tǒng)更加公平， 其中包括一個(gè)獎(jiǎng)勵(lì)系統(tǒng)，獎(jiǎng)勵(lì)研究人員進(jìn)行良好、公平和及時(shí)的審查。他說，信用體系的理念是鼓勵(lì)審稿人認(rèn)真對(duì)待這份工作并保持專業(yè)度。

斯坦福大學(xué)的統(tǒng)計(jì)學(xué)家John Ioannidis對(duì)國(guó)家自然科學(xué)基金委員會(huì)在繪制提案時(shí)使用客觀、數(shù)據(jù)驅(qū)動(dòng)的工具來選擇評(píng)審者的努力表示贊賞。但他認(rèn)為，目前很難評(píng)估評(píng)審者是否做出了正確的決定。Ioannidis說，一個(gè)想法可能需要幾十年的時(shí)間才能被鑒定是“偉大的”或是“無用的”。

但是李靜海已經(jīng)做好了準(zhǔn)備，他說：“這項(xiàng)任務(wù)不容易實(shí)現(xiàn)，需要在長(zhǎng)期的學(xué)習(xí)和測(cè)試過程中不斷改進(jìn)?！?/p>

那么親愛的讀者，你贊同利用AI來輔助同行評(píng)審嗎？