最近，IJCAI 2019可謂是火了一把，直接原因并不是放榜論文錄取結(jié)果，而是評(píng)審、打分、rebuttal等環(huán)節(jié)出現(xiàn)了嚴(yán)重甚至是可笑的“錯(cuò)誤”，被拒稿的研究人員通過(guò)各種途徑在網(wǎng)絡(luò)上描述親身經(jīng)歷，可謂是怨聲載道。程序主席Sarit Kraus發(fā)表公開(kāi)信，正式做出回應(yīng)。

IJCAI錄取結(jié)果被吐槽太厲害，主席都出來(lái)放話了。

前幾日，國(guó)際頂會(huì)IJCAI 2019放榜論文錄取結(jié)果：共接收4752篇，錄取率僅為17.9%。相比去年的IJCAI 2018來(lái)說(shuō)，接收論文數(shù)量增加了約37%，但是會(huì)錄取率卻反倒降低。

雖然錄取率的降低，會(huì)彰顯大會(huì)的嚴(yán)格或者提高大會(huì)的難度，但這次，可能是適得其反了。網(wǎng)友們已經(jīng)在網(wǎng)絡(luò)中已然是怨聲載道！

微博用戶評(píng)論

讓我們來(lái)看一下幾款較為經(jīng)典的拒稿bug。

網(wǎng)友曬經(jīng)歷：評(píng)審回復(fù)、打分、rebuttal，看了都想笑

審稿不專業(yè)，學(xué)生審稿，review意見(jiàn)寥寥幾句

有知乎匿名用戶表示：

中國(guó)人太多，審稿人大部分是學(xué)生，很多老師連自己要發(fā)表的論文都不會(huì)看，更別說(shuō)看別人的論文了。Rebuttal一般也是從高分改低分，翻盤的可能性不大。

不過(guò)能夠中的論文，水平一定不差。

微軟亞洲研究院實(shí)習(xí)生，知乎ID：“張旭”表示：審稿人不熟悉所在領(lǐng)域，大量剛剛?cè)腴T的學(xué)生參與評(píng)審并給出意見(jiàn)，無(wú)論從能力和態(tài)度上都沒(méi)有體現(xiàn)出對(duì)原作者的尊重，如果審稿人對(duì)論文的領(lǐng)域不熟悉，不應(yīng)該硬著頭皮強(qiáng)行給出審稿意見(jiàn)。

另一位匿名用戶表示：

打分看心情？

斯坦福大學(xué)計(jì)算機(jī)博士后王鴻偉在知乎上分享了他在本屆IJCAI中的遭遇。

暫不提評(píng)審回復(fù)的大bug，光是評(píng)分就已經(jīng)讓其哭笑不得了：“哪位神仙reviewer給評(píng)的分??？感謝你對(duì)我之前工作的關(guān)注啊?！?/p>

無(wú)獨(dú)有偶，當(dāng)然還有更加神奇的操作。

rebuttal就是個(gè)擺設(shè)，關(guān)系戶滿天飛

有知乎用戶吐槽：“審稿人審到自己的 paper。會(huì)議主席不組織復(fù)查。聽(tīng)到各種審稿內(nèi)幕，頭大?！?/p>

來(lái)看一下這位少年rebuttal的心路歷程。

兩個(gè)#25開(kāi)頭的reviewer一直到rebuttal結(jié)束都沒(méi)有給出審稿意見(jiàn)；

diss作者數(shù)據(jù)集來(lái)源不清，于是rebuttal：“我們的數(shù)據(jù)不是隨機(jī)生成的，正如http://xx.xxx章節(jié)第n行已經(jīng)提到的......”；

diss作者k-means的計(jì)算過(guò)程沒(méi)有寫，于是rebuttal：“原文yy.yyy章節(jié)第m行引用了原文，并在第zz.zzz章節(jié)第k行給出了計(jì)算中心點(diǎn)公式”，并且作者表示，如此經(jīng)典的方法竟然需要做那么詳細(xì)的介紹，震驚！

但無(wú)論如何rebuttal，結(jié)果還是擺脫不了被拒絕的命運(yùn)。但是這幾個(gè)評(píng)審回復(fù)開(kāi)起來(lái)是那么的可笑，即便給出了合情合理的rebuttal，依舊起不到什么作用。

如此看來(lái)，rebuttal=no rebutal了。

不過(guò)也有投稿者對(duì)評(píng)審表示肯定，知乎用戶“李冠岳”說(shuō)：

對(duì)于大家吐槽的 review 有多不專業(yè)，我們的 review 都特別負(fù)責(zé)。review們的意見(jiàn)都非常有建設(shè)性，特別是那個(gè) 3 分的review，因?yàn)檫@個(gè)反饋，我們對(duì)我們后續(xù)的工作也有了更加清晰的認(rèn)識(shí)了。今年接近 5000 篇接收 850 篇，17% 左右的接受率，我認(rèn)為這個(gè)會(huì)議還是不會(huì)太水。當(dāng)然我也期待能看到所有的 accepted papers 后再做出一個(gè)跟公正的判斷。

他的論文被IJCAI 2019接收了，meta-review 給的分?jǐn)?shù)是6分，其他三個(gè)review 的分?jǐn)?shù)是 3 分、7 分、7 分。

民意洶涌，IJCAI程序主席發(fā)公開(kāi)信回應(yīng)

凡此種種，讓被拒稿的作者們?nèi)呵榧崳麄兗娂娭滦糯髸?huì)程序主席Sarit Kraus表達(dá)自己的不滿。審稿結(jié)果公布后，本想放松一下的她忽然發(fā)現(xiàn)麻煩并沒(méi)有結(jié)束，可能才剛剛開(kāi)始。

上周五，Sarit Kraus發(fā)表一封公開(kāi)信回應(yīng)此次IJCAI風(fēng)波。她在信中承認(rèn)由于論文數(shù)量太多，審稿人數(shù)量不足，時(shí)間也頗為緊迫，她只能在現(xiàn)有條件下盡力把控審稿流程。對(duì)于作者們反映的審稿過(guò)程瑕疵、公平性不足、隨機(jī)性太強(qiáng)等問(wèn)題表示理解。

關(guān)于未來(lái)解決這一問(wèn)題，她提出應(yīng)該進(jìn)一步重視期刊，把期刊建設(shè)好，學(xué)術(shù)會(huì)議作為對(duì)學(xué)者是否升職、是否獲得研究經(jīng)費(fèi)的評(píng)估標(biāo)準(zhǔn)已經(jīng)不太適合了。最后她號(hào)召大家進(jìn)一步集思廣益，有什么新想法都可以提。

IJCAI 2019 程序主席Sarit Kraus

以下是公開(kāi)信原文：

當(dāng)我周五發(fā)出通知消息時(shí), 我很高興終于結(jié)束了長(zhǎng)達(dá)6個(gè)月多的IJCAI審稿流程。另一方面,我也感到很難過(guò), 因?yàn)槲业囊庖?jiàn)，850篇獲得接受意見(jiàn)的論文作者們非常高興, 但也讓3902篇被拒稿的論文作者感到非常不安和惱火。

雖然我本人有很多論文被一些備受關(guān)注的學(xué)術(shù)會(huì)議接收, 但我收到的拒稿信比你們大多數(shù)人都要多。因此, 你們對(duì)審稿過(guò)程、公平性、隨機(jī)性太強(qiáng)的任何質(zhì)疑, 我這些年來(lái)其實(shí)都感同身受。我要感謝沒(méi)有給我發(fā)投訴郵件的所有作者, 我會(huì)對(duì)少數(shù)向我發(fā)送投訴信的作者留言進(jìn)行回復(fù)。盡管乍一看這可能不會(huì)改變已經(jīng)做出的決定。

此次審稿中，我已在盡力降低評(píng)議過(guò)程的隨機(jī)性，減少每位 PC 和 SPC 收到的論文數(shù)量, 增加審稿時(shí)間,并盡力招募優(yōu)秀的 acsmscc/pc 和其他審稿人員。他們幾乎都做得很不錯(cuò), 對(duì)此我非常感謝。然而, 面對(duì)向本次大會(huì)總共提交的4752篇論文, 審稿任務(wù)是極其困難的。我認(rèn)為, 我們需要對(duì)經(jīng)嚴(yán)格審稿的學(xué)術(shù)會(huì)議的概念進(jìn)行重新思考和創(chuàng)新。

我堅(jiān)信, IJCAI會(huì)議是聽(tīng)取新想法、與其他研究人員見(jiàn)面和討論研究的活動(dòng)。我的最優(yōu)秀的項(xiàng)目是最初都是在學(xué)術(shù)會(huì)議上發(fā)表的。我認(rèn)為目前學(xué)術(shù)會(huì)議的形式已經(jīng)不再適合用來(lái)對(duì)學(xué)者的研究資助和職位晉升進(jìn)行評(píng)估。我們可以考慮把期刊建設(shè)得更好。

目前, 本會(huì)議有一條期刊通道——如果一篇文章曾在AIJ 或 JAIR期刊上發(fā)表，而且之前未在其他地方發(fā)表過(guò)，即可在IJCAI上發(fā)表。未來(lái)我們可以進(jìn)一步限制每個(gè)人允許提交給 IJCAI 的論文數(shù)量, 或者你們有任何其他新想法，我們都會(huì)考慮。

總之, 我希望你們大家都能來(lái)參加 IJCAI, 不管你們的論文是否被接受。大家仍然可以向 IJCAIworkshops環(huán)節(jié)提交論文, 或者只是來(lái)見(jiàn)見(jiàn)朋友, 聽(tīng)聽(tīng)有趣而刺激的講座也好。

此致

Sarit Kraus

IJCAI 2019 程序主席

周志華：審稿質(zhì)量控制出問(wèn)題，可以借鑒AAAI 2019

本屆IJCAI審稿如此多問(wèn)題，也引起了許多AI領(lǐng)域?qū)＜业年P(guān)注。

清華大學(xué)副教授、博士生導(dǎo)師劉知遠(yuǎn)老師也參與了知乎上的討論，認(rèn)為“感覺(jué)今年IJCAI 2019審稿質(zhì)量控制出了一些問(wèn)題……有些領(lǐng)域應(yīng)該沒(méi)有很好地完成discussion階段的工作。”

南京大學(xué)人工智能學(xué)院院長(zhǎng)、AAAI 2019程序委員會(huì)主席周志華教授也發(fā)表了意見(jiàn)，他表示：“投稿量到好幾千之后，質(zhì)量控制就變得極為困難，對(duì)主席是巨大的考驗(yàn)?？雌饋?lái)今年AAAI的一些做法或許是值得IJCAI借鑒的。”

周志華教授也將擔(dān)任IJCAI 2021的程序委員會(huì)主席。

實(shí)際上，AI頂會(huì)論文評(píng)審的專業(yè)性問(wèn)題絕不是僅在IJCAI 2019爆發(fā)的。隨著AI越來(lái)越火，學(xué)術(shù)頂會(huì)投稿量激增，而相應(yīng)的合格的審稿人數(shù)量并沒(méi)有激增，審稿質(zhì)量控制已經(jīng)成了一大難題。

近3年AAAI和IJCAI會(huì)議的投稿量和錄取比率

今年1月舉行的AAAI 2019也被質(zhì)疑審稿人不專業(yè)。

AAAI 2019接收投稿達(dá)7095篇之多，錄取率只有16.2%，審稿質(zhì)量控制問(wèn)題顯然更難。

甚至有投稿人實(shí)名致信AAAI 2019程序主席周志華教授，表達(dá)自己論文由于“審稿人不專業(yè)”而被拒稿的“遺憾與氣憤”。

當(dāng)時(shí)，自稱國(guó)內(nèi)知名高校計(jì)算機(jī)博導(dǎo)的“李老師”稱，在評(píng)審人對(duì)論文的審稿及處理意見(jiàn)上，評(píng)審及錄用決策存在公正與公平性問(wèn)題，李老師 “感到非常遺憾與氣憤！覺(jué)得太有失公正公平與水準(zhǔn)。”

當(dāng)時(shí)，新智元第一時(shí)間聯(lián)系了周志華教授，周志華教授當(dāng)夜凌晨便給李老師回信，并告訴新智元，“這里面確實(shí)涉及到一些關(guān)于人工智能領(lǐng)域投稿的審稿觀念問(wèn)題，但絕對(duì)沒(méi)有’黑幕’”。

周志華教授強(qiáng)調(diào)，“今年的 AAAI，我們已經(jīng)特別加強(qiáng)了對(duì)傳說(shuō)中的一些不良現(xiàn)象的防范。例如，不再允許審稿人看到全部投稿之后來(lái)挑選自己愿意的文章，而只是給 150 篇左右文章供選擇。甚至 SPC 也不讓他們看到所有文章，只是給 300 篇左右文章供選擇。并且 PC 互相看不到身份，也看不到 SPC 的身份。這樣大幅度降低了 “找熟人”“打招呼” 的可能?！?/p>

周志華教授在回信中說(shuō)：

現(xiàn)在人工智能很熱，幾乎所有做 CS 相關(guān)、甚至只要是 IT 相關(guān)的研究，都或多或少地能與人工智能找到聯(lián)系。但是，從人工智能領(lǐng)域本身的頂級(jí)會(huì)議來(lái)說(shuō)，比較傳統(tǒng)的審稿專家會(huì)認(rèn)為，投來(lái)的文章應(yīng)該是對(duì)人工智能領(lǐng)域本身有貢獻(xiàn)才合適。事實(shí)上，人工智能領(lǐng)域傳統(tǒng)的幾個(gè)頂級(jí)會(huì)議，原本是有很不同的 flavor。近年來(lái)很多新人涌入（包括大量新審稿人），對(duì)這些傳統(tǒng)文化已不太了解，于是許多會(huì)議開(kāi)始出現(xiàn) “同質(zhì)化” 現(xiàn)象。很可能有與您文章主題類似的文章通過(guò)了評(píng)審，而審稿人并沒(méi)有挑剔這個(gè)方面，甚至反而可能認(rèn)為人工智能在今天就應(yīng)該 “泛化” 了、只要是用到人工智能技術(shù)就都可以投過(guò)來(lái)。這些看法見(jiàn)仁見(jiàn)智，很難說(shuō)哪種看法是對(duì)是錯(cuò)。這可以看作投稿中 “運(yùn)氣” 成分的一個(gè)體現(xiàn)吧。

最后，如果您了解到有損會(huì)議公正性的不良現(xiàn)象，建議立即向會(huì)議舉報(bào)。請(qǐng)相信，任何一個(gè)頂級(jí)會(huì)議的聲譽(yù)都是幾十年積累，來(lái)之不易，對(duì)有損會(huì)議聲譽(yù)的行為必然會(huì)嚴(yán)肅處理。

正如周志華教授信中所說(shuō)，今年的 AAAI，不再允許審稿人看到全部投稿之后來(lái)挑選自己愿意的文章，SPC 也不讓他們看到所有文章，PC 互相看不到身份，也看不到 SPC 的身份。此舉大大提高了質(zhì)量控制的效果。

AAAI 2019 采用了更嚴(yán)格的盲審制度，能夠減少論文評(píng)審過(guò)程過(guò)招呼找關(guān)系的現(xiàn)象?；蛟S這是本屆IJCAI應(yīng)該借鑒的。