各平臺和其他互聯(lián)網(wǎng)參與者使用自動程序對其系統(tǒng)上的非法內(nèi)容進行處理，如仇恨言論或恐怖主義內(nèi)容。他們還使用相同的技術來要求其用戶強制執(zhí)行自己的自愿服務條款，以維護網(wǎng)絡環(huán)境的穩(wěn)定性和吸引力。

來自監(jiān)管部門的壓力，要求更多地依賴自動化來進行內(nèi)容刪除，這有可能會削弱網(wǎng)絡空間的合法性。

由“民主與科技中心(Center for Democracy and Technology)”在布魯塞爾主辦的小組討論會中，我講述了AI驅動的內(nèi)容檢測技術的功能和局限性。其他小組成員包括現(xiàn)在就職于標普全球公司(S&P Global)的Armineh Nourbakhsh，她講述了在路透社協(xié)助開發(fā)的Tracer工具，然后在“民主與科技中心”就職的Emma Llansó講述了她最近參與合著的論文《混合信息?自動社交媒體內(nèi)容分析的局限性》。來自歐盟委員會的Prabhat Agarwal提出了一個富有洞察力的決策者觀點。

各平臺和其他互聯(lián)網(wǎng)參與者使用自動程序對其系統(tǒng)上的非法內(nèi)容進行處理，如仇恨言論或恐怖主義內(nèi)容。他們還使用相同的技術來要求其用戶強制執(zhí)行自己的自愿服務條款，以維護網(wǎng)絡環(huán)境的穩(wěn)定性和吸引力。最后，有一種中間類型的內(nèi)容，它不僅不吸引人，本身并不完全違法，但它是有害的，需要加以控制。虛假消息傳播活動就屬于這一類。

來自政府的壓力要求使用自動化系統(tǒng)，這一情況日益增長

現(xiàn)在我們討論將這些內(nèi)容自動刪除的原因不僅僅是在技術上的。政策制定者非常關注用于內(nèi)容檢測的系統(tǒng)的有效性，并且正在推動平臺來做越來越多的工作。有時這會滲透到監(jiān)管的法規(guī)要求中。

最近歐盟宣布的防止網(wǎng)上恐怖主義內(nèi)容的試行條例就是一個很好的例子。人們非常關注于該條例，其允許歐盟成員國的國家主管機關來要求各個平臺在收到通知后一小時內(nèi)刪除特定的恐怖主義內(nèi)容。但更令人擔憂的是，該條例要求各平臺采取“主動措施”，以便從一開始就防止恐怖主義內(nèi)容出現(xiàn)在平臺上。由于主動措施是一些針對恐怖主義內(nèi)容的自動屏蔽系統(tǒng)，因此該試行條例明顯削弱了當前電子商務指令的效力，以強制監(jiān)測系統(tǒng)擔負起監(jiān)督恐怖主義內(nèi)容。更糟糕的是，如果某一家公司收到過多的刪除指令，卻無法與監(jiān)管機構所設計的改進目標達成一致，則該公司可能需要部署和維護監(jiān)管機構所指定的某個自動內(nèi)容刪除系統(tǒng)。

需要采取保護措施以使內(nèi)容刪除決定變得公平

內(nèi)容刪除決定必須有明確的標準，這些標準必須透明，以便用戶對超出范圍和可接受范圍能形成預期。此外，需要對單個內(nèi)容刪除決定進行解釋，這一決定應說明觸發(fā)該決定的內(nèi)容的特定特征或方面。最后，因為沒有一個系統(tǒng)是完美的，所以需要一個補救機制，以便在內(nèi)容被錯誤刪除后能夠恢復。作為一個榜樣，請看看美國信貸業(yè)的做法，他們數(shù)代人將這些透明度、解釋說明和補救機制融入其工作中。

出于EmmaLlansó在她的論文中概述的原因，單純依靠自動化系統(tǒng)進行內(nèi)容刪除是錯誤的。由于錯誤率太高，所以始終需要人工審查以確保在內(nèi)容刪除之前充分考慮其內(nèi)容的上下文和含義。

這些自動化系統(tǒng)具有積極且有益的作用

首先，這些系統(tǒng)可用于非常具體和有價值的目的。Armineh說道，由路透社開發(fā)的Tracer系統(tǒng)可掃描Twitter以發(fā)現(xiàn)一些突發(fā)新聞故事，并將其傳遞給路透社的編輯和記者進行審查。該系統(tǒng)可檢測到大多數(shù)(但并非全部)的虛假謠言和故意誤導內(nèi)容，并只傳遞這些極有可能具有新聞價值的內(nèi)容，從而使記者能夠更有效地工作。然而，即使在路透社，也需要采取保護措施，以避免例如特定來源或用戶的信息被分析。

第二個重要用途是篩選可能需要刪除的內(nèi)容。當系統(tǒng)在現(xiàn)代社交網(wǎng)絡的范圍內(nèi)運行時，對所有潛在有害內(nèi)容進行人工審查是根本不可能的。自動化系統(tǒng)可以提供一個可管理的問題內(nèi)容列表，以供人工審閱者來確定是否刪除。

最后，自動系統(tǒng)可以非常有效地防止上傳那些先前已被識別并刪除的內(nèi)容。該模型可有效地應用于兒童色情圖片，并通過一個自動內(nèi)容識別系統(tǒng)來防止未經(jīng)授權來上傳受版權保護的內(nèi)容。

前進的道路上我們可采取公私合作伙伴關系

對于自動內(nèi)容刪除的擔憂并不意味著會削弱從在線系統(tǒng)中刪除危險內(nèi)容的一般性主張，鑒于恐怖主義的嚴重挑戰(zhàn)，刪除危險內(nèi)容是一個極為緊迫的問題。但是，我們必須著眼未來以及我們的迫切需要，并應謹慎建立保障措施，以防止在極為不同的政治環(huán)境中濫用任何新的監(jiān)管權力，而在這種情況下，風險可能是來自政府機構的過度干預。

在前進的道路上我們要認識到，所面對的問題要比技術更嚴重?？植乐髁x事件來自技術行業(yè)沒有形成且不能自行改善的基礎社會、政治和經(jīng)濟過程中。但是，他們的體系不應該被用來使問題變得更糟，他們的內(nèi)容刪除工作將從公私合作伙伴關系中受益，這種公私合作關系依賴于政府提供信息和引薦以及召集行業(yè)參與者來制定和實施行業(yè)最佳實踐。

然而，一個重大的危險是政策制定者似乎愿意忽視錯誤的實際成本，很明顯，他們認為，只要能成功地刪除危險內(nèi)容，犯錯誤就是值得的。畢竟，他們似乎認為，各平臺總能恢復那些因錯誤而被刪除的內(nèi)容。

這種觀點忽視了許多在線交流內(nèi)容的時效性，在這種情況下，花費幾周甚至幾天后所恢復的內(nèi)容是毫無意義的。而且，所涉及的錯誤范圍很容易被低估。數(shù)十億次使用中的一個很小的錯誤率可能意味著不是數(shù)百，不是數(shù)千，而是數(shù)億次的錯誤。綜合起來，隨著時間的推移，這個錯誤的量級將損害這些體系的可信性和合法性，使其失去多種合法政治話語權的好處。