1 引言：

在這個(gè)AIGC爆發(fā)的時(shí)代，人人都可以利用AI算法生成高質(zhì)量的文本，圖像，音頻內(nèi)容。其中，由Midjourney, Stable Diffusion等圖像生成方法制作的圖像，其逼真程度讓人贊嘆。人眼已經(jīng)難以對(duì)其真假進(jìn)行區(qū)分了。這不禁喚起了人們的隱憂：大量虛假圖片將會(huì)在互聯(lián)網(wǎng)上廣泛傳播。虛假圖片的泛濫會(huì)引發(fā)多種社會(huì)安全問(wèn)題。例如，虛假新聞會(huì)擾亂社會(huì)秩序，混淆視聽(tīng)。惡意的人臉圖片造假則會(huì)引發(fā)金融欺詐，造成信任危機(jī)。例如，下圖為Midjourney生成的特朗普被捕圖片。這類圖片在社交媒體上廣泛傳播，對(duì)政治領(lǐng)域造成了不良影響。因此，對(duì)這些AI生成的圖像進(jìn)行有效監(jiān)管是非常有必要的。

圖2 AI生成的特朗普被捕圖片，來(lái)源于https://news.sina.com.cn/c/2023-04-15/doc-imyqmchz0199110.shtml

考慮到人眼已經(jīng)難以對(duì)真假圖片進(jìn)行區(qū)分，我們急需一種AI生成圖像檢測(cè)器以區(qū)分AI制作的圖像和真實(shí)的圖像。然而，現(xiàn)在大規(guī)模數(shù)據(jù)集的缺失妨礙了檢測(cè)器的開(kāi)發(fā)。因此，我們提出了百萬(wàn)量級(jí)的GenImage數(shù)據(jù)集，致力于構(gòu)建AIGC時(shí)代的ImageNet。

2 數(shù)據(jù)集介紹：

表1 虛假圖片檢測(cè)數(shù)據(jù)集概覽

過(guò)去業(yè)界也有推出一些數(shù)據(jù)集。他們主要有三個(gè)特點(diǎn)。第一個(gè)是數(shù)據(jù)規(guī)模小，第二個(gè)是都是基于GAN的，第三個(gè)是局限于人臉數(shù)據(jù)。隨著時(shí)間推移，數(shù)據(jù)規(guī)模慢慢地在增加，生成器也從GAN時(shí)代過(guò)渡到Diffusion時(shí)代，數(shù)據(jù)的范圍也在增加。但是一個(gè)大規(guī)模的，以Diffusion模型為主的，涵蓋各類通用圖像的數(shù)據(jù)集仍然是缺失的。

基于此，我們提出一個(gè)對(duì)標(biāo)imagenet的genimage數(shù)據(jù)集。真實(shí)的圖片采用了ImageNet。虛假的圖片采用ImageNet的標(biāo)簽進(jìn)行生成。我們利用了八個(gè)先進(jìn)的生成器來(lái)生成，分別是Midjourney, Stable Diffusion V1.4, Stable Diffusion V1.5, ADM, GLIDE, Wukong，VQDM和BigGAN。這些生成器生成的圖片總數(shù)基本與真實(shí)圖片一致。每個(gè)生成器生成的圖片數(shù)量也基本一致。每一類生成的圖片數(shù)量基本一致。

這個(gè)數(shù)據(jù)集具有以下優(yōu)勢(shì)：

1. 大量的數(shù)據(jù)：超過(guò)百萬(wàn)對(duì)圖片對(duì)。

2. 豐富的圖片內(nèi)容：利用ImageNet進(jìn)行構(gòu)建，具有豐富的標(biāo)簽
3. 先進(jìn)的生成器：覆蓋Midjourney, Stable Diffusion等Diffusion生成器。

在真實(shí)世界中檢測(cè)器往往會(huì)遇到各種各樣的困難。我們經(jīng)過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，檢測(cè)器往往在兩種情況下性能下降嚴(yán)重。第一種是面對(duì)訓(xùn)練集中未出現(xiàn)的生成器生成的圖片時(shí)。第二種是面對(duì)退化的圖像。例如，CNNSpot在Stable Diffusion V1.4上訓(xùn)練后，在Midjourney上測(cè)試僅有52.8的準(zhǔn)確率。當(dāng)訓(xùn)練和測(cè)試生成器同為Stable Diffusion V1.4，在面對(duì)模糊的圖像時(shí)，CNNSpot準(zhǔn)確率僅僅為77.9?；诖耍覀?cè)谶@個(gè)數(shù)據(jù)集基礎(chǔ)上對(duì)檢測(cè)器提出兩個(gè)挑戰(zhàn)：

1. 交叉生成器：檢測(cè)器在一種生成器生成的數(shù)據(jù)上訓(xùn)練，在其他生成器生成的數(shù)據(jù)上驗(yàn)證。這個(gè)任務(wù)目的是考察檢測(cè)器在不同生成器上的泛化能力。

2. 退化圖像識(shí)別：檢測(cè)器需要對(duì)于低分辨率，模糊和壓縮圖像進(jìn)行識(shí)別。這個(gè)任務(wù)主要考察檢測(cè)器在真實(shí)條件（如互聯(lián)網(wǎng)上傳播）中面對(duì)低質(zhì)量圖像時(shí)的泛化問(wèn)題。

我們相信這個(gè)數(shù)據(jù)集的提出將大大有助于人們開(kāi)發(fā)AI生成圖片檢測(cè)器。

3 實(shí)驗(yàn)：

我們做了一些實(shí)驗(yàn)來(lái)考察這個(gè)數(shù)據(jù)集，我們發(fā)現(xiàn)在某個(gè)生成器上訓(xùn)練的ResNet-50模型在其他的測(cè)試準(zhǔn)確率會(huì)明顯降低。然而在真實(shí)情況下我們難以得知遇到的圖像的生成器是什么。因此檢測(cè)器對(duì)于不同生成器生成圖片的泛化能力很重要。

表2 使用ResNet 50在不同生成器上交叉驗(yàn)證

我們對(duì)比了現(xiàn)有方法在Stable Diffusion V1.4上訓(xùn)練，然后在各種生成器上測(cè)試的結(jié)果，見(jiàn)圖3。我們也評(píng)測(cè)了各種生成器上訓(xùn)練，然后在各種生成器上測(cè)試的結(jié)果。見(jiàn)圖4。圖4中，Testing Subset那一列中的每一個(gè)數(shù)據(jù)點(diǎn)，都是在八個(gè)生成器上訓(xùn)練，然后在一個(gè)生成器上測(cè)試得到的平均結(jié)果。然后我們將這些測(cè)試集上的結(jié)果平均，得到最右側(cè)的平均結(jié)果。

表3 在Stable Diffusion V1.4上訓(xùn)練，不同測(cè)試集上測(cè)試

表4 在不同生成器上訓(xùn)練，不同測(cè)試集上測(cè)試

我們對(duì)測(cè)試集進(jìn)行退化處理，采用不同參數(shù)下的低分辨率，JPEG壓縮和高斯模糊，評(píng)測(cè)結(jié)果如下

表5 在不同退化圖像上驗(yàn)證結(jié)果

那么采集這么多數(shù)據(jù)是不是有用呢？我們做了相關(guān)實(shí)驗(yàn)，證明通過(guò)提升數(shù)據(jù)類比和每類的圖片數(shù)量，我們是可以提高性能的。

表6 提升圖片數(shù)量的結(jié)果

針對(duì)GenImage數(shù)據(jù)集對(duì)于不同圖片的泛化能力，我們發(fā)現(xiàn)他對(duì)于人臉和藝術(shù)類圖片也能達(dá)到很好的效果。

表7 泛化到藝術(shù)類和人臉類圖片的結(jié)果

圖3 測(cè)試所用的藝術(shù)類和人臉類圖片展示

4 展望

隨著AI生成圖片能力的不斷提升，對(duì)于AI生成的圖片實(shí)現(xiàn)有效檢測(cè)的需求將會(huì)越來(lái)越迫切。本數(shù)據(jù)集致力于為真實(shí)環(huán)境下的生成圖片檢測(cè)提供有效訓(xùn)練數(shù)據(jù)。我們使用ResNet-50在本數(shù)據(jù)集中訓(xùn)練，然后在真實(shí)推文中進(jìn)行檢測(cè)。如下圖4，ResNet-50能夠有效識(shí)別真圖和假圖。這個(gè)結(jié)果證明了GenIamge可以用于訓(xùn)練模型以判別真實(shí)世界的虛假信息。我們認(rèn)為，該領(lǐng)域未來(lái)值得努力的方向是不斷提升檢測(cè)器在GenImage數(shù)據(jù)集上的準(zhǔn)確率，并進(jìn)而提升其在真實(shí)世界面對(duì)虛假信息的能力。

圖4.1 真實(shí)推文展示(真圖)

圖4.2 真實(shí)推文展示（假圖）