作者：楠楠楠楠x

清華大學(xué)最新發(fā)布了一篇關(guān)于大模型安全的論文，不同于以往大部分專注于挖掘大模型可能輸出的顯式有害內(nèi)容的工作。這篇論文將目光投向了研究更少，更難被檢測(cè)到的隱式有害內(nèi)容。

隱式有害內(nèi)容指那些使用委婉語(yǔ)，拐彎抹角，諷刺，隱喻，成語(yǔ)來(lái)輸出有害觀點(diǎn)，而不使用明顯不合適的詞語(yǔ)的有害文字，這里給出兩個(gè)例子。

通過使用提示詞工程向ChatGPT提問，居然可以讓ChatGPT輸出認(rèn)為童工合理的內(nèi)容（雖然并沒有使用任何讓人感到不適的詞語(yǔ)），這顯然是不符合任何一個(gè)國(guó)家的政治正確的（笑）。通過這種方式，我們可以讓ChatGPT等大模型輸出涉嫌歧視/帶有敏感話題/攻擊用戶等類型的有害內(nèi)容，想想就很可怕捏。

顯然這種隱式的有害內(nèi)容更難被現(xiàn)有的SOTA有害內(nèi)容檢測(cè)模型檢測(cè)到，因?yàn)檫@種內(nèi)容要求檢測(cè)模型擁有更強(qiáng)大的語(yǔ)言理解能力，而不是簡(jiǎn)單的使用keywords來(lái)檢測(cè)有害內(nèi)容。

清華大學(xué)研究團(tuán)隊(duì)做了什么？

定義了一種新的大模型安全問題，即隱式有害內(nèi)容輸出。

研究團(tuán)隊(duì)使用SFT和RLHF的方式進(jìn)一步的讓大模型更容易輸出隱式有害內(nèi)容以進(jìn)一步研究。并且揭示了大模型被惡意利用的可能性。

研究團(tuán)隊(duì)訓(xùn)練得到的模型輸出的隱式有害內(nèi)容打敗了一系列的有害內(nèi)容檢測(cè)模型，以極高的攻擊成功率達(dá)成了一種另類的SOTA。

研究團(tuán)隊(duì)還使用了經(jīng)過標(biāo)注的隱式有害內(nèi)容數(shù)據(jù)集訓(xùn)練檢測(cè)模型，成功提高了它們檢測(cè)隱式有害內(nèi)容的能力。

圖1：SL LLaMA-13B以及RL LLaMA-13B即作者團(tuán)隊(duì)通過訓(xùn)練得到的新模型。攻擊任何一個(gè)檢測(cè)模型，都以極高的攻擊成功率打敗了所有baselines。另外，使用零樣本的提示詞工程也能讓GPT-3.5-turbo達(dá)成極高的攻擊成功率。

模型是如何被訓(xùn)練的？

作者團(tuán)隊(duì)使用了大模型訓(xùn)練的經(jīng)典三階段范式來(lái)訓(xùn)練模型，也就是：預(yù)訓(xùn)練 -> 監(jiān)督微調(diào) -> 人類反饋強(qiáng)化學(xué)習(xí)的三個(gè)階段。當(dāng)然，作者通過直接使用LLaMA模型跳過了預(yù)訓(xùn)練的過程。

監(jiān)督微調(diào)

作者團(tuán)隊(duì)使用現(xiàn)有的帶有有害內(nèi)容的對(duì)話數(shù)據(jù)集和GPT-3.5-turbo來(lái)獲取進(jìn)行監(jiān)督微調(diào)的數(shù)據(jù)集。具體來(lái)說，作者拋棄了原數(shù)據(jù)集中的模型回答部分（因?yàn)檫@些回答主要包含的是顯式有害內(nèi)容），然后使用零樣本的提示詞工程讓GPT-3.5-turbo生成隱式有害內(nèi)容作為回答。

然而經(jīng)過監(jiān)督微調(diào)的模型，仍然會(huì)輸出不帶有有害內(nèi)容或者帶有顯式有害內(nèi)容的回答。這并不符合我們對(duì)模型的期待，也為使用rlhf提供了必要性。

人類反饋強(qiáng)化學(xué)習(xí)

這是筆者認(rèn)為本文novelty體現(xiàn)比較多的地方。作者團(tuán)隊(duì)希望通過強(qiáng)化學(xué)習(xí)鼓勵(lì)模型輸出帶有隱式有害內(nèi)容的回答而不是帶有顯示有害內(nèi)容或者不帶有有害內(nèi)容的回答。

為了做到這一點(diǎn)，最簡(jiǎn)單自然的強(qiáng)化學(xué)習(xí)方式便是直接使用有害內(nèi)容檢測(cè)模型輸出的分類可能性作的負(fù)值為獎(jiǎng)勵(lì)（因?yàn)閹в须[式有害內(nèi)容的回答相比帶有顯示有害內(nèi)容的回答經(jīng)過檢測(cè)模型后得到的分類可能性更小，因此可以用以作為獎(jiǎng)勵(lì)）。然而這樣做，會(huì)更加鼓勵(lì)模型輸出不帶有有害內(nèi)容的回答，而不是更鼓勵(lì)輸出我們期待的隱式有害內(nèi)容。

非常自然的，作者想到了訓(xùn)練獎(jiǎng)勵(lì)模型來(lái)進(jìn)行rlhf。訓(xùn)練方法如下：

圖2：模型訓(xùn)練過程

針對(duì)某個(gè)問題x，輸入被獎(jiǎng)勵(lì)模型(Policy Model)得到k個(gè)回答。

GPT-3.5-turbo對(duì)這k個(gè)回答進(jìn)行標(biāo)注，將每個(gè)回答標(biāo)注為三種類型，分別為：帶有隱式有害內(nèi)容，帶有顯式有害內(nèi)容，不帶有有害內(nèi)容。

利用k個(gè)回答中被標(biāo)注為帶有隱式有害內(nèi)容的數(shù)據(jù)來(lái)構(gòu)建強(qiáng)化學(xué)習(xí)數(shù)據(jù)對(duì)。值得注意的是，這與經(jīng)典的rlhf方式有所不同，并不是針對(duì)k個(gè)回答構(gòu)建個(gè)強(qiáng)化學(xué)習(xí)數(shù)據(jù)對(duì)。而是使每個(gè)數(shù)據(jù)對(duì)中必須含有一個(gè)帶有隱式有害內(nèi)容的回答，該回答將會(huì)作為，而另一個(gè)回答作為。

使用上一步得到的數(shù)據(jù)集來(lái)訓(xùn)練獎(jiǎng)勵(lì)模型，訓(xùn)練loss為，也就是最大化與的獎(jiǎng)勵(lì)差。

為了進(jìn)一步提高被獎(jiǎng)勵(lì)模型攻擊檢測(cè)模型的攻擊成功率，作者使用了有害內(nèi)容檢測(cè)模型針對(duì)回答x輸出的檢測(cè)可能性來(lái)構(gòu)建新獎(jiǎng)勵(lì)，其中是一個(gè)超參數(shù)。

為了防止被獎(jiǎng)勵(lì)模型的參數(shù)被過度更新，作者還使用了KL散度來(lái)懲罰獎(jiǎng)勵(lì)，并引入了超參數(shù)來(lái)控制KL散度懲罰的大小。

實(shí)驗(yàn)

實(shí)驗(yàn)設(shè)置

作者使用了來(lái)自BAD數(shù)據(jù)集的6000條可能引起模型輸出有害內(nèi)容的人類提問作為實(shí)驗(yàn)數(shù)據(jù)。

使用了LLaMA-13B來(lái)訓(xùn)練模型和獎(jiǎng)勵(lì)模型，使用BAD模型作為有害內(nèi)容檢測(cè)模型。

圖3：實(shí)驗(yàn)主要結(jié)果

直接分析實(shí)驗(yàn)結(jié)果，我們可以發(fā)現(xiàn)以下信息：

經(jīng)過監(jiān)督微調(diào)和人類反饋強(qiáng)化學(xué)習(xí)的RL LLaMA-13B輸出的回答得到的獎(jiǎng)勵(lì)是最高的，人類標(biāo)注員標(biāo)注的Annotated Toxic Prob.成績(jī)也是最高的，并且對(duì)任意一個(gè)有害內(nèi)容檢測(cè)模型都達(dá)成了極高的攻擊成功率。這說明了兩點(diǎn)：

經(jīng)過監(jiān)督微調(diào)或提示詞工程的大模型有強(qiáng)大的突破有害內(nèi)容檢測(cè)模型的能力

人類反饋強(qiáng)化學(xué)習(xí)能夠進(jìn)一步提高大模型的上述能力

使用一個(gè)檢測(cè)模型輸出的作為獎(jiǎng)勵(lì)的一部分能夠極大提高大模型攻擊任意一個(gè)檢測(cè)模型的能力。

除此之外，作者還做了一系列的補(bǔ)充實(shí)驗(yàn)。

圖4：原獎(jiǎng)勵(lì)與均能提高強(qiáng)化學(xué)習(xí)的效果

圖5：越大的模型有越高的輸出隱式有害內(nèi)容的潛力

圖6：超參數(shù)和超參數(shù)的恰當(dāng)選擇對(duì)訓(xùn)練效果至關(guān)重要

審核編輯：黃飛

?