1.ROC曲線

ROC曲線全稱為受試者工作特征曲線（Receiver Operating Characteristic）。提到ROC曲線就要先說(shuō)明一下兩個(gè)概念：FPR（偽正類率），TPR（真正類率），它們都是分類任務(wù)的評(píng)測(cè)指標(biāo)。

1.1 TPR 、FPR

對(duì)于一個(gè)二分類任務(wù)（假定為1表示正類， 0表示負(fù)類），對(duì)于一個(gè)樣本，分類的結(jié)果總共有四種：

類別實(shí)際為1，被預(yù)測(cè)為0，F(xiàn)N（False Negative）

類別實(shí)際為1，被預(yù)測(cè)為1，TP（True Positive）

類別實(shí)際為0，被預(yù)測(cè)為1，F(xiàn)P（False Positive）

類別實(shí)際為0，被預(yù)測(cè)為0，TN（True Negative）

FPR（False Positive Rate）= FP /（FP + TN），即負(fù)類數(shù)據(jù)被預(yù)測(cè)為正類的比例；

TPR（True Positive Rate）= TP /（TP + FN），即正類數(shù)據(jù)被預(yù)測(cè)為正類的比例。

1.2 ROC曲線

那什么是ROC曲線呢？我們看一下ROC曲線的圖示：

對(duì)于樣本數(shù)據(jù)，我們使用分類器對(duì)其進(jìn)行分類，分類器會(huì)給出每個(gè)數(shù)據(jù)為正例的概率。我們可以針對(duì)此來(lái)設(shè)定一個(gè)閾值，當(dāng)某個(gè)樣本被預(yù)測(cè)為正例的概率大于這個(gè)閾值時(shí)，認(rèn)為該樣本為正例，小于則為負(fù)例。

通過(guò)計(jì)算我們就可以得到一個(gè)(TPR , FPR)對(duì)，即圖像上的一個(gè)點(diǎn)。通過(guò)不斷調(diào)整這個(gè)閾值，就得到若干個(gè)點(diǎn)，從而畫出一條曲線。

可以看出，當(dāng)這個(gè)閾值越大時(shí)，會(huì)有越多的樣本被預(yù)測(cè)為負(fù)例，而這些樣本中其實(shí)也有正例的存在。這樣一來(lái)，TPR下降（正例數(shù)據(jù)被預(yù)測(cè)為負(fù)例了），F(xiàn)PR下降（負(fù)類數(shù)據(jù)更不會(huì)被預(yù)測(cè)為正例，但是影響要比TPR小，所以斜率呈上升趨勢(shì)）。

當(dāng)閾值越小時(shí)，越多的樣本被預(yù)測(cè)為正例，而這些樣本中可能包含是正例，卻被預(yù)測(cè)為負(fù)例的樣本以及是負(fù)例卻被預(yù)測(cè)為正例的樣本，這樣一來(lái)TPR上升（更多的正例樣本被預(yù)測(cè)為正例），F(xiàn)PR上升（更多的負(fù)例樣本預(yù)測(cè)為正例，影響更大，所以斜率呈下降趨勢(shì)）。

1.3 閾值調(diào)整

那么該如何調(diào)整這個(gè)閾值呢？一般來(lái)說(shuō)，分類器會(huì)對(duì)一批數(shù)據(jù)的每個(gè)樣本給出一個(gè)是正例的概率，如下圖示，共20個(gè)樣本，class為實(shí)際標(biāo)簽，score為分類器判斷樣本為正例的概率：

對(duì)給出的分?jǐn)?shù)進(jìn)行排序，然后依次使用score作為閾值，這樣就得到了20組（FPR， TPR），做出ROC曲線如下：

當(dāng)閾值為1時(shí)就可以到達(dá)ROC曲線上（0， 0）點(diǎn)，當(dāng)閾值為0時(shí)就可以到達(dá)ROC曲線上（1， 1） 點(diǎn)。當(dāng)然也不一定就必須使用概率值，也可以使用未經(jīng)過(guò)softmax（或其他類似處理）的結(jié)果，使用方法相同，畢竟我們只需要一個(gè)次序。

2.AUC

說(shuō)完ROC，再來(lái)說(shuō)一下AUC。AUC被定義為ROC曲線下的面積（Area Under Curve），顯然這個(gè)面積小于1。又因?yàn)镽OC曲線一般都處于y=x這條直線的上方，所以AUC一般在0.5到1之間。

2.1 AUC優(yōu)點(diǎn)與含義

使用AUC值作為評(píng)價(jià)標(biāo)準(zhǔn)是因?yàn)楹芏鄷r(shí)候ROC曲線并不能清晰的說(shuō)明哪個(gè)分類器的效果更好，而作為一個(gè)數(shù)值，對(duì)應(yīng)AUC更大的分類器效果更好。

AUC的含義為，當(dāng)隨機(jī)挑選一個(gè)正樣本和一個(gè)負(fù)樣本，根據(jù)當(dāng)前的分類器計(jì)算得到的score將這個(gè)正樣本排在負(fù)樣本前面的概率。

2.2AUC與分類器優(yōu)劣

從AUC判斷分類器（預(yù)測(cè)模型）優(yōu)劣的標(biāo)準(zhǔn)：

AUC = 1，是完美分類器，采用這個(gè)預(yù)測(cè)模型時(shí)，存在至少一個(gè)閾值能得出完美預(yù)測(cè)。絕大多數(shù)預(yù)測(cè)的場(chǎng)合，不存在完美分類器。

0.5 < AUC < 1，優(yōu)于隨機(jī)猜測(cè)。這個(gè)分類器（模型）妥善設(shè)定閾值的話，能有預(yù)測(cè)價(jià)值。

AUC = 0.5，跟隨機(jī)猜測(cè)一樣（例：丟銅板），模型沒(méi)有預(yù)測(cè)價(jià)值。

AUC < 0.5，比隨機(jī)猜測(cè)還差；但只要總是反預(yù)測(cè)而行，就優(yōu)于隨機(jī)猜測(cè)。

3. 為什么使用ROC曲線？

既然已經(jīng)這么多評(píng)價(jià)標(biāo)準(zhǔn)，為什么還要使用ROC和AUC呢？因?yàn)镽OC曲線有個(gè)很好的特性：當(dāng)測(cè)試集中的正負(fù)樣本的分布變化的時(shí)候，ROC曲線能夠保持不變。

在實(shí)際的數(shù)據(jù)集中經(jīng)常會(huì)出現(xiàn)類不平衡(class imbalance)現(xiàn)象，即負(fù)樣本比正樣本多很多(或者相反），而且測(cè)試數(shù)據(jù)中的正負(fù)樣本的分布也可能隨著時(shí)間變化。

下圖中，(a)和(c)為ROC曲線，(b)和(d)為Precision-Recal[1]曲線。(a)和(b)展示的是分類其在原始測(cè)試集(正負(fù)樣本分布平衡)的結(jié)果，(c)和(d)是將測(cè)試集中負(fù)樣本的數(shù)量增加到原來(lái)的10倍后，分類器的結(jié)果。

可以明顯的看出，ROC曲線基本保持原貌，而Precision-Recall曲線則變化較大。

審核編輯 ：李倩