GCN基礎(chǔ)知識(shí) ·

其實(shí)有關(guān)GCN的相關(guān)基礎(chǔ)知識(shí)在網(wǎng)上都查的到，后面涉及到的數(shù)學(xué)知識(shí)還是十分復(fù)雜的，這里就不詳細(xì)推導(dǎo)每一個(gè)步驟。這里就直接給出一個(gè)最終的結(jié)論，也是Kipf and Welling在2016年 GCN領(lǐng)域最經(jīng)典的paper《Semi-supervised classification with graph convolutional networks.》里對(duì)原始的基于拉普拉斯譜變換進(jìn)行了一些簡(jiǎn)化得到最終的圖卷積公式：

，其中是一個(gè)對(duì)稱歸一化矩陣， ，，其中是單位矩陣，是臨接矩陣，是矩陣 的對(duì)角度矩陣，是第t層的中間隱層表示。即初始的輸入是每一個(gè)node節(jié)點(diǎn)的embedding表示，這樣最后GCN輸出的最后一層節(jié)點(diǎn)的Embedding包不但包含了節(jié)點(diǎn)的初始特征還包含了網(wǎng)絡(luò)的拓?fù)涮卣鳌腉CN最基本的變換公式可以看出，我們需要做的是結(jié)合業(yè)務(wù)場(chǎng)景定義的是臨接矩陣和節(jié)點(diǎn)的初始狀態(tài)。

上面其實(shí)是最基本的GCN的函數(shù)形式，以后所有的GCN變體都是在這個(gè)基礎(chǔ)之上進(jìn)行衍生，比方說(shuō)當(dāng)?shù)臅r(shí)候，就是另一種形式的GCN。

下面從2篇paper出發(fā)，講解一下GNN在反欺詐領(lǐng)域的落地應(yīng)用。

一、《Heterogeneous Graph Neural Networks for Malicious Account Detection》

即在異構(gòu)網(wǎng)絡(luò)中使用Graph Neural network去進(jìn)行欺詐。根據(jù)分析出的欺詐賬戶規(guī)律，總結(jié)出黑產(chǎn)用戶活動(dòng)的2個(gè)規(guī)律：

Device aggregation：設(shè)備聚集性，即黑產(chǎn)手中的設(shè)備資源是有限的，這里的設(shè)備是一個(gè)抽象的概念，具體化可以有IP、設(shè)備ID、賬戶等信息。

Activity aggregation：活動(dòng)方式的聚集性，即由于黑產(chǎn)設(shè)備是在同一批的控制之下活動(dòng)的，那么這些賬戶之間一定存在著較大的共線性。

理解這兩個(gè)黑產(chǎn)活動(dòng)規(guī)律是很重要的，后面的模型都是針對(duì)這兩個(gè)規(guī)律進(jìn)行構(gòu)建。

正如paper標(biāo)題中所說(shuō)的，論文提出的是一個(gè)異構(gòu)網(wǎng)絡(luò)，即網(wǎng)絡(luò)中的節(jié)點(diǎn)包括了2類：Account(賬戶) 和 Device(設(shè)備資源)。如果網(wǎng)絡(luò)中某一個(gè)節(jié)點(diǎn)account i在設(shè)備節(jié)點(diǎn)device j上有登錄或者注冊(cè)等行為（這里的account可以認(rèn)為是主維度字段，device可以認(rèn)為是關(guān)聯(lián)維度字段），那么節(jié)點(diǎn)i和j之間就有一條邊（個(gè)人認(rèn)為這樣的定義有點(diǎn)太寬松了，應(yīng)該加上時(shí)間窗口），這樣N個(gè)account和device的節(jié)點(diǎn)就可以形成一個(gè)網(wǎng)絡(luò)，其臨接矩陣的表征形式為。由于這里面的設(shè)備是一個(gè)抽象的概念，如果具體的話可以有IP、設(shè)備ID、阿里設(shè)備指紋等形式(假設(shè)具體的設(shè)備字段個(gè)數(shù)為D)，所有針對(duì)某一類具體的設(shè)備字段會(huì)有一個(gè)sub-graph即，而的鄰居矩陣維度即頂點(diǎn)數(shù)和一樣，只不過(guò)只留下了和當(dāng)前type d有關(guān)系的邊。

接下來(lái)我們要定義節(jié)點(diǎn)的初始狀態(tài)矩陣，這里可以發(fā)現(xiàn)矩陣的行數(shù)是節(jié)點(diǎn)的數(shù)量N，而列數(shù)是。其中是當(dāng)節(jié)點(diǎn)為account時(shí)，將數(shù)據(jù)按照時(shí)間劃分出個(gè)time slot（在實(shí)際工程中，可以加入其它和節(jié)點(diǎn)相關(guān)的特征進(jìn)去），并統(tǒng)計(jì)每一個(gè)time slot中的操作次數(shù)；而則是當(dāng)節(jié)點(diǎn)為device不同關(guān)聯(lián)維度的種類數(shù)即type d的數(shù)量，這里采用的是one-hot編碼的方式。由于是異構(gòu)網(wǎng)絡(luò)，即一個(gè)矩陣中存在含義不同的節(jié)點(diǎn)，但是為了保證每一個(gè)節(jié)點(diǎn)的維度都一致，多余的維度即針對(duì)account 節(jié)點(diǎn)來(lái)說(shuō)就多余了為，對(duì)于device 節(jié)點(diǎn)來(lái)說(shuō)就多余了維，都采用填充0的方式進(jìn)行對(duì)齊。

下面就是圖神經(jīng)網(wǎng)絡(luò)的遞推迭代公式：

其中屬于圖神經(jīng)網(wǎng)絡(luò)的中間層輸出，和屬于模型參數(shù)，隨著模型一起學(xué)習(xí)。最后的損失函數(shù)，即當(dāng)T層之后，可以使用少部分標(biāo)注數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)，最終的損失函數(shù)是交叉熵形式為：

這里作者發(fā)現(xiàn)，在公式一中，可以使用attention機(jī)制來(lái)優(yōu)化效果，即優(yōu)化升級(jí)公式二引入attention機(jī)制，得到

其中，，其中。

二、《GeniePath: Graph Neural Networks with Adaptive Receptive Paths》

從題目中可以看到“Adaptive Receptive Paths”，即自適應(yīng)的最佳搜索路徑。

這也是本篇paper最大的創(chuàng)新點(diǎn)和貢獻(xiàn)點(diǎn)，創(chuàng)新點(diǎn)是相對(duì)于基礎(chǔ)的GCN來(lái)講的，從上面可知基礎(chǔ)的GCN迭代公式形式為：，如果神經(jīng)網(wǎng)絡(luò)的層數(shù)為T，那么T層的節(jié)點(diǎn)輸出就是考慮了距離當(dāng)前節(jié)點(diǎn)t距離為T的所有鄰居，為了增加考慮的鄰居數(shù)，可以不斷的增加T，但是過(guò)多的層數(shù)會(huì)導(dǎo)致模型參數(shù)量過(guò)大，導(dǎo)致模型在訓(xùn)練的時(shí)候難以收斂，故有些paper會(huì)結(jié)合殘差網(wǎng)絡(luò)的概念引入殘差網(wǎng)絡(luò)，即。

但是這樣依然是會(huì)有2個(gè)比較顯著的缺陷：

并不是所有鄰居都是同等重要的（對(duì)應(yīng)paper里的breadth 方向的Adaptive Receptive Paths）；

并不是所有深度搜索的路徑都是一樣重要的（對(duì)應(yīng)paper里的depth方向的Adaptive Receptive Paths）。

上圖形象的說(shuō)明了adaptive receptive path的概念，即目標(biāo)target節(jié)點(diǎn)周圍的鄰居以及對(duì)應(yīng)更遠(yuǎn)的hop的路徑重要程度是不一樣的，圖中有淺藍(lán)色底色的區(qū)域就是adaptive receptive path。哪些鄰居節(jié)點(diǎn)和更遠(yuǎn)的延伸路徑是adaptive receptive path，這就是本篇paper要解決的問(wèn)題。

基于此，paper提出了基于breadth 和depth兩個(gè)方向自適應(yīng)優(yōu)化的算法框架：

//這里需要注意的是， breadth function需要具備permutation invariant的性質(zhì)，即無(wú)論鄰居節(jié)點(diǎn)輸入的順序如何， breadth function生成的結(jié)果都是一樣的

具體來(lái)說(shuō)：breadth function 形式：，其中

depth function 形式（很大程度上借鑒了LSTM的信息流控制形式）：

對(duì)于每一個(gè)節(jié)點(diǎn)i來(lái)講，這兩個(gè)步驟的具體表現(xiàn)如下圖所示：

圖中操作代表了。

另一種綜合考慮breadth function和depth function的變體Variant形式

即將depth function的操作推遲，首先僅僅按照breadth function操作對(duì)原始輸入數(shù)據(jù)進(jìn)行T層轉(zhuǎn)換，得到每一層的輸出結(jié)果向量，接下來(lái)將序列輸入到下述變換公式中：

其中

這兩年GNN以及GCN的概念還是非?；鸬模瑐€(gè)人經(jīng)驗(yàn)是，我們?cè)谶\(yùn)用的時(shí)候，網(wǎng)絡(luò)層間的迭代公式使用目前常用的幾種就可以，作為算法工程師的我們唯一需要注意的地方就是：

定義好臨接矩陣AA的形式；

定義好節(jié)點(diǎn)特征狀態(tài)XX的初始形式。

接下來(lái)就可以使用GCN來(lái)直接進(jìn)行節(jié)點(diǎn)的分類，或者提取節(jié)點(diǎn)的全面特征，供后續(xù)的分類所用。

作者有話說(shuō)·

本文主要參考了阿里螞蟻金服團(tuán)隊(duì)的《Heterogeneous Graph Neural Networks for Malicious Account Detection》和《GeniePath: Graph Neural Networks with Adaptive Receptive Paths》，兩篇論文均使用了當(dāng)下最流行的Graph Neural Network 相關(guān)知識(shí)。

隨著GNN技術(shù)應(yīng)用于反欺詐領(lǐng)域，GNN以及相關(guān)變種模型以強(qiáng)大的網(wǎng)絡(luò)拓?fù)浔碚髂芰?，挖掘出具有欺詐社區(qū)屬性的黑產(chǎn)團(tuán)伙，也使得反欺詐挖掘算法邁上了一個(gè)新的臺(tái)階。

原文標(biāo)題：“芯”分享 | GNN在反欺詐領(lǐng)域的落地應(yīng)用

文章出處：【微信公眾號(hào)：芯盾時(shí)代】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。