本文簡要介紹了經(jīng)典圖神經(jīng)網(wǎng)絡(luò)（GNNs）的基準(zhǔn)分析研究，發(fā)表在 NeurIPS 2024。

文章回顧了經(jīng)典 GNNs 模型在節(jié)點(diǎn)分類任務(wù)上的表現(xiàn)，結(jié)果發(fā)現(xiàn)過去 SOTA 圖學(xué)習(xí)模型報(bào)告的性能優(yōu)越性可能是由于經(jīng)典 GNNs 的超參數(shù)配置不佳。通過適當(dāng)?shù)某瑓?shù)調(diào)整，經(jīng)典 GNNs 模型在 18 個(gè)廣泛使用的節(jié)點(diǎn)分類數(shù)據(jù)集中的 17 個(gè)上超越了最新的圖學(xué)習(xí)模型。本研究旨在為 GNNs 的應(yīng)用和評估帶來新的見解。

論文題目：Classic GNNs are Strong Baselines: Reassessing GNNs for Node Classification

論文鏈接：

https://arxiv.org/abs/2406.08993

代碼鏈接：

https://github.com/LUOyk1999/tunedGNN

引言節(jié)點(diǎn)分類是圖機(jī)器學(xué)習(xí)中的一個(gè)基本任務(wù)，在社交網(wǎng)絡(luò)分析、生物信息學(xué)和推薦系統(tǒng)等多個(gè)領(lǐng)域中具有廣泛的高影響力應(yīng)用。圖神經(jīng)網(wǎng)絡(luò)（GNNs）已成為解決節(jié)點(diǎn)分類任務(wù)的強(qiáng)大模型。 GNNs 通過迭代地從節(jié)點(diǎn)的鄰居中聚合信息，這一過程被稱為消息傳遞，利用圖結(jié)構(gòu)和節(jié)點(diǎn)特征來學(xué)習(xí)有用的節(jié)點(diǎn)表示進(jìn)行分類。盡管 GNNs 取得了顯著的成功，但研究指出它們存在一些局限性，包括過度平滑、過度壓縮、對異質(zhì)性缺乏敏感性以及捕獲長距離依賴的挑戰(zhàn)。 最近，Graph Transformer（GTs）作為 GNN 的替代模型受到越來越多的關(guān)注。與主要聚合局部鄰域信息的 GNNs 不同，Transformer 架構(gòu)通過自注意力層可以捕獲任意節(jié)點(diǎn)對之間的交互。GTs 在圖級任務(wù)（如涉及小規(guī)模圖的分子圖分類）上取得了顯著成功。 這一成功激發(fā)了嘗試將 GTs 應(yīng)用于節(jié)點(diǎn)分類任務(wù)的努力，特別是在大規(guī)模圖上，以應(yīng)對 GNNs 的上述局限性。盡管最新的 GTs 取得了令人鼓舞的成果，但觀察到許多此類模型在顯性或隱性層面上仍然依賴于消息傳遞來學(xué)習(xí)局部節(jié)點(diǎn)表示，將其與全局注意力機(jī)制結(jié)合以獲得更全面的表示。 這促使我們重新思考：消息傳遞 GNNs 在節(jié)點(diǎn)分類中的潛力是否被低估了？雖然已有研究在一定程度上解決了這一問題，但這些研究在范圍和全面性上仍存在局限性，例如數(shù)據(jù)集數(shù)量和多樣性有限，以及超參數(shù)的考察不完整。 在本研究中，我們?nèi)嬷匦略u估了 GNNs 在節(jié)點(diǎn)分類中的表現(xiàn)，使用了三種經(jīng)典的 GNNs 模型—— GCN、GAT和 GraphSAGE ——并在 18 個(gè)真實(shí)世界的基準(zhǔn)數(shù)據(jù)集上進(jìn)行了測試，包括同質(zhì)性、異質(zhì)性和大規(guī)模圖。 我們考察了 GNNs 訓(xùn)練中的關(guān)鍵超參數(shù)對其性能的影響，包括 normalization、dropout、residual connections 和 network depth。主要發(fā)現(xiàn)總結(jié)如下：

經(jīng)過適當(dāng)?shù)某瑓?shù)調(diào)整，經(jīng)典 GNNs 在同質(zhì)性和異質(zhì)性圖中的節(jié)點(diǎn)分類任務(wù)中均能取得高度競爭力的性能，甚至在節(jié)點(diǎn)數(shù)量達(dá)百萬量級的大規(guī)模圖上也是如此。值得注意的是，經(jīng)典 GNNs 在 18 個(gè)數(shù)據(jù)集中有 17 個(gè)超越了最先進(jìn)的圖學(xué)習(xí)模型，表明 GTs 對比 GNNs 所宣稱的優(yōu)勢可能是由于在 GNNs 評估中超參數(shù)配置不佳

我們的消融研究對 GNNs 節(jié)點(diǎn)分類中的超參數(shù)提供了見解。我們驗(yàn)證了：

Normalization 對于大規(guī)模圖至關(guān)重要

Dropout 一致地表現(xiàn)出積極影響

Residual connections 在異質(zhì)性圖上可以顯著增強(qiáng)性能

在異質(zhì)性圖上，較深的層數(shù)可能更適合 GNNs

方法介紹

2.1 數(shù)據(jù)集概述

同質(zhì)性圖：Cora、CiteSeer 和 PubMed 是三種常用的引用網(wǎng)絡(luò)[1]。我們遵循傳統(tǒng)的半監(jiān)督設(shè)定[2]來劃分?jǐn)?shù)據(jù)集。此外，Computer 和 Photo 是公共購買網(wǎng)絡(luò)[3]，CS 和 Physics是公共作者網(wǎng)絡(luò)[3]，我們采用訓(xùn)練/驗(yàn)證/測試劃分為 60%/20%/20% 的標(biāo)準(zhǔn)[4]。我們還使用了 Wiki-CS [5]，該數(shù)據(jù)集是由計(jì)算機(jī)科學(xué)論文組成的引用網(wǎng)絡(luò)，我們使用[5]的劃分。

異質(zhì)性圖：Squirrel 和 Chameleon 是兩個(gè) Wikipedia 特定主題的頁面網(wǎng)絡(luò)[6]。我們采用異質(zhì)圖基準(zhǔn)測試[7]中的新的數(shù)據(jù)集劃分。此外，我們還使用 Roman-Empire、Amazon-Ratings、Minesweeper 和 Questions 四個(gè)異質(zhì)性數(shù)據(jù)集[7]，這些數(shù)據(jù)集的劃分和評估指標(biāo)遵循其來源[7]的標(biāo)準(zhǔn)。大規(guī)模圖：我們使用了由 Open Graph Benchmark（OGB）[8]發(fā)布的多個(gè)大規(guī)模圖，包括 ogbn-arxiv、ogbn-proteins 和 ogbn-products，節(jié)點(diǎn)數(shù)量從 0.16M 到 2.4M 不等。此外，我們還分析了社交網(wǎng)絡(luò) pokec [9]的性能表現(xiàn)。

2.2 超參數(shù)設(shè)置

我們的重點(diǎn)在于經(jīng)典 GNNs 模型（GCN、GraphSAGE、GAT）與最先進(jìn)的圖學(xué)習(xí)模型的比較。我們對經(jīng)典 GNNs 進(jìn)行了超參數(shù)調(diào)整，并與 Polynormer [4] 的超參數(shù)搜索空間保持一致。同時(shí)，所有基準(zhǔn)baselines也在相同的超參數(shù)搜索空間和訓(xùn)練環(huán)境下重新訓(xùn)練。

2.3 關(guān)鍵超參數(shù)在本節(jié)中，我們概述了 GNNs 訓(xùn)練中的關(guān)鍵超參數(shù)，包括 normalization、dropout、residual connections 和 network depth。這些超參數(shù)在不同類型的神經(jīng)網(wǎng)絡(luò)中被廣泛應(yīng)用，以提升模型性能：

Normalization：在每一層激活函數(shù)之前使用 layer normalization（LN）或 batch normalization（BN），可以減少協(xié)變量偏移，穩(wěn)定訓(xùn)練過程并加速收斂。

Dropout：在激活函數(shù)之后對特征嵌入使用 dropout 來減少隱藏神經(jīng)元間的共適應(yīng)，有助于降低 GNNs 中消息傳遞的共適應(yīng)效應(yīng)。

Residual Connections：通過在層之間引入 residual connections，可以緩解梯度消失問題，增強(qiáng) GNNs 的表現(xiàn)力。

Network Depth：盡管深層網(wǎng)絡(luò)能夠提取更復(fù)雜的特征，但 GNNs 在深度上面臨獨(dú)特挑戰(zhàn)，如過度平滑等。因此，大多數(shù) GNNs 采用較淺的結(jié)構(gòu)，通常包含 2 到 5 層。然而，我們的實(shí)驗(yàn)發(fā)現(xiàn)如果搭配上 residual connections，GNNs 可以拓深至 10 層的網(wǎng)絡(luò)。

實(shí)驗(yàn)結(jié)果

3.1 主要發(fā)現(xiàn)

關(guān)于同質(zhì)性圖的觀察：經(jīng)典 GNNs 在同質(zhì)性圖的節(jié)點(diǎn)分類任務(wù)中，僅需對超參數(shù)進(jìn)行輕微調(diào)整，便能夠具備很強(qiáng)的競爭力，且在很多情況下優(yōu)于最先進(jìn)的 GTs。

關(guān)于異質(zhì)性圖的觀察：我們的參數(shù)調(diào)整顯著提高了經(jīng)典 GNNs 在異質(zhì)性圖上的先前最佳結(jié)果，超越了為此類圖專門設(shè)計(jì)的專用 GNNs 模型，甚至超過了 SOTA GTs 架構(gòu)。這一進(jìn)展不僅支持了[7]中的發(fā)現(xiàn)，還進(jìn)一步強(qiáng)化了其結(jié)論，即經(jīng)典 GNNs 在異質(zhì)性圖上也是強(qiáng)有力的競爭者，挑戰(zhàn)了它們主要適用于同質(zhì)性圖結(jié)構(gòu)的普遍假設(shè)。

關(guān)于大規(guī)模圖的觀察：我們的參數(shù)調(diào)整顯著提升了經(jīng)典 GNNs 的先前結(jié)果，在某些情況下準(zhǔn)確率提升達(dá)到了兩位數(shù)。它們在這些大規(guī)模圖數(shù)據(jù)集（無論是同質(zhì)性還是異質(zhì)性）中取得了最佳結(jié)果，甚至超過了最先進(jìn)的 GTs。這表明消息傳遞在大規(guī)模圖上學(xué)習(xí)節(jié)點(diǎn)表示仍然非常有效。

3.2 消融分析

消融觀察 1：Normalization 在大規(guī)模圖的節(jié)點(diǎn)分類中非常重要，但在小規(guī)模圖中則不太顯著。

消融觀察 2：Dropout 對于節(jié)點(diǎn)分類始終是必要的。

消融觀察 3：Residual Connections 能夠顯著提升某些數(shù)據(jù)集上的性能，且在異質(zhì)性圖上的效果比同質(zhì)性圖上更為顯著。 消融觀察 4：更深的網(wǎng)絡(luò)通常在異質(zhì)性圖上帶來更大的性能提升，相較于同質(zhì)性圖表現(xiàn)更為明顯。

總結(jié)我們的研究對經(jīng)典 GNNs 模型在節(jié)點(diǎn)分類任務(wù)中的有效性進(jìn)行了全面的重新評估。通過廣泛的實(shí)證分析，我們驗(yàn)證了這些經(jīng)典 GNNs 模型能夠在各種圖數(shù)據(jù)集上達(dá)到甚至超越最先進(jìn)圖學(xué)習(xí)模型的性能。

此外，我們的全面消融研究提供了關(guān)于不同 GNNs 超參數(shù)如何影響性能的見解。我們希望我們的研究結(jié)果為 GNNs 的應(yīng)用和評估帶來新的見解。