當Transformer模型發(fā)布時，它徹底革新了機器翻譯領域。雖然最初是為特定任務設計的，但這種革命性的架構顯示出它可以輕松適應不同的任務。隨后成為了Transformer一個標準，甚至用于它最初設計之外的數(shù)據(jù)（如圖像和其他序列數(shù)據(jù)）。

然后人們也開始優(yōu)化和尋找替代方案，主要是為了減少計算成本（自注意力機制的二次方成本）。關于哪種架構在計算成本方面更優(yōu)的討論一直在進行，但是對于Transformer來說，它的成功之處在于模型能夠展示出強大的推理能力。

如何分析神經(jīng)網(wǎng)絡的推理能力？

最常用的方法之一是研究利用架構內(nèi)部表示能執(zhí)行哪些算法。有一個完整的領域致力于這項任務：Neural algorithmic reasoning。Transformer是否能進行泛化，或者通過擴展是否能解決一些問題，這些問題仍然懸而未決，并且這方面的研究也十分活躍。有些人認為Transformer具有普適推理能力，而其他人認為它是引領我們走向人工通用智能的架構（假設我們能夠足夠擴展它），但是目前看Transformer能夠在不同的領域，NLP，時間序列，甚至CV中取得良好的成績但是測試其極限也非常重要。我們不僅需要測試它的極限，還需要與其他架構進行比較，并在未來建立基準。在最近的一項研究中，研究人員決定深入研究一個特定的領域:圖神經(jīng)網(wǎng)絡。今天介紹的這篇論文叫“Understanding Transformer Reasoning Capabilities via Graph Algorithms”

這可能聽起來有些奇怪，但近來Transformer（以及大型語言模型）與圖（Graphs）之間的關系越來越密切。首先，自注意力可以被視為一種圖的形式。其次，圖（尤其是知識圖譜）可以用來擴展Transformer。第三，圖是復雜推理的理想抽象。思維鏈條和其他技術也可以被視為圖的一種抽象。另外許多圖問題可以通過簡單的架構解決，而其他問題則需要復雜的推理和先進的圖神經(jīng)網(wǎng)絡（GNNs）。

圖計算已經(jīng)成為過去幾十年計算和人工智能中幾個成功設計的基礎之一，例如用于蛋白質(zhì)預測的AlphaFold。許多推理任務可以表達為關于圖的推理（這就是為什么像Tree of Thoughts或Graph of Thoughts這樣的技術顯示出成功）。所以這似乎是測試Transformer能力的最佳選擇。盡管有不同的理論前提，但是進行嚴格分析并不容易：圖推理任務可以被歸類到已知的計算類別中。但是當我們想要評估一個神經(jīng)網(wǎng)絡解決這些任務的能力時，情況就不同了。在Transformer的情況下，我們也感興趣的不僅僅是固定深度的情況，還有通過改變層數(shù)從而學習更簡單或更復雜的表征時的變化。并且Transformer也可以在寬度上增長，這在考慮到對上下文長度的重新關注時尤其相關。作者總結了三類任務，它們的難度逐步增加，只能通過越來越復雜的模型來解決：1. 檢索任務。節(jié)點計數(shù)、邊計數(shù)、邊存在檢查和節(jié)點度數(shù)是只需要一次查找的任務，因此只需要一個Transformer層和一個小型嵌入。2. 可并行化任務。連通性、連接節(jié)點和循環(huán)檢查（以及更復雜的任務如二分性和平面性）可以用對數(shù)深度的Transformer解決。3. 搜索任務。最短路徑和其他需要更多推理的任務需要模型的擴展。

論文中進行了幾項理論分析，展示了Transformer如何解決這些任務以及解決這些任務所需的維度要求。另一個有趣的點是，作者還分析了“pause tokens”的影響。

結果在對Transformer的推理能力進行了實證分析后。他們選擇使用從頭開始訓練的模型（最多60M參數(shù)），對預訓練的Transformer（T5，帶11B參數(shù)）進行微調(diào)，測試提示技術，并將其與圖神經(jīng)網(wǎng)絡（GNNs）進行比較。使用GraphQA基準任務進行了實驗。

圖推理算法可以分為局部和全局兩種。前者在局部聚合信息（節(jié)點及其鄰居），而后者模擬節(jié)點之間可能是長距離的全局連接。論文主要專注于全局任務，如評估連通性或計算最短路徑（這些任務需要分析圖的全局結構）。在少數(shù)示例情況下，圖神經(jīng)網(wǎng)絡（GNNs）在這些任務中更為高效，但通過增加示例數(shù)量，Transformer的表現(xiàn)更好（Transformer仍然具有弱歸納偏見，需要許多示例才能最好地學習）。對Transformer進行微調(diào)也對預訓練的Transformer有積極影響。

以前的研究已經(jīng)表明，對于圖神經(jīng)網(wǎng)絡（GNN）來說，以參數(shù)效率的方式解決連通性存在限制。微調(diào)后的模型似乎對連通性和最短路徑都更有效。雖然Transformer在解決全局任務方面更有效，但GNN在分析局部推理的任務中似乎更為高效：

表明GNN對于學習可以通過專門關注局部啟發(fā)式解決的圖推理任務具有有益的歸納偏見。（論文原文翻譯）

在GNN中的消息傳遞框架便于節(jié)點與其鄰居之間的信息傳遞（每增加一層相當于圖中的一次跳躍）。相比之下，注意力機制計算每對標記之間的關系，因此它通過全局任務來促進，但在數(shù)據(jù)量較低的情況下，識別重要的局部關系更為困難。

作者還測試了使用大型語言模型（LLM）的情況，對表現(xiàn)優(yōu)異的Transformer進行微調(diào)優(yōu)于使用提示方法。盡管在訓練過程中，LLM會在語料庫中看到圖數(shù)據(jù)，因此并不是完全沒有接觸過此類數(shù)據(jù)。但這表明在特定任務的情況下專業(yè)的小模型還是要更好，并且微調(diào)要比直接使用提示的方式好。

總結這篇論文詳細展示了Transformer在圖推理方面的能力，并且涵蓋了不同的參數(shù)縮放模式。許多問題可以被重新表述為圖問題，所以這篇論文還是值得閱讀。并且論文還顯示，一些能力的展示需要一定的網(wǎng)絡深度，以便讓Transformer解決問題。例如在需要全局推理的任務中，Transformer超過了圖神經(jīng)網(wǎng)絡（GNN），這得益于自注意力機制，它允許長距離依賴關系被高效評估。這些發(fā)現(xiàn)為使用Transformer處理具有復雜全局依賴性的圖推理任務提供了理論和實證支持。

論文地址：https://arxiv.org/abs/2405.18512
作者：Salvatore Raieli

本文來源：DeepHub IMBA