引言

本文介紹了復(fù)旦大學(xué)數(shù)據(jù)智能與社會(huì)計(jì)算實(shí)驗(yàn)室（Fudan DISC）在Findings of ACL 2021上錄用的一篇關(guān)于論辯挖掘的工作：Leveraging Argumentation Knowledge Graph for Interactive Argument Pair Identification，通過構(gòu)建論辯領(lǐng)域的知識(shí)圖譜并融合其中的相關(guān)知識(shí)，提升互動(dòng)論點(diǎn)對(duì)識(shí)別任務(wù)的準(zhǔn)確性。

互動(dòng)論點(diǎn)對(duì)識(shí)別（Interactive Argument Pair Interaction）是對(duì)話式論辯挖掘研究領(lǐng)域中的一個(gè)核心任務(wù)。現(xiàn)有對(duì)于互動(dòng)論點(diǎn)對(duì)識(shí)別的研究將其視為句子匹配問題，并且在很大程度上依賴于文本信息來計(jì)算文本相似性。然而，論點(diǎn)之間的互動(dòng)通常會(huì)涉及論題的背景知識(shí)，并需要知識(shí)概念之間的推理，這超出了文本相似度層面的信息。

在本文中，我們提出利用外部知識(shí)來增強(qiáng)交互式論點(diǎn)對(duì)的識(shí)別。我們從在線論壇中不同主題的討論語(yǔ)料中構(gòu)建論辯知識(shí)圖譜。在此基礎(chǔ)上，被引用論點(diǎn)和回復(fù)論點(diǎn)之間的交互便可被表示為知識(shí)圖譜中的推理路徑。在實(shí)際中，我們利用圖卷積網(wǎng)絡(luò) （GCN） 來學(xué)習(xí)知識(shí)圖中的概念實(shí)體表示，并使用基于 Transformer 的編碼器來學(xué)習(xí)推理路徑的表示。

最后，采用信息對(duì)齊網(wǎng)絡(luò)來捕獲概念信息（實(shí)體級(jí)和路徑級(jí)）和文本信息的交互。實(shí)驗(yàn)結(jié)果表明，我們的模型在基準(zhǔn)數(shù)據(jù)集中達(dá)到了最先進(jìn)的性能。進(jìn)一步的實(shí)驗(yàn)分析證明了我們模型通過知識(shí)圖譜中的概念路徑來執(zhí)行知識(shí)推理的合理性及有效性。

研究背景

論辯挖掘旨在分析論辯性文本中的語(yǔ)義和邏輯結(jié)構(gòu)。目前論辯挖掘的研究方向大致可以分為單篇式論辯（Monological Argumentation）以及對(duì)話式論辯（Dialogical Argumentation）。

二者的主要區(qū)別在于，單篇式論辯的研究對(duì)象通常為單篇式的論辯場(chǎng)景，如學(xué)生議論文、公開演講等一整篇論辯性文章或一段論辯文本，相關(guān)的任務(wù)包括論辯部件預(yù)測(cè)、說服力評(píng)估和論辯總結(jié)等；而對(duì)話式論辯的研究對(duì)象通常為辯論賽或者在線論壇場(chǎng)景下，由持有不同觀點(diǎn)的多方參與者之間的互動(dòng)所產(chǎn)生的文本，相關(guān)任務(wù)包含互動(dòng)論點(diǎn)對(duì)識(shí)別、抽取等。

現(xiàn)有對(duì)于互動(dòng)論點(diǎn)對(duì)識(shí)別的研究將其視為句子匹配問題，并且在很大程度上依賴于文本信息來計(jì)算文本相似性。雖然相關(guān)深度學(xué)習(xí)模型取得了一定的判別效果，但對(duì)于互動(dòng)論點(diǎn)對(duì)中真正具有互動(dòng)關(guān)系的概念實(shí)體的利用程度仍有不足，也就是說該任務(wù)需要超出文本相似度的知識(shí)信息。

兩條現(xiàn)有模型無法正確識(shí)別的互動(dòng)論點(diǎn)對(duì)示例。在第一個(gè)例子中，兩句論點(diǎn)之間的聯(lián)系由“president”和“Obama”以及“John Boehner”和“speaker of the house”所構(gòu)建，這屬于自然語(yǔ)言中常見的常識(shí)類知識(shí)；而在第二個(gè)例子中，兩句論點(diǎn)之間的聯(lián)系則需要通過“global warming”導(dǎo)致“sea level”提高來體現(xiàn)，這段推理過程中所出現(xiàn)的關(guān)系為論辯領(lǐng)域中所特有的因果聯(lián)系。

因此，我們希望在互動(dòng)論點(diǎn)對(duì)識(shí)別的任務(wù)中融入上述兩類知識(shí)，來提升該任務(wù)上模型的效果，并提供更直接的可解釋性。具體做法上，本文構(gòu)建了論辯領(lǐng)域的知識(shí)圖譜，并以圖譜中推理路徑的方式來融合相關(guān)知識(shí)。在模型層面，本文通過使用圖卷積網(wǎng)絡(luò)（GCN）編碼相關(guān)實(shí)體，并使用Transformer編碼器編碼相關(guān)推理路徑，再將這兩個(gè)級(jí)別的概念編碼與文本編碼進(jìn)行信息對(duì)齊，從而完成對(duì)于互動(dòng)論點(diǎn)對(duì)識(shí)別任務(wù)的增強(qiáng)。

圖譜構(gòu)建

原始圖譜構(gòu)建

本文在Tan等人所構(gòu)建的CMV文本數(shù)據(jù)集的基礎(chǔ)上，采用OpenIE來抽取出其中的（實(shí)體、關(guān)系、實(shí)體）三元組，將所有的實(shí)體作為節(jié)點(diǎn)，所有的關(guān)系作為邊，得到了原始的知識(shí)圖譜。該階段中加入的知識(shí)對(duì)應(yīng)于研究背景中提到的第二類知識(shí)——因果聯(lián)系。該階段的圖譜統(tǒng)計(jì)信息如下圖所示。

概念對(duì)齊

為了進(jìn)一步提升我們所構(gòu)建的圖譜質(zhì)量，同時(shí)也為了加入研究背景中所提到的第一類常識(shí)知識(shí)，本文在得到上述原始圖譜后，進(jìn)行了概念對(duì)齊操作。對(duì)于兩個(gè)知識(shí)圖譜中的實(shí)體，如果它們?cè)赪iikipedia中的搜索結(jié)果相同，則將它們之間加入”等價(jià)“的實(shí)體關(guān)系。概念對(duì)齊后的知識(shí)圖譜相關(guān)統(tǒng)計(jì)信息如下圖所示。結(jié)果顯示概念對(duì)齊后，圖譜的連通性明顯增加，稀疏性的問題得到了一定程度上的解決。

方法描述

本文提出了將論辯圖譜知識(shí)融入互動(dòng)論點(diǎn)對(duì)識(shí)別任務(wù)的模型框架。該框架主要包含三個(gè)模塊，文本編碼器、概念編碼器以及信息對(duì)齊網(wǎng)絡(luò)。

論點(diǎn)對(duì)文本信息建模

給定一對(duì)候選引用-回復(fù)論點(diǎn)對(duì)，我們將其拼接后通入BERT句子對(duì)分類模型，取出其中的［CLS］符號(hào)的表示即可得到論點(diǎn)對(duì)的文本層面表示。

論點(diǎn)對(duì)概念信息建模

給定一對(duì)候選引用-回復(fù)論點(diǎn)對(duì)的上下文，我們抽取出其中所包含的概念實(shí)體，接下來從實(shí)體和路徑兩個(gè)層面進(jìn)行概念信息建模。

2.1 實(shí)體級(jí)別

我們采用平均池化的BERT詞向量得到每個(gè)節(jié)點(diǎn)的初始化表示，接著使用二層GCN網(wǎng)絡(luò)來對(duì)每個(gè)節(jié)點(diǎn)信息進(jìn)行匯總?cè)诤?，從而得到了每個(gè)提及的實(shí)體的概念表示。

2.2 路徑級(jí)別

在本文中，推理路徑定義為論辯雙方所提到的概念實(shí)體對(duì)之間在知識(shí)圖譜中經(jīng)過遍歷而順次連接得到的序列。在得到上述實(shí)體的表示后，我們從圖譜中枚舉出雙方所有的概念實(shí)體對(duì)之間的最短路徑，再經(jīng)過Transformer編碼器來對(duì)其進(jìn)行編碼表示，進(jìn)而得到了每條推理路徑的表示

信息對(duì)齊網(wǎng)絡(luò)

得到基于每個(gè)實(shí)體以及每條路徑的概念表示之后，我們構(gòu)建了信息對(duì)齊網(wǎng)絡(luò)來將不同的實(shí)體以及路徑匯總得到概念層面的總表示。具體來說，我們利用文本信息表示來對(duì)所有的推理路徑進(jìn)行注意力池化匯總得到推理路徑的總表示，在利用推理路徑總表示來對(duì)所有的實(shí)體進(jìn)行注意力池化匯總得到概念實(shí)體的總表示。

在得到以上文本和概念層面的總表示后，我們將這些維度的特征拼接并通過一個(gè)線性層，來預(yù)測(cè)當(dāng)前候選論點(diǎn)對(duì)成為互動(dòng)論點(diǎn)對(duì)的匹配分?jǐn)?shù)，從而得到最終的判別結(jié)果。

實(shí)驗(yàn)

互動(dòng)論點(diǎn)對(duì)識(shí)別性能

下表展示了在互動(dòng)論點(diǎn)對(duì)識(shí)別數(shù)據(jù)集上的各模型性能。實(shí)驗(yàn)結(jié)果顯示本文提出的模型在P@1和MRR指標(biāo)上均優(yōu)于已有模型，一方面體現(xiàn)在文本信息建模方面，預(yù)訓(xùn)練模型BERT的性能超過了之前最先進(jìn)的DVAE模型；另一方面體現(xiàn)在上下文信息建模方面，通過融入論辯圖譜對(duì)于論點(diǎn)概念的編碼表示的組件超過了之前的層次化CNN上下文建模給模型所帶來的提升。

消融實(shí)驗(yàn)

下表展示了本文所提模型的消融實(shí)驗(yàn)，從結(jié)果中可以發(fā)現(xiàn)三個(gè)主要模塊中對(duì)模型性能影響最大的是文本信息編碼；在概念編碼中對(duì)于模型性能提升最明顯的是路徑編碼器。

進(jìn)一步分析

本文對(duì)于得到的知識(shí)圖譜中推理路徑進(jìn)行了進(jìn)一步探究，主要分為四個(gè)子實(shí)驗(yàn)：

（a）概念對(duì)連通性：實(shí)驗(yàn)顯示對(duì)于存在互動(dòng)關(guān)系的正確論點(diǎn)對(duì)以及不存在互動(dòng)關(guān)系的負(fù)樣本，雙方概念中存在推理路徑（即聯(lián)通）的實(shí)體對(duì)分別占54%和41%，即連通性對(duì)于判斷是否存在互動(dòng)關(guān)系有一定判別作用；

（b）推理路徑長(zhǎng)度分布：實(shí)驗(yàn)顯示在正確論點(diǎn)對(duì)中的推理路徑平均長(zhǎng)度會(huì)略低于負(fù)樣本中的推理路徑，即更長(zhǎng)的推理路徑傾向于出現(xiàn)在無關(guān)的論點(diǎn)對(duì)中；

（c）推理路徑中的關(guān)系分布：我們通過統(tǒng)計(jì)出現(xiàn)在所有推理路徑中的關(guān)系，并應(yīng)用一些詞典資源（如+/-EffectWordnet/Connotation Frames等）對(duì)關(guān)系進(jìn)行分類，結(jié)果顯示在所有推理路徑中，常識(shí)知識(shí)的關(guān)系和因果知識(shí)的關(guān)系占比非常接近，各占了所有關(guān)系的40%左右；

（d）路徑長(zhǎng)度截?cái)啵罕疚耐ㄟ^對(duì)路徑長(zhǎng)度做限制，去掉超過限制長(zhǎng)度的推理路徑并重復(fù)實(shí)驗(yàn)，結(jié)果顯示對(duì)于互動(dòng)論點(diǎn)對(duì)識(shí)別的任務(wù)，當(dāng)推理路徑的長(zhǎng)度限制設(shè)置在4的時(shí)候達(dá)到最好效果，經(jīng)分析這可能是推理路徑數(shù)量（路徑長(zhǎng)度越大路徑數(shù)越多）和推理路徑質(zhì)量（路徑長(zhǎng)度越小越有可能為正樣本中的路徑）之間的權(quán)衡。

總結(jié)

本文提出了一個(gè)模擬人類辯論推理過程的模型框架。具體實(shí)踐中，我們首先從在線辯論論壇ChangeMyView出發(fā)，利用OpenIE工具、詞典資源和Wikipedia相關(guān)API進(jìn)行概念對(duì)齊，構(gòu)建了一個(gè)對(duì)話式辯論領(lǐng)域的知識(shí)圖譜。

接著利用基于路徑的圖模型對(duì)辯論雙方的概念對(duì)之間的推理路徑進(jìn)行編碼，并將概念信息與預(yù)先訓(xùn)練好的語(yǔ)言模型BERT獲得的語(yǔ)義信息進(jìn)行對(duì)齊。在互動(dòng)論點(diǎn)對(duì)識(shí)別任務(wù)上的實(shí)驗(yàn)表明該模型能夠有效、透明地利用外部知識(shí)，進(jìn)一步關(guān)于推理路徑的實(shí)驗(yàn)也顯示出基于我們構(gòu)建的知識(shí)圖譜所生成的推理路徑具有較高的質(zhì)量。

編輯：jq