一、簡(jiǎn)介

1. 什么是問(wèn)答？

問(wèn)答 （Question Answering） 是自然語(yǔ)言處理 （Natural Language Processing） 的一個(gè)重要研究領(lǐng)域。在該領(lǐng)域中，研究者們旨在構(gòu)建出這樣一種系統(tǒng)：它可以針對(duì)人類(lèi)以「自然語(yǔ)言形式」提出的問(wèn)題自動(dòng)地給出答案。

問(wèn)答這一領(lǐng)域的研究成果已經(jīng)早已普及我們每個(gè)人的生活。例如，當(dāng)你清晨起床詢問(wèn)你的智能語(yǔ)音助手 “今天天氣怎么樣”時(shí)，你會(huì)得到類(lèi)似這樣的回答：“今天是晴天，溫度 15-22 攝氏度”。

與傳統(tǒng)的信息檢索以及數(shù)據(jù)庫(kù)檢索不同的是，問(wèn)答這一領(lǐng)域旨在研究那些以「自然語(yǔ)言形式」給出的問(wèn)題，而非結(jié)構(gòu)化的查詢語(yǔ)言，這更符合日常生活中的應(yīng)用場(chǎng)景。但自然語(yǔ)言的模糊性也為問(wèn)題的準(zhǔn)確理解帶來(lái)了很大困難。

同時(shí)，問(wèn)答的數(shù)據(jù)源可能是多種多樣的。在不同的場(chǎng)景下，結(jié)構(gòu)化的知識(shí)圖譜以及無(wú)結(jié)構(gòu)的文本均有可能是潛在的數(shù)據(jù)源。因此，針對(duì)不同的數(shù)據(jù)源研究相應(yīng)的推理算法也是當(dāng)前問(wèn)答領(lǐng)域的熱門(mén)方向之一。

因此，總結(jié)一下，構(gòu)建一個(gè)高質(zhì)量問(wèn)答系統(tǒng)的關(guān)鍵點(diǎn)在于：

準(zhǔn)確的問(wèn)題理解技術(shù)

針對(duì)不同的數(shù)據(jù)源設(shè)計(jì)合適的推理算法

本文將重點(diǎn)針對(duì)以「知識(shí)圖譜」為主要數(shù)據(jù)源的問(wèn)答場(chǎng)景（知識(shí)圖譜問(wèn)答）進(jìn)行介紹。首先，我們回顧一下知識(shí)圖譜的相關(guān)概念與定義。

2. 什么是知識(shí)圖譜 ？

知識(shí)圖譜 （Knowledge Graph） 是一種以「多關(guān)系有向圖」形式存儲(chǔ)人類(lèi)「知識(shí)」的數(shù)據(jù)結(jié)構(gòu)。知識(shí)圖譜中的每個(gè)節(jié)點(diǎn)表示一個(gè)實(shí)體，兩個(gè)節(jié)點(diǎn)之間的有向邊表示它們之間的關(guān)系。例如，《姚明》 是一個(gè)實(shí)體，《上?！?也是一個(gè)實(shí)體，它們之間的關(guān)系是 《出生于》。這樣的一個(gè)三元組 《姚明，出生于，上?！?表示一個(gè)事實(shí) （Fact）。

同樣作為問(wèn)答的數(shù)據(jù)源，與無(wú)結(jié)構(gòu)的文本數(shù)據(jù)相比，結(jié)構(gòu)化的知識(shí)圖譜以一種更加清晰、準(zhǔn)確的方式表示人類(lèi)知識(shí)，從而為高質(zhì)量的問(wèn)答系統(tǒng)的構(gòu)建帶來(lái)了前所未有的發(fā)展機(jī)遇。

3. 什么是知識(shí)圖譜問(wèn)答？

知識(shí)圖譜問(wèn)答 （Question Answering over Knowledge Graphs），顧名思義，指的是使用知識(shí)圖譜作為主要數(shù)據(jù)源的問(wèn)答場(chǎng)景。對(duì)于給定的問(wèn)題，我們基于知識(shí)圖譜進(jìn)行推理從而得到答案。這一技術(shù)已經(jīng)被業(yè)界廣泛地使用于相關(guān)智能搜索與推薦業(yè)務(wù)中，其中最著名的當(dāng)屬谷歌的搜索引擎業(yè)務(wù)。

例如，對(duì)于這樣一個(gè)比較簡(jiǎn)單的問(wèn)題 “姚明的出生地是哪里？”，谷歌通過(guò)知識(shí)圖譜中 《姚明，出生于，上?！?這個(gè)三元組得到答案是 《上?！?這一實(shí)體。

圖 1：谷歌搜索引擎基于知識(shí)圖譜對(duì)于簡(jiǎn)單問(wèn)題的回答

對(duì)于更加復(fù)雜的一些問(wèn)題，如 “成龍的父親的出生地是哪里？”，谷歌依然可以通過(guò)知識(shí)圖譜中的多個(gè)三元組 《成龍，父親，房道龍 （Charles Chan）》，《房道龍，出生地，和縣》 得到答案是實(shí)體 《和縣》。

圖 2：谷歌搜索引擎基于知識(shí)圖譜對(duì)于復(fù)雜問(wèn)題的回答

接下來(lái)，為了更好地介紹知識(shí)圖譜問(wèn)答領(lǐng)域的發(fā)展，我們需要先明確幾個(gè)基本概念：

「主題實(shí)體」：主題實(shí)體指的是出現(xiàn)在問(wèn)題中的實(shí)體。例如，對(duì)于問(wèn)題 “姚明的出生地是哪里？”，我們通過(guò) “姚明” 這一字符串判斷主題實(shí)體是 《姚明》 ，它也是后續(xù)推理流程中的推理起點(diǎn)。理論上一個(gè)問(wèn)題中的主題實(shí)體不限個(gè)數(shù)，但在后面介紹的知識(shí)圖譜多跳問(wèn)答領(lǐng)域中，一般假設(shè)一個(gè)問(wèn)題中只存在一個(gè)主題實(shí)體。

「答案實(shí)體」：理論上問(wèn)題的答案未必是一個(gè)實(shí)體，例如 ”中國(guó)在北京奧運(yùn)會(huì)獲得的金牌有多少枚？“ 的答案是一個(gè)數(shù)字。但在后面介紹的知識(shí)圖譜多跳問(wèn)答領(lǐng)域中，一般假設(shè)問(wèn)題的答案是知識(shí)圖譜中的一個(gè)實(shí)體，即答案實(shí)體。

二、知識(shí)圖譜問(wèn)答的發(fā)展簡(jiǎn)史

接下來(lái)，本文將從兩個(gè)維度簡(jiǎn)要介紹知識(shí)圖譜問(wèn)答的發(fā)展歷史。

一方面，按照所研究的問(wèn)題 （Question） 的難易程度，知識(shí)圖譜問(wèn)答領(lǐng)域的發(fā)展可分為兩個(gè)階段：早期的 「Simple QA」 以及當(dāng)前主流的 「Complex QA」。

另一方面，按照建模方式的不同，知識(shí)圖譜問(wèn)答領(lǐng)域的工作可分為兩個(gè)流派：「語(yǔ)義解析」 （Semantic Parsing） 與 「信息檢索」 （Information Retrieval）。

1. 問(wèn)題難度：Simple QA & Complex QA

（1）。 Simple QA在知識(shí)圖譜問(wèn)答領(lǐng)域發(fā)展的早期，研究者們主要針對(duì) Simple QA 這種較為簡(jiǎn)單的場(chǎng)景開(kāi)展研究 ［1， 2， 3］。Simple QA 研究的是那些「可以使用單個(gè)三元組推理出答案」的問(wèn)題，這些問(wèn)題也被稱為 Simple Questions 。

例如，對(duì)于 “姚明的出生地是哪里？” 這一問(wèn)題，我們可以通過(guò)知識(shí)圖譜中的單個(gè)三元組 《姚明，出生于，上海》 得到答案是 《上海》 這個(gè)實(shí)體。

（2）。 Complex QA經(jīng)過(guò)一段時(shí)間的研究，Simple QA 場(chǎng)景中已經(jīng)發(fā)展出了許多成熟且實(shí)用的方法。因此，研究者們轉(zhuǎn)而研究更為復(fù)雜的問(wèn)題 （Complex Questions）。這些問(wèn)題更契合實(shí)際應(yīng)用中的復(fù)雜場(chǎng)景，而這一研究方向也被稱為 Complex QA ［4， 5］。

簡(jiǎn)單地說(shuō)，Complex Questions 是 Simple Questions 的補(bǔ)集，即「無(wú)法使用單個(gè)三元組」回答的問(wèn)題。在實(shí)際的研究中，研究者們主要關(guān)注以下類(lèi)型的問(wèn)題：

「帶約束的問(wèn)題」：例如：”誰(shuí)是第一屆溫網(wǎng)男單冠軍？“。該問(wèn)題中的 “第一屆” 表示一種對(duì)答案實(shí)體的約束。

「多跳問(wèn)題」：例如：”成龍主演電影的導(dǎo)演是哪些人？“。該問(wèn)題需要使用多個(gè)三元組所形成的多跳推理路徑才能夠回答。例如：通過(guò)這些三元組 《成龍，主演，新警察故事》， 《新警察故事，導(dǎo)演，陳木勝》，我們推理出 《陳木勝》 是一個(gè)正確答案。

本文之后將主要結(jié)合多跳問(wèn)題這一研究場(chǎng)景（知識(shí)圖譜多跳問(wèn)答）進(jìn)行詳細(xì)介紹。

2. 建模方式：Semantic Parsing & Information Retrieval

（1）。 Semantic Parsing語(yǔ)義解析 （Semantic Parsing） 類(lèi)方法旨在將問(wèn)題解析為可執(zhí)行的圖數(shù)據(jù)庫(kù)「查詢語(yǔ)句」 （如 SPARQL），然后通過(guò)執(zhí)行該語(yǔ)句找到答案。

對(duì)于 Simple Questions，語(yǔ)義解析類(lèi)方法旨在將問(wèn)題解析為一個(gè)頭實(shí)體 與一個(gè)關(guān)系 ，即 （h， r， ？） 的形式。例如，對(duì)于 “姚明的出生地是哪里？” 這一問(wèn)題，可以解析出頭實(shí)體 《姚明》 與關(guān)系 《出生地》，并得到偽查詢語(yǔ)句 《姚明，出生地，？》。隨后通過(guò)執(zhí)行該查詢語(yǔ)句得到答案 《上?！贰?/p>

對(duì)于 Complex Questions，語(yǔ)義解析類(lèi)方法將它們解析為一種 查詢圖 （Query Graph） ［4］。例如，對(duì)于 ”成龍第一部主演的電影的導(dǎo)演是誰(shuí)？“ 這一復(fù)雜問(wèn)題，我們可以將其解析為以下查詢圖。

圖 3：語(yǔ)義解析類(lèi)方法示意圖

當(dāng)我們執(zhí)行這張查詢圖所表示的查詢語(yǔ)句時(shí)，我們首先找到成龍主演的所有電影 ，再通過(guò) argmin 這一約束從中篩選出上映時(shí)間最早的電影。對(duì)于這部篩選出來(lái)的電影，我們進(jìn)一步查詢出它的導(dǎo)演是 ，并作為答案返回。

（2）。 Information Retrieval信息檢索 （Information Retrieval） 類(lèi)方法 ［5］ 旨在從問(wèn)題與候選答案中提取出它們的特征，并基于這些特征設(shè)計(jì)相應(yīng)的打分函數(shù)以衡量 ”問(wèn)題-候選答案“ 的語(yǔ)義相關(guān)性，最終得分最高的候選答案被作為預(yù)測(cè)答案輸出。下圖給出了信息檢索類(lèi)模型的處理流程。

圖 4：信息檢索類(lèi)方法示意圖

三、知識(shí)圖譜多跳問(wèn)答

本節(jié)將結(jié)合一些重點(diǎn)工作對(duì) 「知識(shí)圖譜多跳問(wèn)答」 這一方向進(jìn)行介紹。從問(wèn)題的難易程度這一視角來(lái)看，多跳問(wèn)答屬于 Complex QA 這一領(lǐng)域；從模型的流派這一視角來(lái)看，多跳問(wèn)答這一方向中的模型的主流是信息檢索這一流派，因此我們接下來(lái)也將重點(diǎn)結(jié)合這一流派進(jìn)行介紹。

通俗來(lái)說(shuō)，多跳問(wèn)題 （Multi-hop Questions） 指的是那些需要知識(shí)圖譜 「多跳推理」 才能回答的問(wèn)題。例如，若要回答 ”成龍主演電影的導(dǎo)演是哪些人？“ 這一問(wèn)題，則需要多個(gè)三元組所形成的多跳推理路徑 《成龍，主演，新警察故事》， 《新警察故事，導(dǎo)演，陳木勝》 才能夠回答。

這種類(lèi)型的問(wèn)題在實(shí)際應(yīng)用中十分普遍，但想要構(gòu)建出一個(gè)高準(zhǔn)確率的知識(shí)圖譜多跳問(wèn)答系統(tǒng)卻并非易事。下圖展示了一個(gè)谷歌搜索中的 Bad Case。

我們嘗試在谷歌搜索中輸入以下問(wèn)題 ”姚明的妻子的父親的出生地是哪里？“。對(duì)于該問(wèn)題，正確的推理路徑為 妻子父親出生地。但是，谷歌卻錯(cuò)誤地將問(wèn)題解析成了以下推理路徑 父親妻子出生地。由于姚明的母親（父親的妻子）是方鳳娣 （Fang Fengdi），谷歌將她的出生地作為答案返回。由此可見(jiàn)，知識(shí)圖譜多跳問(wèn)答是一個(gè)極具挑戰(zhàn)性的任務(wù)。

圖 5：谷歌搜索引擎對(duì)于復(fù)雜問(wèn)題的錯(cuò)誤回答案例

接下來(lái)，我們將結(jié)合近年的幾個(gè)重要工作對(duì)知識(shí)圖譜多跳問(wèn)答這一領(lǐng)域的發(fā)展進(jìn)行介紹。在開(kāi)篇的簡(jiǎn)介中，我們提到高質(zhì)量問(wèn)答系統(tǒng)的構(gòu)建包含兩個(gè)關(guān)鍵點(diǎn)：?jiǎn)栴}理解與推理算法。知識(shí)圖譜多跳問(wèn)答也不例外。接下來(lái)要介紹的幾篇工作也正是圍繞這兩個(gè)關(guān)鍵點(diǎn)展開(kāi)。

（1）。 VRN：端到端的問(wèn)題理解

知識(shí)圖譜問(wèn)答中，問(wèn)題理解的首要目標(biāo)就是識(shí)別問(wèn)題中的主題實(shí)體 （Topic Entity）。在之前的例子中，如 “姚明的出生地是哪里？”，我們通過(guò) “姚明” 這一字符串判斷主題實(shí)體是 《姚明》 ，它也是后續(xù)推理流程中的推理起點(diǎn)。

之前的一些工作 ［6］ 通過(guò)文本匹配的方式來(lái)識(shí)別主題實(shí)體，但在實(shí)際應(yīng)用場(chǎng)景中這種方式易受噪聲（自然語(yǔ)言的模糊性和錯(cuò)別字）影響。在這些情況下，如果我們將知識(shí)圖譜問(wèn)答分為主題實(shí)體識(shí)別與知識(shí)推理這兩個(gè)獨(dú)立的階段，那么在主題實(shí)體識(shí)別這一階段產(chǎn)生的錯(cuò)誤往往會(huì)傳遞到知識(shí)推理這一階段，從而對(duì)最終預(yù)測(cè)結(jié)果產(chǎn)生嚴(yán)重的影響。

為了解決這一問(wèn)題，VRN ［5］ 提出了一個(gè)端到端 （end-to-end） 的框架。它將主題實(shí)體識(shí)別與知識(shí)推理這兩個(gè)模塊以端到端的方式融合起來(lái)，從而訓(xùn)練過(guò)程中的 loss 會(huì)直接反饋到主題實(shí)體識(shí)別模塊，有助于更準(zhǔn)確地在噪聲環(huán)境中識(shí)別出正確的主題實(shí)體。

為了實(shí)現(xiàn) ”端到端“ 這一目標(biāo)，VRN 進(jìn)行了以下概率建模。對(duì)于給定的問(wèn)題 ，它的正確答案是實(shí)體 的概率表示為 。問(wèn)題 中的主題實(shí)體是實(shí)體 的概率表示為 。給定主題實(shí)體是 的情況下，問(wèn)題 的答案是 的概率表示為。從而得到，

其中 表示的是實(shí)體識(shí)別這一流程， 表示的是知識(shí)推理這一流程。本質(zhì)上，VRN 是將主題實(shí)體 建模為隱變量，然后以全概率公式的形式表示 。

接下來(lái)介紹的三個(gè)工作主要圍繞推理算法進(jìn)行研究。更具體地，這些工作主要針對(duì)知識(shí)圖譜「鏈接缺失」 （incomplete） 這一真實(shí)場(chǎng)景下的推理算法進(jìn)行研究。

（2）。 GraftNet： 基于多源數(shù)據(jù)的問(wèn)答

真實(shí)應(yīng)用場(chǎng)景下的知識(shí)圖譜往往是存在鏈接缺失問(wèn)題的，即一部分正確的三元組（事實(shí)）沒(méi)有被包含進(jìn)知識(shí)圖譜中。而這些缺失的三元組可能對(duì)于準(zhǔn)確地回答給定的問(wèn)題至關(guān)重要。

為了解決這一問(wèn)題，GraftNet ［7］ 采取了以下措施：

使用無(wú)結(jié)構(gòu)的文本數(shù)據(jù)作為結(jié)構(gòu)化的知識(shí)圖譜數(shù)據(jù)的補(bǔ)充；

提出了一個(gè)圖神經(jīng)網(wǎng)絡(luò)模型 （GNN），它可以在文本與知識(shí)圖譜組成的混合類(lèi)型數(shù)據(jù)上進(jìn)行推理并得到答案。

對(duì)于無(wú)結(jié)構(gòu)的文本數(shù)據(jù)，GraftNet 將每個(gè)文檔 （document） 看做一個(gè)節(jié)點(diǎn)，并融入知識(shí)圖譜結(jié)構(gòu)中：如果該文檔中包含某個(gè)實(shí)體 ，那么就在這個(gè)文檔與實(shí)體 之間建立連接。下圖展示了一個(gè)直觀的例子。

圖 6：GraftNet 多源數(shù)據(jù)融合示意圖 ［7］

基于這種由知識(shí)圖譜與文檔數(shù)據(jù)組成的圖結(jié)構(gòu)，GraftNet 設(shè)計(jì)了一個(gè) GNN 用于推理，大致流程如下：

對(duì)給定的問(wèn)題 （假定主題實(shí)體 已知），使用 Personalized PageRank （PPR） 算法提取出以 為中心的子圖。最終的候選答案實(shí)體便被限定在該子圖中，這個(gè)子圖中實(shí)體的集合也就是候選答案集合。

使用多層 GNN 迭代更新實(shí)體、文檔的表示，使得圖中的每個(gè)節(jié)點(diǎn)可以感知到多跳鄰居的信息。最終基于更新后的實(shí)體表示計(jì)算每個(gè)候選實(shí)體的得分。詳細(xì)內(nèi)容請(qǐng)見(jiàn)原文 ［7］。

至于為什么要裁剪出子圖，這是由于實(shí)際應(yīng)用中知識(shí)圖譜的實(shí)體數(shù)量過(guò)于龐大，如果將實(shí)體全集作為候選答案實(shí)體集，則會(huì)大大增加從中尋找正確答案的難度。因此，提前對(duì)實(shí)體進(jìn)行篩選，只保留一小部分與問(wèn)題相關(guān)的實(shí)體作為候選答案是一個(gè)明智的選擇。

（3）。 PullNet： 動(dòng)態(tài)子圖拓展

雖然 GraftNet 取得了不錯(cuò)的效果，但該方法依然存在著一些問(wèn)題。例如，GraftNet 為了減小候選答案實(shí)體集合的大小，使用 PPR 算法提取出以主題實(shí)體為中心的子圖。但這些子圖往往過(guò)大，而且有時(shí)并沒(méi)有將正確答案囊括進(jìn)來(lái) ［8］。

為了解決這一問(wèn)題，PullNet ［8］ 提出了一種動(dòng)態(tài)的子圖拓展方法。具體地，該算法將子圖初始化為主題實(shí)體 ，隨后迭代地將與問(wèn)題相關(guān)程度高的鄰居實(shí)體拓展進(jìn)子圖，并同時(shí)使用 GNN 更新子圖中節(jié)點(diǎn)的表示。

圖7展示了 PullNet 相比 GraftNet 在子圖提取上的優(yōu)勢(shì)，其中x-軸表示提取出的子圖大小（子圖中的實(shí)體數(shù)量），y-軸表示正確答案實(shí)體的召回率，即正確答案被包含在子圖中的百分比，PageRank-Nibble 表示 GraftNet 所使用的子圖提取方法。以左圖 MetaQA （3-hop） 數(shù)據(jù)集為例，GraftNet 如果想要達(dá)到 0.9 左右的召回率，則需要將子圖中的實(shí)體數(shù)量增大至 500 左右，而 PullNet 只需要?jiǎng)討B(tài)地拓展出實(shí)體數(shù)量大小為 65 左右的子圖，便可以輕松達(dá)到 0.983 的召回率。

圖 7：正確答案實(shí)體召回率 （y-軸） 與子圖大小 （x-軸）關(guān)系示意圖 ［8］

（4）。 EmbedKGQA： 基于鏈接預(yù)測(cè)思路的問(wèn)答方法

與 GraftNet 以及 PullNet 使用 GNN 進(jìn)行推理思路不同的是，EmbedKGQA ［9］ 借鑒了知識(shí)圖譜鏈接預(yù)測(cè) （Link Prediction） 的思路以實(shí)現(xiàn)在鏈接缺失的知識(shí)圖譜上的推理。

知識(shí)圖譜鏈接預(yù)測(cè)指的是給定一個(gè)三元組中的頭實(shí)體（或尾實(shí)體）與關(guān)系，對(duì)尾實(shí)體（或頭實(shí)體）進(jìn)行預(yù)測(cè)的任務(wù)，即 （h， r， ？） 或 （？， r， t）。給定一個(gè)問(wèn)題 ，EmbedKGQA ［9］ 將該問(wèn)題中的主題實(shí)體 看做頭實(shí)體，將問(wèn)題 看做一個(gè)關(guān)系，要預(yù)測(cè)的尾實(shí)體則是該問(wèn)題的答案。也就是說(shuō)，EmbedKGQA 將多跳問(wèn)答建模成 。

這樣的思路雖然簡(jiǎn)單，但也行之有效?？偟膩?lái)說(shuō)，在知識(shí)圖譜鏈接缺失的場(chǎng)景下，GraftNet 與 PullNet 從數(shù)據(jù)的角度出發(fā)，采取了使用文本數(shù)據(jù) ”補(bǔ)全“ 知識(shí)圖譜的思路，同時(shí)針對(duì)這種混合類(lèi)型數(shù)據(jù)設(shè)計(jì)專(zhuān)門(mén)的推理算法。EmbedKGQA 則是從模型的角度出發(fā)，直接借鑒了鏈接預(yù)測(cè)這種比較成熟的建模思路。

四、總結(jié)

構(gòu)建高質(zhì)量問(wèn)答系統(tǒng)的關(guān)鍵在于「準(zhǔn)確的問(wèn)題理解」與「針對(duì)相應(yīng)的數(shù)據(jù)源設(shè)計(jì)合適的推理算法」。從問(wèn)題理解的角度，知識(shí)圖多跳問(wèn)答近期工作主要關(guān)注于如何準(zhǔn)確地識(shí)別問(wèn)題中的實(shí)體。從推理算法的角度，近期的工作主要關(guān)注：1） 如何降低候選實(shí)體集合大小，同時(shí)減小對(duì)正確答案召回率的影響；2）： 如何在鏈接缺失的知識(shí)圖譜上進(jìn)行推理。

Reference

［1］ Berant， Jonathan et al. “Semantic Parsing on Freebase from Question-Answer Pairs.” EMNLP （2013）。

［2］ Yih， Wen-tau et al. “Semantic Parsing for Single-Relation Question Answering.” ACL （2014）。

［3］ Bordes， Antoine et al. “Large-scale Simple Question Answering with Memory Networks.” ArXiv abs/1506.02075 （2015）

［4］ Yih， Wen-tau et al. “Semantic Parsing via Staged Query Graph Generation： Question Answering with Knowledge Base.” ACL （2015）。

［5］ Zhang， Yuyu et al. “Variational Reasoning for Question Answering with Knowledge Graph.” AAAI （2018）。

［6］ Miller， Alexander H. et al. “Key-Value Memory Networks for Directly Reading Documents.” EMNLP （2016）。

［7］ Sun， Haitian et al. “Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text.” EMNLP （2018）。

［8］ Sun， Haitian et al. “PullNet： Open Domain Question Answering with Iterative Retrieval on Knowledge Bases and Text.” EMNLP （2019）。

［9］ Saxena， Apoorv et al. “Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings.” ACL （2020）。

作者簡(jiǎn)介：蔡健宇，2019年畢業(yè)于東南大學(xué)，獲得工學(xué)學(xué)士學(xué)位?，F(xiàn)于中國(guó)科學(xué)技術(shù)大學(xué)電子工程與信息科學(xué)系的 MIRA Lab 實(shí)驗(yàn)室攻讀研究生，師從王杰教授。研究興趣包括知識(shí)表示與知識(shí)推理。

編輯：jq