引言

推理是人類(lèi)智能活動(dòng)的重要組成部分，一直以來(lái)是人工智能研究的核心內(nèi)容。人工智能進(jìn)入了以深度學(xué)習(xí)技術(shù)為主導(dǎo)的新時(shí)代, 無(wú)論是計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、語(yǔ)言理解、機(jī)器翻譯、對(duì)話(huà)系統(tǒng)等，似乎無(wú)處不是數(shù)據(jù)驅(qū)動(dòng)下深度學(xué)習(xí)的“功勞”。從推理的視角來(lái)看，從已知的事實(shí)（有標(biāo)注的數(shù)據(jù)），得出未知的結(jié)論，就是推理。但對(duì)智能系統(tǒng)做出的推理結(jié)果，需要有一個(gè)行為的解釋機(jī)制。

深度學(xué)習(xí)是一個(gè)黑箱，最大的弊端是缺乏對(duì)其結(jié)果的解釋能力?；叵朐谥R(shí)工程時(shí)代，基于規(guī)則的專(zhuān)家系統(tǒng)技術(shù)，其結(jié)果卻具有很好的解釋性。受此啟發(fā)，我們提出這樣一個(gè)問(wèn)題：在解決“可解釋”的推理上，傳統(tǒng)的知識(shí)工程技術(shù)是否可以繼續(xù)發(fā)揮作用？可解釋的人工智能未來(lái)的發(fā)展方向是什么?

基于知識(shí)工程的可解釋推理

讓我們回顧一下人工智能推理的早期階段——知識(shí)工程時(shí)代。知識(shí)工程包括知識(shí)的獲取、表達(dá)和推理，其本質(zhì)是將數(shù)據(jù)轉(zhuǎn)換為易于機(jī)器處理的結(jié)構(gòu)化知識(shí)。一個(gè)典型的專(zhuān)家系統(tǒng)由知識(shí)庫(kù)與推理機(jī)組成，前者需要專(zhuān)家人工構(gòu)建（見(jiàn)圖1）。知識(shí)工程的代表——專(zhuān)家系統(tǒng)，可以順著推理機(jī)使用到的規(guī)則, 表現(xiàn)出很好的解釋能力。從20 世紀(jì)90 年代后期開(kāi)始，知識(shí)工程因以下一些困擾而進(jìn)入了低潮。

圖1：傳統(tǒng)知識(shí)工程的組成

1. 知識(shí)獲取困難。知識(shí)庫(kù)構(gòu)建過(guò)程中依賴(lài)專(zhuān)家人工構(gòu)建的方式。如Cyc[1] 在2000 年，積累了160 萬(wàn)條常識(shí)性知識(shí)，在耗費(fèi)了350 人/ 年的成本后最終失敗。

2. 構(gòu)建專(zhuān)家系統(tǒng)需要完備的領(lǐng)域知識(shí)（包括常識(shí)），對(duì)于大部分問(wèn)題本身具有的不確定性，要從專(zhuān)家的經(jīng)驗(yàn)中構(gòu)建推理引擎非常困難，這限制了專(zhuān)家系統(tǒng)的應(yīng)用。

盡管知識(shí)工程這個(gè)名詞已不再流行，但知識(shí)工程將數(shù)據(jù)轉(zhuǎn)換為易于機(jī)器處理的結(jié)構(gòu)化知識(shí)的本質(zhì)，其自頂向下的演繹推理方式可能是解開(kāi)目前可解釋性缺失困擾的途徑之一。目前已經(jīng)出現(xiàn)的一系列研究正在彌補(bǔ)傳統(tǒng)知識(shí)工程的缺陷，并努力將知識(shí)引導(dǎo)與數(shù)據(jù)驅(qū)動(dòng)這兩種知識(shí)獲取與推理方式進(jìn)行融合，其中一個(gè)典型的代表就是CMU 的永不停息語(yǔ)言學(xué)習(xí)者NELL[2]。NELL 通過(guò)機(jī)器學(xué)習(xí)、NLP 等數(shù)據(jù)驅(qū)動(dòng)手段并結(jié)合人工介入，來(lái)從互聯(lián)網(wǎng)網(wǎng)頁(yè)中析取斷言式知識(shí)(beliefs)，形成海量的通用知識(shí)圖譜，這從一定程度上解決了解釋性中知識(shí)來(lái)源的問(wèn)題，改善了傳統(tǒng)知識(shí)工程知識(shí)獲取困難的問(wèn)題。在基于知識(shí)的推理方面，IBM 的Watson 系統(tǒng)[3] 在Jeopardy 挑戰(zhàn)中戰(zhàn)勝了兩位人類(lèi)冠軍，其核心算法Deep QA 通過(guò)生成問(wèn)題答案的候選（假設(shè)），在非結(jié)構(gòu)化數(shù)據(jù)中收集證據(jù)，并用機(jī)器學(xué)習(xí)模型對(duì)證據(jù)進(jìn)行評(píng)分，最后利用聚合算法實(shí)現(xiàn)對(duì)假設(shè)的排序。這種方式借鑒了專(zhuān)家系統(tǒng)中推理引擎的推理流程，實(shí)現(xiàn)了數(shù)據(jù)驅(qū)動(dòng)算法與推理流程的有機(jī)融合。圖神經(jīng)網(wǎng)絡(luò)[4] 等研究也正嘗試將傳統(tǒng)的貝葉斯網(wǎng)絡(luò)和知識(shí)圖譜，與深度學(xué)習(xí)相融合，來(lái)探索深度學(xué)習(xí)的可解釋機(jī)制。

未來(lái)與展望

可解釋性的問(wèn)題正在引起各界的關(guān)注。2017 年7 月美國(guó)國(guó)防部高級(jí)研究計(jì)劃署啟動(dòng)了7 000 萬(wàn)美元的可解釋性人工智能計(jì)劃（XAI）[5] 旨在對(duì)軍事領(lǐng)域智能算法的認(rèn)知進(jìn)行理解。歐盟在2018 年生效的通用數(shù)據(jù)保護(hù)法中引入解釋的權(quán)力[6]，旨在處理算法不可解釋帶來(lái)的問(wèn)題。學(xué)術(shù)界也正從多個(gè)不同的角度入手開(kāi)展研究，出現(xiàn)了反事實(shí)探測(cè)[7]、可視化[8]、轉(zhuǎn)移學(xué)習(xí)[9] 等一系列基于事后解析的方法。在實(shí)時(shí)分析方面，則出現(xiàn)了多跳注意力[10]、推導(dǎo)過(guò)程生成[11]，以及可解釋性網(wǎng)絡(luò)[12] 等一系列研究。其中知識(shí)計(jì)算延續(xù)了知識(shí)工程的目標(biāo)，是一種融合實(shí)時(shí)與事后可解釋性分析的計(jì)算框架，是傳統(tǒng)知識(shí)工程與大數(shù)據(jù)、算法與群體智慧融合后的產(chǎn)物。知識(shí)的獲取已不單純依靠從專(zhuān)家的經(jīng)驗(yàn)中總結(jié)出來(lái), 而是綜合應(yīng)用多種“計(jì)算”手段而獲得的（見(jiàn)圖2）。

圖2：知識(shí)計(jì)算框架

知識(shí)計(jì)算人在回路的架構(gòu)，為可解釋的人工智能的實(shí)現(xiàn)提供了框架，是大數(shù)據(jù)下的新型知識(shí)工程。未來(lái)在探索可解釋的人工智能推理的研究中，我們?nèi)孕柙诖嘶A(chǔ)上建立知識(shí)、數(shù)據(jù)和反饋于一體的人工智能理論和模型，有機(jī)協(xié)調(diào)“知識(shí)指導(dǎo)下的演繹”、“數(shù)據(jù)驅(qū)動(dòng)中的歸納”與“行為強(qiáng)化內(nèi)的規(guī)劃”。 知識(shí)工程從提出至今，作為早期的知識(shí)推理手段對(duì)后續(xù)的一系列研究產(chǎn)生了深遠(yuǎn)的影響，從這個(gè)意義上講，知識(shí)工程并沒(méi)有過(guò)時(shí)，在未來(lái)將繼續(xù)在人工智能研究中扮演重要的角色。

參考文獻(xiàn)

[1] Lenat, D.B., M. Prakash, and M. Shepherd, CYC: Using common sense knowledge to overcome brittleness andknowledge acquisition bottlenecks. AI magazine, 1985. 6(4): 65.

[2] Carlson, A., et al. Toward an architecture for never-ending language learning. in AAAI. 2010. Atlanta.

[3] Ferrucci, D.A., Introduction to “this is watson”. IBM Journal of Research and Development, 2012. 56(3.4): 1: 1-1:15.

[4] Battaglia, P.W., et al. Relational inductive biases, deep learning, and graph networks. arXiv preprintarXiv:1806.01261, 2018.

[5] Gunning, D., Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), ndWeb, 2017.

[6] Goodman, B. and S.R. Flaxman, European Union regulations on algorithmic decision-making and a. 2017.

[7] Ribeiro, M.T., S. Singh, and C. Guestrin. Why should i trust you?: Explaining the predictions of any classifier. inProceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016.ACM.

[8] Zeiler, M.D. and R. Fergus. Visualizing and understanding convolutional networks. in European conference oncomputer vision. 2014. Springer.

[9] Wang, H., et al. Emergent Predication Structure in Hidden State Vectors of Neural Readers. arXiv preprintarXiv:1611.07954, 2016.

[10] Shen, Y., et al. Reasonet: Learning to stop reading in machine comprehension. in Proceedings of the 23rd ACMSIGKDD International Conference on Knowledge Discovery and Data Mining. 2017. ACM.

[11] Ling, W., et al. Program induction by rationale generation: Learning to solve and explain algebraic word problems.arXiv preprint arXiv:1705.04146, 2017.

[12] Zhang, Q., Y.N. Wu, and S.-C. Zhu. Interpretable convolutional neural networks. in The IEEE Conference onComputer Vision and Pattern Recognition (CVPR). 2018.