面向制造領域人機物三元數(shù)據(jù)融合的本體自動化構建方法

摘要

當前,智能制造面臨的許多問題都具有不確定性和復雜性,單純地利用專家經(jīng)驗和機理模型難以有效解決.鑒于此,面向跨層跨域的復雜制造系統(tǒng)網(wǎng)絡化協(xié)同控制機制,提出一種基于本體的人機物三元數(shù)據(jù)融合方法,研究復雜制造環(huán)境下的人機物三元數(shù)據(jù)融合建模.在抽取三元組時,區(qū)別于傳統(tǒng)的流水線式抽取方式,提出一種基于實體-關系聯(lián)合抽取的模型ErBERT.該模型首先經(jīng)過預訓練模型BERT進行詞序列化,經(jīng)過最大池化、全連接和Softmax等操作后,完成實體識別和關系分類任務,得到抽取完畢的人機物三元組.將抽取好的三元組按照規(guī)則映射至OWL文件,最終存儲在圖數(shù)據(jù)庫中,實現(xiàn)本體模型的構建.經(jīng)實驗驗證,經(jīng)過ErBERT抽取出的三元組有較好的準確率,能夠達到通過本體融合人機物三元數(shù)據(jù)的目標,并為實現(xiàn)制造企業(yè)人機物三元協(xié)同決策與優(yōu)化提供技術支撐。

引言

隨著互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等技術的迅猛發(fā)展,傳統(tǒng)制造業(yè)正加速向新一代智能制造邁進[1]. 快速變化的市場環(huán)境及多元化的用戶需求使制造業(yè)環(huán)境日趨復雜,提升企業(yè)應對復雜環(huán)境中不確定性因素的控制與決策水平,是企業(yè)向智能工廠轉型中亟待解決的重要科學命題.

伴隨著制造系統(tǒng)復雜度日益增加、用戶個性化需求不斷增長,以往的制造體系和制造水平已經(jīng)難以滿足個性化、智能化產(chǎn)品和服務增值升級的需求,制造系統(tǒng)將由以往的機物二元系統(tǒng)發(fā)展為人機物三元系統(tǒng). 在復雜制造系統(tǒng)中,人(人力資源)具備不完全

第37卷

信息決策能力的優(yōu)點和獲取深度知識能力差的缺點,機(虛擬信息系統(tǒng))具備處理海量數(shù)據(jù)的優(yōu)點和處理不完全信息能力差的缺點,物(生產(chǎn)物理系統(tǒng))具備執(zhí)行能力強的優(yōu)點和缺乏數(shù)據(jù)強處理能力的缺點. 新一代人工智能將人的作用引入到系統(tǒng)中,可極大地提高制造系統(tǒng)處理復雜性、不確定性問題的能力,有效實現(xiàn)產(chǎn)品及其生產(chǎn)和服務過程的最優(yōu)化,人機物三元深度融合將會使人的智慧與機器的智能相互啟發(fā)性地增長[2].

語義網(wǎng)是由Tim Berners-Lee最先提出的一個概念,可以使異構的數(shù)據(jù)信息相關聯(lián),組成語義網(wǎng)絡,從而計算機可以理解和處理網(wǎng)絡中的語義信息[3]. 本體作為語義網(wǎng)的基礎,是一種能在語義及知識層次上描述數(shù)據(jù)的概念模型,用于確定領域內(nèi)被共同認可的概念,并給出概念間的相互關系,從而實現(xiàn)海量多元異構數(shù)據(jù)的集成、共享與重用[4]. 傳統(tǒng)的本體構建方法主要依靠領域專家手工構建,一旦構建的領域本體較為龐大,則會耗費大量的時間和精力. 因此,如何使用自動化的方式從數(shù)據(jù)源中抽取信息并構建本體,減少領域專家的參與,是當前本體研究的熱點之一.異構數(shù)據(jù)會造成信息交互的問題,利用本體進行人機物三元數(shù)據(jù)的集成與融合,不僅可以解決操作障礙, 減少數(shù)據(jù)冗余, 還可以加強數(shù)據(jù)的推理和決策能力. 本文提出一種基于本體的人機物三元數(shù)據(jù)融合模型, 并在進行本體三元組的抽取時, 區(qū)別于傳統(tǒng)流水線式抽取方式, 基于預訓練模型 BERT(bidirectional encoder representation from transformers)提出一種實體-關系聯(lián)合抽取模型ErBERT (entity andrelationship extraction with BERT),從而更好地整合實體及其關系之間的信息. 最后以寶鋼熱軋生產(chǎn)環(huán)節(jié)為案例,使用ErBERT自動構建本體. 結果顯示,所提出的ErBERT模型是行之有效的.

一、相關工作

1.1 人機物三元數(shù)據(jù)融合

數(shù)據(jù)融合的目的是將多元異構數(shù)據(jù)進行融合,使得獲得的信息能有效地應用到?jīng)Q策中[5]. 傳統(tǒng)的數(shù)據(jù)融合技術,如模糊集理論、概率論理論以及可信度理論,對于各有其特點的人機物三元數(shù)據(jù)缺乏有效的融合方法. 目前國內(nèi)外已有針對人機物三元系統(tǒng)數(shù)據(jù)融合的研究, Hussein等[6] 提出DSSoT智能服務,將人與物聯(lián)網(wǎng)的數(shù)據(jù)通過動態(tài)社會物聯(lián)網(wǎng)的模型進行融合; Misra等[7] 提出一種多變量數(shù)據(jù)融合學習模型,通過訓練樸素貝葉斯、k近鄰、決策樹和支持向量機4個分類器,可以改善數(shù)據(jù)異構,提高輔助決策預測精度; Bu[8] 提出了一種基于張量模型的高階K-means算法用于人機物三元數(shù)據(jù)的聚類,以獲得更準確的結果; Wang等[9] 提出一系列基于張量的數(shù)據(jù)融合方法,最后給出一個綜合的人機物數(shù)據(jù)融合框架; Chen等[10] 對基于強化學習算法的三元數(shù)據(jù)融合進行研究,但未涉及語義層面的自動化、智能化融合. 上述數(shù)據(jù)融合方法嘗試將人機物數(shù)據(jù)進行融合,但忽略了人機物數(shù)據(jù)之間存在的關聯(lián)與特征. 針對以上問題,本文采用語義融合的方法,將人機物三元數(shù)據(jù)抽象為語義信息,用本體形式表示語義,進行人機物三元數(shù)據(jù)的融合.

1.2 本體自動化構建

構建本體的方式可以分為3類:手動構建本體、半自動化構建本體和自動化構建本體,自動化構建本體方法由于其有效性,逐漸成為研究的熱點. Hazber等[11] 定義了基于關系型數(shù)據(jù)庫模式自動構造本體的映射規(guī)則; Zhao 等[12] 提出基于多標簽學習模型與關聯(lián)標簽傳播的原始結構單詞提取方法,以提高本體關系自動識別精度,優(yōu)化本體構建; Kethavarapu等[13]采用基于關鍵字、基于值的抽取方法對日志文件數(shù)據(jù)進行集成,再將其轉換為OWL (web ontologylanguage)文件,從而實現(xiàn)了自動本體的生成.實體-關系抽取是信息抽取、知識圖譜以及自然語言處理領域的核心任務和重要環(huán)節(jié),同時也是自動化構建本體中最重要的一步[14]. 在本體中,知識以?entity1, relationship, entity2? 的格式保存為結構化三元組,即實體entity1、entity2之間存在relationship關系. 有監(jiān)督的實體-關系抽取方法可分為流水線式和聯(lián) 合學習 式兩種. 前者將命 名實體 識別(named entity recognition, NER)和關系分類(relationclassifification, RC)作為兩個獨立的子任務在完成實體識別之后再進行關系的抽取[15-16]. 前,國內(nèi)外研究學者在進行三元組抽取從而實現(xiàn)本體自動化構建時,大多使用流水線式方法,這種方法忽略了兩個子任務之間的相關性,且會造成誤差累積. 最近的研究表明,使用聯(lián)合學習的方法可以更加緊密地交互實體與關系之間的信息,很好地解決了流水線式方式存在的問題. Zheng等[17] 使用混合BiLSTM-EDCNN的神經(jīng)網(wǎng)絡模型,在實體與關系抽取任務上表現(xiàn)優(yōu)異; Luo等[18] 提出了一種基于Att-BiLSTM-CRF的聯(lián)合學習方法,用于生物醫(yī)學實體和關系提取. 這些模型基于實體關系聯(lián)合訓練的方法進行三元組的抽取,但大多使用公開數(shù)據(jù)集進行訓練,不針對制造業(yè)領域.

本文基于BERT預訓練模型,提出一種實體-關系聯(lián)合抽取模型ErBERT,針對特定下游任務對模型進行微調(diào),并針對鋼鐵制造行業(yè)建立數(shù)據(jù)集HRDT對模型進行訓練,完成制造業(yè)領域的人機物三元組抽取.

二、面向人機物數(shù)據(jù)融合的本體自動化構建方法

2.1 總體架構

本文研究面向制造領域人機物三元數(shù)據(jù)融合的本體自動構建方法,故立足于制造業(yè),尋找人機物三元數(shù)據(jù)的各自特征和內(nèi)在聯(lián)系是本文研究的必經(jīng)之路. 在制造業(yè)領域,人的數(shù)據(jù)主要指專家經(jīng)驗、供應商及用戶信息,同時人具有處理不確定性信息的能力;機可以處理海量數(shù)據(jù),但無法處理不確定性知識,數(shù)據(jù)主要包括數(shù)據(jù)庫里的結構化表單以及企業(yè)信息系統(tǒng)內(nèi)的信息;物的數(shù)據(jù)來源于客觀存在的實體對象,一般指檢測設備和生產(chǎn)設備的數(shù)據(jù). 為了實現(xiàn)人機物三元本體的自動化構建,本文設計了如圖1所示的體系架構,包括數(shù)據(jù)采集、三元組抽取和本體存儲三部分. 其中,如何從文本數(shù)據(jù)中自動獲取三元組是本文研究的重點內(nèi)容.

數(shù)據(jù)采集是指分別以人、機、物作為數(shù)據(jù)來源,尋找相關的領域特定概念. 人的數(shù)據(jù)包括專家經(jīng)驗、班組日志以及供應商信息等;機的數(shù)據(jù)主要來自于企業(yè)信息系統(tǒng),包括工藝制度、生產(chǎn)調(diào)度計劃以及規(guī)則數(shù)據(jù)等;物的數(shù)據(jù)由客觀存在的數(shù)據(jù)構成,包括設備數(shù)據(jù)、鋼種數(shù)據(jù)等. 將采集到的文本數(shù)據(jù)進行切分,以單句的形式輸入至三元組抽取模塊.

將切分后的單句作為三元組抽取模塊的輸入,三元組抽取的主要任務是進行命名實體識別和關系抽取. 本文提出了基于預訓練模型BERT的改進算法ErBERT,實現(xiàn)實體、關系的聯(lián)合抽取,下文進行具體介紹. 三元組抽取以形如?加熱爐,包括,點火器?的三元組形式輸出至下一部分.

在完成人機物三元組的抽取后,將抽取好的人機物三元組按照規(guī)則映射至OWL文件,并將其存儲至圖數(shù)據(jù)庫中,實現(xiàn)人機物三元本體的自動構建.

2.2基于ErBERT的三元組抽取

三元組抽取是本體的自動化構建任務中極為關鍵的一步,本文提出的ErBERT模型可以實現(xiàn)實體與關系的聯(lián)合抽取,其基本流程如圖2所示. 在詞向量化模塊中,使用預訓練模型BERT進行詞序列化. 將可能的實體向量經(jīng)最大池化處理,在進行全連接和softmax之后得到實體的類別. 關系分類模塊在實體抽取的基礎上進行,根據(jù)上一步實體抽取的結果,將頭尾實體向量與頭尾實體之間的詞向量經(jīng)過全連接層與softmax后得到關系分類的結果.

對于輸入的單句集合, 首先使用 BERT 預訓練模型對其進行分詞并向量化. BERT 是 Google AI語言研究人員最近提出的一個預處理模型,在一些自然語言處理任務上表現(xiàn)出超越過往經(jīng)典模型的優(yōu)異性能. 輸出的向量由詞向量 (token embedding)、句向量 (segment embedding) 和位置向量 (positionembedding)組成,相加之后送入雙向Transformer結構進行特征提取,最后得到含有豐富語義特征的序列向量. 深層雙向Tansformer的模型結構是BERT模型中的核心,使得模型在進行單詞的處理時,能夠表征單詞在上下文中的具體語義. Transformer編碼結構采用多頭注意力機制,放棄時間循環(huán)結構,可以同時處理整個輸入序列,多頭注意力機制的輸出為

（3）

其中: Q、K、V 矩陣為編碼器的輸入字向量矩陣;dk為Q、K、V 矩陣的列數(shù),即向量維度.對于一個長度為n的輸入序列,t位置對應的向量和ωk定義如下:

通過BERT預訓練模型輸出的詞序列向量經(jīng)過最大池化處理,進行平均和之后,與[CLS]向量進行拼接. [CLS]是一個能夠表示整個文本的語義特征向量, BERT在輸入文本前插入[CLS]符號,并將該符號對應的輸出向量作為整個文本的語義表示. 與輸入文本中已存在的其他字、詞相比較而言, [CLS]作為無明顯語義特征的符號,能夠更加公平地融合文本中各個字的含義. 經(jīng)過拼接得到的實體表示xe為

其中: ei為經(jīng)過最大池化處理過后的詞向量表示, c為整個文本的語義表征.最 后, 將 得 到 的 實 體 向 量 xe 送 入 全 連 接 加softmax層,全連接層將前面得到的特征做加權和得到每個類別的分數(shù),再經(jīng)過softmax映射為概率,計算最有可能的實體標記,公式如下:

完成實體的抽取后進入到關系分類任務. 給定一組預定義的關系類R= {r1, r2, . . . , rj},關系分類模塊對處理來自單句中的所有候選實體對,判斷其是否存在來自R的關系. 關系分類模塊輸入由兩部分組成,一是在實體識別部分得到的實體向量表示xe,包括詞序列向量以及能夠表示整個文本的語義特征向量[CLS];二是兩個實體之間文本的向量表示,即候選關系向量,在進行最大池化處理后與前后的實體向量進行拼接,送入關系分類器中.公式如下:

其中: cr 為經(jīng)過最大池化處理后的詞序列向量, xe1、xe2為cr前后的實體向量表示.實體和關系分類問題均使用交叉熵作為損失函數(shù)計算loss,以衡量同一個隨機變量中兩個不同概率分布的差異程度,即真實概率分布與預測概率分布之間的差異. 交叉熵函數(shù)的值越小,模型預測效果越優(yōu)異. 關系分類任務的損失函數(shù)為

其中: m為樣本個數(shù),ri 為類別標簽映射而成的onehot向量實體-關系聯(lián)合抽取的損失函數(shù)應表示為實體識別損失函數(shù)Le與關系分類損失函數(shù)Lr之和,即

2.3基于圖數(shù)據(jù)庫的本體存儲

經(jīng)過 ErBERT 進行三元組抽取得到形如? 加熱爐,包括,點火器??車間操作工,相關,班組工作日志?等實體關系三元組后,根據(jù)規(guī)則建立起人機物三元本體的層級結構,并將其映射至OWL文件,完成本體的構建. 構建完的本體以Web本體語言的形式保存在OWL文件中,為了實現(xiàn)快速查詢,用于支撐知識推理、知識計算等上層應用,需要進行有效的本體存儲.圖數(shù)據(jù)庫是一種以圖論為理論基礎的非關系型數(shù)據(jù)庫,用于存儲實體及實體間的關聯(lián)信息,其基本組成要素是節(jié)點、關系和屬性. Neo4j是常用的圖數(shù)據(jù)庫之一,本文采用Neo4j進行本體的存儲. 將映射的OWL文件通過開源工具包RDF2RDF轉成RDF格式,再通過Neo4j的功能插件Neosemantics將RDF導入至Neo4j圖數(shù)據(jù)庫中,完成本體的存儲.

三、案例驗證

3.1問題描述

隨著國家產(chǎn)能政策的優(yōu)化調(diào)整,供給改革的持續(xù)深入,鋼鐵行業(yè)競爭愈加激烈,現(xiàn)代生產(chǎn)中多品種、多規(guī)格、個性化生產(chǎn)使得鋼鐵行業(yè)面臨日趨復雜的環(huán)境. 某鋼鐵企業(yè)連軋產(chǎn)線包括熱軋和冷軋兩種工藝,同時將多個軋機布置在一條生產(chǎn)線上,從而一次性完成制品的軋制過程,涉及到的流程復雜,設備種類與數(shù)量繁多,難以進行有效管理. 熱軋生產(chǎn)一般裝配步進式加熱爐,連鑄板坯先后經(jīng)加熱爐加熱、除磷箱去除氧化鐵皮后,進入粗軋機組進行多道次往復軋制,再經(jīng)過二次除磷后進行精軋,最后由卷取機卷成熱軋卷. 冷軋生產(chǎn)以熱軋鋼卷為原料,經(jīng)軋制、退火、酸洗、鍍鋅及彩圖等工序,最終得到冷軋鋼板. 在熱軋和冷軋實際生產(chǎn)流程中,涉及到日生產(chǎn)計劃、車間操作人員、庫存以及設備信息等人機物數(shù)據(jù),這些數(shù)據(jù)有的依靠紙張線下傳遞,有的通過信息系統(tǒng)存儲,數(shù)據(jù)之間缺乏關聯(lián)性,使得生產(chǎn)車間協(xié)同效率低下,信息同步困難,決策知識來源單一. 因此,本課題定位至該企業(yè)連軋產(chǎn)線,收集產(chǎn)線生產(chǎn)過程信息,研究基于本體的鋼鐵連軋產(chǎn)線人機物三元數(shù)據(jù)融合模型,以增強數(shù)據(jù)之間的關聯(lián)性,旨在促進企業(yè)內(nèi)部信息集成,從而提高生產(chǎn)車間協(xié)同效率,實現(xiàn)有效的連軋生產(chǎn)管理,對實現(xiàn)連軋生產(chǎn)協(xié)同制造具有重要意義.

3.2HRDT數(shù)據(jù)集

目前, 在三元組的抽取訓練中, 最常使用的是ACE 和 CoNLL-04 數(shù)據(jù)集, 但這些數(shù)據(jù)集沒有針對特定工業(yè)領域的子集,且不包含構建本體所需要的層次實體關系. 為了實現(xiàn)人機物三元數(shù)據(jù)融合的自動化本體構建,針對鋼鐵制造行業(yè)建立了數(shù)據(jù)集HRDT. HRDT數(shù)據(jù)集共有778個單句,其中58句來自專家經(jīng)驗,其他從網(wǎng)絡上爬取或根據(jù)企業(yè)提供資料整理而成. 此數(shù)據(jù)集定義了3種類型的實體, 11種類型的關系,具體如表1和表2所示.

HRDT數(shù)據(jù)集按照實體來源將實體類別劃分為人、機、物三類;關系包括層級關系和其他關系. 層級關系有2種,為Include和Belong_2,意為包括、屬于,有明顯的層次語義. 在進行本體構建時,需要定義規(guī)則,將層級關系和其他關系加以區(qū)分,以完成本體的層次結構建立。

3.3實驗結果

本文將HRDT數(shù)據(jù)集隨機分為訓練集(80 %),驗證集 (10 %) 和測試集 (10 %) 輸入至 ErBERT 模型中進行實驗,采用精確率、召回率和F1值評價算法的性能,評價指標定義如下:

其中: Ncorrect 為預測正確的實體或關系個數(shù), Nall 為預測的實體或關系總個數(shù), Nmarked 為標注的實體或關系總個數(shù).實驗結果如表3和表4所示. 由表中數(shù)據(jù)可知,本文提出的ErBERT模型在實體識別和關系分類任務上有較好的準確率.

經(jīng)ErBERT模型后得到的人機物實體關系三元組通過定義的規(guī)則建立起層級結構,映射至OWL文件后,再將其通過RDF2RDF和Neosemantics存儲至Neo4j中. 融合后人機物三元數(shù)據(jù)具體如圖3所示,節(jié)點的不同顏色代表不同的數(shù)據(jù)來源. 黃色節(jié)點為物的數(shù)據(jù),包括設備數(shù)據(jù)、鋼種數(shù)據(jù)等; 藍色節(jié)點為機的數(shù)據(jù),包括工藝制度、生產(chǎn)調(diào)度計劃以及規(guī)則數(shù)據(jù)等; 綠色節(jié)點為人數(shù)據(jù),包括專家經(jīng)驗、供應商數(shù)據(jù)和人員部門信息等. 人、機、物的節(jié)點相互關聯(lián)、相互交融,增強了人機物數(shù)據(jù)之間的關聯(lián)性,實現(xiàn)了人、機、物三元數(shù)據(jù)在語義層次上的深度融合.

融合后的本體模型可以解決傳統(tǒng)人機物獨立運作模式不能充分利用人機物優(yōu)點、無法發(fā)揮協(xié)同機制優(yōu)勢的問題. 經(jīng)領域專家的評定,通過ErBERT構建的人機物三元本體起到了融合制造領域人機物三元數(shù)據(jù)的作用. 研究提出的基于本體的人機物三元數(shù)據(jù)融合模型能夠充分利用本體對多源異構大規(guī)模知識的組織和管理優(yōu)勢,有效地進行企業(yè)信息集成,提升企業(yè)在人機物等更大范疇處理海量數(shù)據(jù)的綜合決策能力,為研究數(shù)據(jù)驅動的人機物三元協(xié)同決策與優(yōu)化提供了堅實的技術支撐.

結 論

本文提出了基于本體的人機物三元數(shù)據(jù)融合模型,并在抽取三元組時區(qū)別于傳統(tǒng)的流水線式抽取方式,采用實體-關系聯(lián)合抽取的模型ErBERT. 該模型首先經(jīng)過預訓練模型BERT進行詞序列化,經(jīng)過最大池化、全連接和softmax等操作后得到實體與關系的類別,完成三元組的抽取;然后將抽取好的三元組按照規(guī)則映射至OWL文件中,完成本體的構建;最后將三元本體存儲在Neo4j中,實現(xiàn)有效的本體存儲.

所提出的實體-關系聯(lián)合抽取模型ErBERT的優(yōu)勢在于使命名實體識別和關系分類任務共享底層神經(jīng)網(wǎng)絡;且在兩個任務之間,信息擁有更加緊密的聯(lián)系. 實驗表明,經(jīng)過ErBERT抽取出的三元組有較好的準確率,本文最終構建的本體得到了領域專家的一致認可,達到了通過本體融合人機物三元數(shù)據(jù)的目標,為實現(xiàn)企業(yè)人機物三元協(xié)同決策與優(yōu)化提供了技術支撐.

面對復雜多變的制造環(huán)境,基于數(shù)據(jù)驅動,發(fā)揮人機物協(xié)同運行的優(yōu)勢已成為探索自主智能工廠控制與決策科學命題的主導方向. 基于本體的人機物多維工業(yè)大數(shù)據(jù)融合將驅動后續(xù)知識發(fā)現(xiàn)、智能工廠自學習知識圖譜建模及其進化機制、基于自學習知識圖譜智能推理的決策與優(yōu)化理論的建立,使得企業(yè)決策與優(yōu)化轉變?yōu)槿藱C物緊密協(xié)同合作模式. 在接下來的研究中,將探索智能工廠自學習知識圖譜建模及其進化機制,同時將進行數(shù)據(jù)驅動的人機物三元協(xié)同決策與優(yōu)化理論方法研究,以解決復雜制造環(huán)境下企業(yè)決策與優(yōu)化所面臨的巨大挑戰(zhàn),有力地推動企業(yè)綜合決策與優(yōu)化科學研究從以專家經(jīng)驗為主向數(shù)據(jù)驅動的模式轉變.

審核編輯：符乾江