谷歌研究公司（Google Research）的合著者本周發(fā)表的一項(xiàng)預(yù)印研究將實(shí)體描述為專家（EAE），這是一種新型的機(jī)器學(xué)習(xí)模型，可以訪問樣本文本中提到的實(shí)體（例如，人、地點(diǎn)、組織、日期、時(shí)間和數(shù)字）的記憶。 他們聲稱，它的性能優(yōu)于兩個(gè)最先進(jìn)的模型，數(shù)據(jù)少得多，同時(shí)捕捉更多的事實(shí)知識，并且比它所基于的變形金剛體系結(jié)構(gòu)更模塊化和更可解釋。

如果同行評審證實(shí)了研究人員對EAE的說法，它可以解決一個(gè)長期存在的自然語言處理挑戰(zhàn)：在不注入特定實(shí)體知識的情況下獲得回答世界問題所需的知識。 在企業(yè)環(huán)境中，EAE可以為攝入特定領(lǐng)域信息語料庫的聊天機(jī)器人奠定基礎(chǔ)，并用最有可能相關(guān)的信息回答有關(guān)語料庫的問題。

EAE包含神經(jīng)元（數(shù)學(xué)函數(shù)），它們排列在從輸入數(shù)據(jù)傳輸信號并調(diào)整每個(gè)連接的強(qiáng)度（權(quán)重）的層中，就像所有深層神經(jīng)網(wǎng)絡(luò)一樣。 這就是它如何提取特征并學(xué)會進(jìn)行預(yù)測，但是由于EAE是基于變壓器架構(gòu)的，所以它受到了關(guān)注。 這意味著每個(gè)輸出元素都連接到每個(gè)輸入元素，并且動態(tài)計(jì)算它們之間的權(quán)重。

獨(dú)特的是，EAE還包含實(shí)體內(nèi)存層，使其能夠“理解”并以高度數(shù)據(jù)效率的方式回答有關(guān)文本的問題。 該模型直接從文本中學(xué)習(xí)知識，以及其他模型參數(shù)（即從數(shù)據(jù)中估計(jì)的配置變量和模型在進(jìn)行預(yù)測時(shí)所需的配置變量），并將內(nèi)存與特定實(shí)體或數(shù)據(jù)類型（如標(biāo)題和數(shù)字表達(dá)式）聯(lián)系起來。