前言

文本相似是NLP工業(yè)化中的一個(gè)基本任務(wù)，很多應(yīng)用需要計(jì)算兩文本之間的相似程度，包括文本檢索中相似文本的去重、問(wèn)答系統(tǒng)中query與標(biāo)準(zhǔn)模板問(wèn)題的匹配、句子對(duì)語(yǔ)義判斷等。

根據(jù)不同的標(biāo)準(zhǔn)可以將該任務(wù)劃分為不同的類別：如根據(jù)文本長(zhǎng)度的不同，可分為短文本相似度（短語(yǔ)/句子級(jí)）和長(zhǎng)文本相似度（段落/文章級(jí)）；又如根據(jù)特征工程的構(gòu)建方式不同，可分基于統(tǒng)計(jì)特征生成（TF/TF-IDF/Simhash）和基于語(yǔ)義的特征模型（word2vec、doc2vec）。同樣相似度的計(jì)算方式也有多種，如最小編輯距離、歐氏距離、漢明距離、余弦距離等。本期文章以新聞?lì)悢?shù)據(jù)相似任務(wù)的實(shí)際開(kāi)發(fā)過(guò)程為順序展開(kāi)介紹。

統(tǒng)計(jì)特征 + 漢明距離

《Detecting near-duplicates for web crawling》

Simhash是一種局部hash算法，在2002年被Charikar提出，谷歌在2007年將該算法用于識(shí)別相似內(nèi)容網(wǎng)頁(yè)數(shù)據(jù)上，證明了Simhash在該類問(wèn)題上的實(shí)用性。Simhash的核心思想是，通過(guò)分詞選用文中關(guān)鍵詞來(lái)代表一篇文章，然后將這些關(guān)鍵詞hash編碼為固定長(zhǎng)度的二進(jìn)制序列，然后在通過(guò)設(shè)置好的權(quán)重對(duì)關(guān)鍵詞的編碼進(jìn)行加權(quán)，簡(jiǎn)單合并后再次降維為二進(jìn)制數(shù)據(jù)，最后通過(guò)漢明距離計(jì)算不同文章之間的相似性。至于Simhash的數(shù)學(xué)推導(dǎo)在各個(gè)博客中都有較為詳細(xì)的介紹，這里便不再贅述。其中，有關(guān)關(guān)鍵詞選取和權(quán)重設(shè)置上，目前常見(jiàn)的方式是計(jì)算文章中各個(gè)詞的TF-IDF值，取topN的內(nèi)容作為關(guān)鍵詞，并以TF-IDF值做為權(quán)重。

上述以統(tǒng)計(jì)特征結(jié)合漢明距離的方式能夠在一定程度上反應(yīng)文章的相似性，但在實(shí)際嘗試中仍舊存在部分問(wèn)題。

TF-IDF算法是創(chuàng)建在這樣一個(gè)假設(shè)之上的：對(duì)區(qū)別文檔最有意義的詞語(yǔ)應(yīng)該是那些在文檔中出現(xiàn)頻率高，而在整個(gè)文檔集合的其他文檔中出現(xiàn)頻率少的詞語(yǔ)。如果特征空間坐標(biāo)系取tf詞頻作為測(cè)度，就可以體現(xiàn)同類文本的特點(diǎn)。引入了逆文本頻度idf的概念，以tf和idf的乘積作為特征空間坐標(biāo)系的取值測(cè)度，并用它完成對(duì)權(quán)值tf的調(diào)整，調(diào)整權(quán)值的目的在于突出重要單詞，抑制次要單詞。

從理論上講，Simhash最重要的一步在于如何選取有代表性的關(guān)鍵詞。在分詞時(shí)使用的TF-IDF算法，本質(zhì)上idf是一種試圖抑制噪聲的加權(quán)，并且單純地認(rèn)為文本頻率小的單詞就越重要，文本頻率大的單詞就越無(wú)用，顯然這并不是完全正確的。idf的簡(jiǎn)單結(jié)構(gòu)并不能有效地反映單詞的重要程度和特征詞的分布情況，其無(wú)法很好地完成對(duì)權(quán)值調(diào)整的功能，所以TF-IDF法的精度并不是很高。

從實(shí)際測(cè)試結(jié)果上講，在醫(yī)藥領(lǐng)域中，某些關(guān)鍵詞語(yǔ)存在相近的含義、某些代表醫(yī)藥項(xiàng)目進(jìn)度的詞匯或者表示否定語(yǔ)義的詞匯內(nèi)容會(huì)很大程度上左右兩篇文章的相似結(jié)果。這些因素在Simhash算法中都無(wú)法加以顯式的考慮和控制。

語(yǔ)義特征 + 余弦距離

《Distributed Representations of Sentences and Documents》

在最開(kāi)始的嘗試中，提及了基于IF-IDF的Simhash算法無(wú)法提供文章或者詞匯中的語(yǔ)義信息。想要利用文章或詞匯中的語(yǔ)義信息自然想到了word2vec。word2vec是基礎(chǔ)的文本表示方式之一。如果對(duì)一篇文章進(jìn)行embedding，那么詞向量直接平均或采用tf-idf進(jìn)行加權(quán)平均都能夠得到一篇文章的向量表示。但考慮到上述在Simhash中對(duì)TF-IFDF加權(quán)能力的分析，還是希望能夠得到一種更加細(xì)粒度的向量表示方法。

上述提及的這篇文章，作者受word2vec的啟發(fā)，提出doc2vec。模型能夠?qū)W習(xí)長(zhǎng)文本的連續(xù)向量表示，并適用于句子、段落和文章等不同長(zhǎng)度的文本數(shù)據(jù)。具體的做法便是，提出了一種稱為 the Distributed Memory Model of Paragraph Vectors（PV-DM）的模塊部分，該部分存儲(chǔ)不同段落的特征向量，該向量與窗口內(nèi)其他詞向量拼接輸入模型，進(jìn)行梯度更新。

doc2vec的優(yōu)勢(shì)在于能夠在大規(guī)模的語(yǔ)料上無(wú)監(jiān)督訓(xùn)練、考慮到了詞義信息并具備局部(窗口大小)的語(yǔ)序信息。缺點(diǎn)在于文本向量D'也是需要有反向傳播的過(guò)程，若未進(jìn)行隨機(jī)化固定，每次產(chǎn)生的文本向量會(huì)不同，影響文本相似度的計(jì)算。此外，從實(shí)際的結(jié)果上看，doc2vec與word2vec一樣有OOV問(wèn)題，對(duì)于一些固定結(jié)構(gòu)，詞不同的文本來(lái)說(shuō)，很容易產(chǎn)生相同的文本向量。

語(yǔ)義特征 + 主題信息 + 余弦距離

《P-SIF: Document Embeddings Using Partition Averaging》

結(jié)合具體任務(wù)所設(shè)計(jì)的數(shù)據(jù)內(nèi)容，我們發(fā)現(xiàn)與傳統(tǒng)文本內(nèi)容相比，新聞數(shù)據(jù)所表述的是一個(gè)主題明確的事件。如醫(yī)藥公司某產(chǎn)品研發(fā)進(jìn)度、不同醫(yī)藥公司之間的合作事宜等等。因此，在向量表示中加入主題信息，也能夠影響文章的相似性。

上述提及的該文章認(rèn)為，使用詞向量的加權(quán)平均傳統(tǒng)方式對(duì)句子語(yǔ)義信息的表示具有較好的效果，但采用同樣的方法對(duì)文章級(jí)別的語(yǔ)義表示效果不佳。主要原因在于文本中包含有表征不同主題的word，不同主題下的word向量其對(duì)應(yīng)的權(quán)重因子不同。因此作者提出P-SIF，通過(guò)主題聚類的思想，產(chǎn)生不同主題下的權(quán)重因子，對(duì)每個(gè)主題下的詞向量進(jìn)行concat，作為該word的最終向量表示。

圖中舉例了5種文本主題下的主題權(quán)重分布，對(duì)應(yīng)不同主題下，有不同的主題權(quán)重。單個(gè)主題對(duì)應(yīng)的詞向量采用w2v、tf-idf、主題權(quán)重因子的乘積表示，最終文本表征表示為各個(gè)詞向量的加權(quán)求和即可。其中主題權(quán)重因子采用ksvd的方法分解得到，需要指定主題的數(shù)目。

在實(shí)際的測(cè)試過(guò)程中發(fā)現(xiàn)，加入了主題這個(gè)變量，可以更細(xì)粒度的表征文本，相比基于tf-idf的w2v表征文本是一種進(jìn)步；缺點(diǎn)主要包括OOV、主題數(shù)不好確定，語(yǔ)義表征能力不足，特別是對(duì)各個(gè)詞向量加權(quán)求和的文本表征不容易平衡單個(gè)詞的關(guān)鍵作用。例如 對(duì)于兩篇文章基本雷同，但涉及的某個(gè)關(guān)鍵詞不同，得到的兩篇文章的相似性會(huì)比較高，如果這個(gè)詞在訓(xùn)練階段沒(méi)有收錄到詞典，則會(huì)出現(xiàn)相似度為1的情況。需要借助后續(xù)關(guān)鍵詞識(shí)別的策略，進(jìn)行文本間區(qū)分，補(bǔ)充其表征能力不足的問(wèn)題。

語(yǔ)義特征 + 主題信息 + 余弦距離 + 實(shí)體信息

如果繼續(xù)深挖新聞數(shù)據(jù)有什么特征，那么必定會(huì)考慮到新聞數(shù)據(jù)特點(diǎn)，即規(guī)范的新聞都會(huì)有五個(gè)基本的要素：時(shí)間、地點(diǎn)、事件、起因、人員（或組織）。因此，如果能夠從新聞的導(dǎo)語(yǔ)或者標(biāo)題內(nèi)容中對(duì)上述關(guān)鍵因素進(jìn)行抽取，那么就能較準(zhǔn)確地判斷兩新聞之間的相似與否。故此，在實(shí)際開(kāi)發(fā)的過(guò)程中，我們嘗試在 「語(yǔ)義特征 + 主題信息 + 余弦距離」方案的基礎(chǔ)上，增加對(duì)通用實(shí)體類型的抽取。

實(shí)體內(nèi)容的抽取在本任務(wù)中起到是一個(gè)提供輔助信息的作用。因此暫時(shí)并沒(méi)有講該模塊和文章的embedding表示有過(guò)于緊密的結(jié)合。對(duì)于NER的抽取任務(wù)，可參考過(guò)往我們?cè)凇吨形腘ER碎碎念—聊聊詞匯增強(qiáng)與實(shí)體嵌套》?的討論，本文不再展開(kāi)贅述。

預(yù)訓(xùn)練語(yǔ)言模型獲取語(yǔ)義特征

對(duì)于語(yǔ)義相似的任務(wù)，在工業(yè)生產(chǎn)中很難獲得大量的標(biāo)注數(shù)據(jù)用于有監(jiān)督的訓(xùn)練。為了提升模型語(yǔ)義表征能力，我們還可以把視線投向大規(guī)模預(yù)訓(xùn)練的語(yǔ)言模型上。這里也僅提供一個(gè)思路，嘗試使用無(wú)監(jiān)督語(yǔ)義相似度的BERT-flow或者BERT-whitening來(lái)獲取語(yǔ)義特征。

《On the Sentence Embeddings from Pre-trained Language Models》

考慮到，在得到句子的向量表示后，常常使用余弦相似度來(lái)比較或者排序。但余弦相似度是在標(biāo)準(zhǔn)正交基中使用的。因此，如果想要使用BERT所得到的句向量來(lái)衡量句子之間的相似性，需要使得向量空間的基底在各個(gè)分量上是均勻的、獨(dú)立的，表現(xiàn)出來(lái)一種“各向同性”的特質(zhì)。flow模型實(shí)際上是一個(gè)向量變換模型，而作者主要的想法是要用flow模型來(lái)校正BERT得到的句向量的分布。

《Whitening Sentence Representations for Better Semantics and Faster Retrieval》

BERT-whitening則認(rèn)為，flow模型中涉及到的逆變換和雅可比行列式計(jì)算實(shí)際需要滿足變換簡(jiǎn)單、易計(jì)算的特點(diǎn)。因此每一層的非線性變換能力就“很弱”，為了保證充分的擬合能力，模型就必須堆得非常深。但實(shí)際上BERT-flow所使用的模型計(jì)算量并大。因此，作者提出可以使用一種簡(jiǎn)單的線性變換（相當(dāng)于白化操作）來(lái)淺層地對(duì)BERT的向量進(jìn)行轉(zhuǎn)換，能到達(dá)和BERT-flow接近甚至超越的效果。

總結(jié)

新聞長(zhǎng)文本的表征可以用于相似度的計(jì)算、文本分類、文本聚合等方向，目前筆者做的方向是相似度去重，即從海量的新聞中發(fā)現(xiàn)相似的醫(yī)藥新聞，提升關(guān)鍵數(shù)據(jù)的采集和處理效率。相似新聞包括兩個(gè)含義，一方面是字符級(jí)別的相似，可以直接采用基于字符的對(duì)比方法，如Simhash、編輯距離等，其難點(diǎn)在于部分新聞存在篇幅，部分關(guān)鍵詞不同。另一方面是新聞涉及的事件相似，字符相似度不高，這種不僅需要有一定的語(yǔ)義理解，同時(shí)需要有關(guān)鍵實(shí)體的識(shí)別?；诖笠?guī)模訓(xùn)練的語(yǔ)言模型對(duì)語(yǔ)義的理解天生要高于字符和基于w2v的方式，而預(yù)訓(xùn)練模型在長(zhǎng)文本的復(fù)雜度和效果的突破將直接為長(zhǎng)文本的下游處理帶來(lái)新的方向。

審核編輯 ：李倩

?