（文章來源：DeepTech）

近年來，隨著深度學習的迅速發(fā)展和廣泛的潛在應用，基于計算機視覺的唇讀技術(shù)受到越來越多的關(guān)注，它在實踐中有許多重要的應用，如輔助語音識別、生物認證、幫助聽障人士等。但是唇讀任務的難度非常高，一個關(guān)鍵點是如何有效地獲取唇部的運動信息，同時抵抗由姿勢、光線變化引起的識別困難，講話人的外貌、講話速度變化等干擾因素，此外，如何把唇語圖像特征與詞匯文本進行精確關(guān)聯(lián)或者區(qū)分同音詞也挑戰(zhàn)重重。

來自浙江工業(yè)大學、中國科學院智能信息處理重點實驗室以及中國科學院計算技術(shù)研究所的研究人員針對這些問題，提出在局部特征層和全局序列層引入互信息約束，以增強唇部視覺特征與語音內(nèi)容的關(guān)系。通過在一些主流數(shù)據(jù)集上測試，該團隊提出的方法有望同時具有較好的鑒別能力和魯棒性，以實現(xiàn)有效的唇讀。

唇讀領(lǐng)域有一個重要技術(shù)分支即詞匯級唇讀，對于該任務，需要用單個單詞標簽對每個輸入視頻進行注釋，盡管在同一視頻中也存在其他單詞，如上圖所示：（a）中的視頻樣本總共包括 29 幀，被注釋為 “ABOUT”，但是單詞“ABOUT” 的實際幀僅包括時間步驟 T＝1219 的幀，這個間隔前后的幀分別對應于單詞是 “JUST” 和“TEN”，而不是“ABOUT”。在基于唇語視覺的研究中，我們總是很難劃分一個單詞的確切邊界。

這種特性要求一個好的唇讀模型能夠?qū)W習到同一個詞標簽下不同視頻中反映的潛在但一致的特性，從而能夠更多地關(guān)注有效的關(guān)鍵幀，而較少關(guān)注其他無關(guān)幀。除了不精確的詞匯邊界挑戰(zhàn)外，對應于同一個詞標簽的視頻樣本總是具有極大的多樣化和外觀變化，如（b）所示，所有這些特性都要求唇讀模型能夠抵抗序列中的噪聲，從而在不同的語音條件下捕獲一致的潛在模式。

同時，由于唇部動作的有效面積有限，不同的詞在說話過程中可能表現(xiàn)出相似的現(xiàn)象。特別是，同音詞的存在，不同的詞看起來可能相同或非常相似，增加了許多額外的困難，這些屬性要求模型能夠發(fā)現(xiàn)與幀級別中不同單詞相關(guān)的細粒度差異，以便區(qū)分每個單詞。為了解決上述問題，研究人員在不同層次上引入了互信息最大化（MIM），以幫助該模型學習魯棒性和區(qū)分性表示，從而實現(xiàn)有效的唇讀。

一方面，通過施加局部互信息最大化約束（LMIM）來約束每個時間步產(chǎn)生的特征，使其與語音內(nèi)容之間具有很強的相關(guān)性，從而提高了模型發(fā)現(xiàn)精細的嘴唇動作的能力，以及發(fā)音相似的單詞之間的細微差別，比如 “spend” 和“spending”；另一方面，引入了全局序列水平上的互信息最大化約束（GMIM），使得模型能夠更加注意區(qū)分與語音內(nèi)容相關(guān)的關(guān)鍵幀，而且在說話過程中出現(xiàn)的各種噪音也較少。

此外，GMIM 迫使模型學習不同樣本中同一個詞標簽的潛在一致全局模式，同時對姿勢、光照和其他不相關(guān)條件的變化具有魯棒性；LMIM 可增強每個時間步與單詞相關(guān)的細粒度運動，進一步增強不同單詞之間的差異。通過將這兩類約束結(jié)合起來，模型可以自動發(fā)現(xiàn)和區(qū)分目標詞的有效重要幀，而忽略其他無關(guān)幀，進一步提高了識別的精準度。

最后，團隊在兩個大規(guī)模的單詞級唇讀數(shù)據(jù)集 LRW 和 LRW-1000 上與同行提出的主流唇語識別模型方法做了對比評估，這兩個數(shù)據(jù)集的樣本都是從各種不同的電視節(jié)目中收集的，并且演講條件也有很大的變化，涵蓋了包括燈光條件、分辨率、姿勢、性別、化妝等在內(nèi)的多種說話條件。

LRW 于 2016 年發(fā)布，包括 500 個單詞的唇形樣本，1000 多個演講者，訓練集中的實例數(shù)達到 488766 個，驗證和測試集中的每個實例數(shù)為 25000 個；LRW-1000 數(shù)據(jù)集則是一個大規(guī)模的自然分布的字級基準數(shù)據(jù)集，總共有 1000 個中文詞匯，總計大約 718018 個樣本實例，持續(xù)時間約 57 小時，不過該數(shù)據(jù)集旨在覆蓋不同語音模式和成像條件下的自然變化，以納入實際應用中遇到的挑戰(zhàn)。

在 LRW 數(shù)據(jù)集上，引入 LMIM 之后，在基線準確率基礎(chǔ)上提高了約 1.19%，LMIM 有望為主要任務捕獲更具區(qū)分性和細粒度的特征，同時引入 GMIM 則把精度提高到了 84.41%，主要得益于其對不同幀的不同關(guān)注。

不過，在 LRW-1000 數(shù)據(jù)集上因其語音條件變化較大，包括燈光條件、分辨率、演講者年齡、姿勢、性別、化妝等，此前行業(yè)最佳測試結(jié)果僅為 38.19%。在這個數(shù)據(jù)集上獲得良好的識別效果仍是一個挑戰(zhàn)，新的模型方式獲得了 38.79% 的識別精度，略微優(yōu)于現(xiàn)有的最新結(jié)果。

結(jié)果表明，該團隊提出的方法在不使用額外數(shù)據(jù)或額外的預訓練模型的情況下，在兩個具有挑戰(zhàn)性的數(shù)據(jù)集上相比其他唇語識別模型，呈現(xiàn)出一種新的實時性能狀態(tài)。此外，團隊表示，該方法還可以很容易地修改為其他任務的模型，從而為其他任務的研究提供一些有意義的見解。
（責任編輯：fqj）