手勢是無聲的語言。人們在生活中借用手勢，來表達各種各樣的感情。現(xiàn)在，人還可以與計算機之間進行手勢互動。 與人之間的手勢互動很容易理解，與計算機之間是怎么實現(xiàn)的呢？ 手勢分割 想要使計算機識別人的手勢，首先得將手勢從背景中分割出來。因為計算機采集手勢信息的同時，也會采集到手勢所處的場景信息。 手勢分割通常采用以下幾種方法： 用黑色或白色的墻壁做背景，著深顏色服裝，盡可能簡化背景。要求人手戴上特殊的手套來強調(diào)手部也可，總之在環(huán)境上要突出顯示手部。 采集各種手勢在各個時刻、不同位置、不同比例的手型圖像，作為手勢匹配的模板，建立一個龐大的數(shù)據(jù)庫。 使用邊緣檢測，將手與背景分離開來。 手勢模型訓練 計算機同人一樣，在識別一個手勢前，必須先告訴它這個手勢是什么，代表什么意思。 這個過程就是手勢建模。模型的選取取決于具體應(yīng)用，如果要實現(xiàn)自然的人機交互，就必須建立一個精細有效的手勢模型，使得識別系統(tǒng)能夠?qū)τ脩羲龅慕^大多數(shù)手勢做出正確反應(yīng)。 目前，手勢建模方法可以歸結(jié)為兩大類：基于表觀的手勢建模和基于 3D 模型的手勢建模。 基于表觀的手勢建模是：根據(jù)手勢的指頭數(shù)以及指間的夾角不同，對手勢進行分類，實現(xiàn)手勢在旋轉(zhuǎn)縮放條件下的快速識別。 基于 3D 模型的手勢建模方法是：首先合成人體的 3D 模型，然后改變模型的參數(shù)，直到模型和真實人體映射出同樣的視覺圖像，然后分析身體姿態(tài)。 基于表觀特征的手勢建模方式比較直觀、適應(yīng)性強、運算速度快。但實際應(yīng)用中，需要考慮到光線及身體其他部位顏色的影響，這些因素都將直接影響手勢區(qū)域的提取。 基于 3D 模型的手勢建模識別精度比較高，避免了基于表觀特征識別時因遮擋造成的錯誤識別。雖然 3D 建模技術(shù)已經(jīng)相當成熟，但模型還是太復(fù)雜，以至于不能快速地渲染響應(yīng)。 因此大多數(shù)產(chǎn)品，如 Leap Motion 和 HoloLens 等，都采用了深度圖像信息和手勢表觀特征相結(jié)合的方式。這種方式既可以達到基于表觀的識別速度，又可以實現(xiàn)基于 3D 的識別精度。 手勢分析 對手勢進行建模后，接下來需要對手勢進行分析。手勢分析就是估計選定的手勢模型參數(shù)，這一步一般由特征檢測和參數(shù)估計組成。在特征檢測過程中，必須先確定人手位置。根據(jù)所用的線索不同，可以把定位技術(shù)分為基于顏色定位、基于運動定位以及多模式定位三種。 基于顏色定位技術(shù)的主要缺點是：在不同的光照條件下皮膚顏色變化較大，并且手和身體顏色相同，當身體其他部位出現(xiàn)在手勢背景中，會導(dǎo)致識別錯誤。解決這一問題的簡單方法，就是佩戴一副特殊的手套。 基于運動的定位技術(shù)通常跟某些假設(shè)一起使用。例如，假設(shè)通常情況下只有一個人在做手勢，并且手勢者相對于背景的運動量很小，也就是說圖像中只有手部是運動的。 基于多模式定位技術(shù)，就是運動和顏色信息的融合定位人手。這種方式效果更加準確，但是計算量會增大。 匹配 分析完手勢就等于把手勢分好了類，接下來只需要將讀取到的手勢信息，與這些分析結(jié)果相匹配，匹配過程就叫手勢識別。 手勢識別分為靜態(tài)手勢識別和動態(tài)手勢識別。靜態(tài)手勢相當于我們檢測視力時，對醫(yī)生做的表明方向手勢；動態(tài)手勢相當于籃球場上裁判員做的一些列手勢。 靜態(tài)手勢識別一般采用模板匹配方法來實現(xiàn)。通過一些相似準則，實時地比較手勢與模板庫中預(yù)定義手勢的相似度，從而根據(jù)最大相似度來提取出手勢模板。 與靜態(tài)手勢不同，動態(tài)手勢涉及時間及空間上下文。絕大多數(shù)動態(tài)手勢被建模為手勢模型空間里的一條軌跡。不同用戶做手勢時存在的速率差異、熟練程度等問題，會使運動軌跡與模型軌跡產(chǎn)生較大偏差。 為了消除這一問題?，F(xiàn)有的動態(tài)手勢識別技術(shù)可以分為三類：基于隱馬爾科夫模型（Hidden Markow Models，HMM）的識別，基于動態(tài)時間規(guī)整（Dynamic Time Warping，DTW）的識別，基于壓縮時間軸的識別。 HMM 算法因具有自動分割和分類能力，被廣泛應(yīng)用，以下例子能很好地說明這一算法的原理。 假設(shè)你有一個住得很遠的朋友，他每天跟你打電話告訴你他那天做了什么。朋友僅僅對三種活動感興趣：公園散步、購物以及清理房間。他選擇做什么事情只憑天氣。 盡管你對于他所住地方的天氣情況并不了解，但是你可以根據(jù)他今天所做的事情，來猜測天氣情況。這整個系統(tǒng)就是一個隱馬爾可夫模型 HMM。 在這個系統(tǒng)里，你知道的這個地區(qū)的天氣趨勢以及朋友在做的事情，這些就是隱馬爾可夫模型里的參數(shù)，它們是已知的。而手勢可以描述為一系列由方向向量構(gòu)成的系列，相近向量可以用一個符號來描述。如下圖所示： 我們可以識別手指的位置，然后根據(jù) HMM 模型去猜測軌跡，通過軌跡即可分析手勢的意思。 本文配圖來自 Google 題圖來源：YouTube 轉(zhuǎn)載于： (mbbeetchina)