電影虛擬化制作技術(shù)是近年來(lái)提出的一種新型影視制作技術(shù)，隨著其發(fā)展和創(chuàng)作需求的提升，電影虛擬化制作不斷推陳出新，制作方式也由最初的基于綠幕的虛擬化制作發(fā)展到近兩年最新提出的概念——基于LED背景墻的虛擬化制作技術(shù)。而攝影機(jī)跟蹤系統(tǒng)是虛擬化制作的前提。
基于LED背景墻的電影虛擬化制作技術(shù)（下稱“LED虛擬化制作”）是指在拍攝現(xiàn)場(chǎng)，通過(guò)攝影機(jī)跟蹤系統(tǒng)和實(shí)時(shí)渲染引擎，將渲染畫(huà)面顯示到LED背景墻上，演員在LED背景墻形成的環(huán)境中進(jìn)行表演，從而實(shí)現(xiàn)拍攝時(shí)的“合成”。這一技術(shù)極大地提高了虛擬化制作的效率，降低拍攝風(fēng)險(xiǎn)，擺脫傳統(tǒng)拍攝過(guò)程中的諸多限制，為影視拍攝、賽事直播、廣告制作、大型演出等不同領(lǐng)域的創(chuàng)作者營(yíng)造更加友好的創(chuàng)作環(huán)境。
攝影機(jī)跟蹤系統(tǒng)是電影虛擬化制作的基礎(chǔ)，在實(shí)際應(yīng)用中，對(duì)于跟蹤系統(tǒng)的要求往往強(qiáng)調(diào)定位精確度、穩(wěn)定性、魯棒性和用戶創(chuàng)作的自由度。目前市面上已經(jīng)存在多種對(duì)于剛體進(jìn)行姿態(tài)估計(jì)和運(yùn)動(dòng)跟蹤較為成熟的解決方案，考慮精度、重量、成本和適用環(huán)境等因素，基于視覺(jué)的攝影機(jī)跟蹤方案已經(jīng)成為目前進(jìn)行虛擬化制作的熱門選擇。
并且隨著LED虛擬化制作技術(shù)的興起，人眼對(duì)于真實(shí)場(chǎng)景與虛擬背景的相對(duì)穩(wěn)定性更加敏感，同時(shí)攝影機(jī)自身的運(yùn)動(dòng)規(guī)律與普通剛體又存在著差異，再加上LED虛擬化制作環(huán)境帶來(lái)的動(dòng)態(tài)變化使得基于視覺(jué)跟蹤的應(yīng)用環(huán)境又重新面臨挑戰(zhàn)。
在真實(shí)的電影拍攝中，一個(gè)運(yùn)動(dòng)鏡頭由起幅、運(yùn)動(dòng)、落幅組成，其中運(yùn)動(dòng)鏡頭主要包括：推、拉、搖、移、跟、升、降、甩。攝影機(jī)在進(jìn)行拍攝時(shí)可視為一個(gè)不會(huì)產(chǎn)生形變的剛體在進(jìn)行歐式變換運(yùn)動(dòng)，這一運(yùn)動(dòng)的特點(diǎn)是無(wú)論位置和方向發(fā)生變換還是在不同坐標(biāo)系下觀察同一個(gè)物體，它的長(zhǎng)度、夾角、體積等形狀和大小都保持不變。在影視制作環(huán)節(jié)中，攝影機(jī)實(shí)際上是對(duì)人眼行為的模擬，攝影機(jī)拍攝呈現(xiàn)畫(huà)面的目標(biāo)是觀眾，所以攝影機(jī)的運(yùn)動(dòng)往往有連續(xù)、平滑等特性。
對(duì)于具體的鏡頭運(yùn)動(dòng)行為，Dolly（推拉）、Pedestal（升降）、Truck（橫移），對(duì)應(yīng)剛體位移運(yùn)動(dòng)中的沿物體正方向指向進(jìn)行前后位移、沿物體縱軸方向指向進(jìn)行上下位移、沿物體水平軸方向指向進(jìn)行左右位移；Pan（橫搖）、Tilt（俯仰）、Roll（橫滾）對(duì)應(yīng)剛體旋轉(zhuǎn)運(yùn)動(dòng)中的繞物體縱軸旋轉(zhuǎn)、繞物體水平軸向進(jìn)行旋轉(zhuǎn)、繞物體正方向指向軸向進(jìn)行旋轉(zhuǎn)。其中，對(duì)于Roll即橫滾運(yùn)動(dòng)，在影視攝影制作中較少涉及該類的鏡頭運(yùn)動(dòng)。因此對(duì)于剛體運(yùn)動(dòng)軌跡的優(yōu)化，則需要針對(duì)攝影拍攝時(shí)的運(yùn)鏡規(guī)律進(jìn)行重新配重與優(yōu)化。
現(xiàn)有的對(duì)剛體進(jìn)行姿態(tài)估計(jì)的解決方法側(cè)重于通過(guò)提升觀測(cè)設(shè)備的刷新率以捕捉物體更加快速的變化，或提升觀測(cè)設(shè)備的分辨率以捕捉更加細(xì)節(jié)的變化和更加精準(zhǔn)的3D特征點(diǎn)的定位精度。這些舉措都缺乏針對(duì)攝影機(jī)位姿變化和運(yùn)動(dòng)規(guī)律的的精準(zhǔn)重建與優(yōu)化，更加適用于普通剛體，例如機(jī)器人或SLAM技術(shù)。然而過(guò)度的濾波平滑又會(huì)造成對(duì)攝影機(jī)動(dòng)作還原的失真，因此選擇算法優(yōu)化適度的攝影機(jī)跟蹤系統(tǒng)同樣重要。
跟蹤設(shè)備選擇方面，因攝影機(jī)的跟蹤所關(guān)注的內(nèi)容是如何從像素坐標(biāo)系還原回世界坐標(biāo)系的位置，所以對(duì)目前常見(jiàn)的跟蹤解決方案進(jìn)行分類，根據(jù)實(shí)現(xiàn)原理的不同可以分為由內(nèi)向外跟蹤及由外向內(nèi)跟蹤兩種方式。由內(nèi)向外跟蹤不需要外部傳感器或信標(biāo)，被追蹤對(duì)象需要搭載不同的傳感器利用算法來(lái)獲取對(duì)象的精確位置，通常在由內(nèi)向外的位置跟蹤中，攝像機(jī)或傳感器位于被跟蹤的設(shè)備上，典型的由內(nèi)向外跟蹤設(shè)備有Ncam、Lightcraft、MoSys、RedSpy等；由外向內(nèi)跟蹤采用某種信標(biāo)的任何方法都屬于外向內(nèi)跟蹤技術(shù)，通常采用光學(xué)跟蹤方式使用攝影機(jī)或其他傳感器放置在一個(gè)固定的位置，面向被追蹤的物體，典型的由外向內(nèi)跟蹤設(shè)備有Vicon、OptiTrack、HTC Vive等。

審核編輯黃宇