當(dāng)你在連續(xù)一段時(shí)間內(nèi)觀察某件事時(shí)，可以找到能夠進(jìn)行預(yù)測(cè)的趨勢(shì)或模式。而通過(guò)預(yù)測(cè)，你可以提醒自己采取適當(dāng)?shù)男袆?dòng)。

具體來(lái)說(shuō)，當(dāng)你觀察移動(dòng)的目標(biāo)時(shí)，軌跡是理解目標(biāo)行為的最重要方法之一，可以基于此獲得可操作的見(jiàn)解（視頻 1）。

視頻 1：獵豹追逐獵物（資料來(lái)源：Adobe)

當(dāng)獵物距離較遠(yuǎn)時(shí)，獵豹長(zhǎng)周期內(nèi)的運(yùn)動(dòng)模式對(duì)規(guī)劃捕獵更為重要。而隨著獵物越來(lái)越近，在做出預(yù)測(cè)時(shí)，獵物短周期內(nèi)的運(yùn)動(dòng)模式則會(huì)成為關(guān)鍵點(diǎn)。獵豹的視覺(jué)系統(tǒng)會(huì)鎖定獵物，并一直跟蹤它，直到捕獲。

同樣，如果想生成關(guān)于目標(biāo)的軌跡，需要隨著時(shí)間的推移始終跟進(jìn)識(shí)別同一目標(biāo)，即使在視覺(jué)外觀或運(yùn)動(dòng)動(dòng)力學(xué)發(fā)生突然變化的情況下，也是如此。然而，當(dāng)目標(biāo)被部分或完全遮擋時(shí)，要做到這一點(diǎn)就會(huì)更困難。通常來(lái)說(shuō)，在附近有長(zhǎng)時(shí)間的遮擋，或視覺(jué)上有引人注目的物體等極具挑戰(zhàn)性的情況下，即使是食肉動(dòng)物或擁有強(qiáng)大視覺(jué)系統(tǒng)的人類(lèi)，也經(jīng)常會(huì)失去對(duì)目標(biāo)的跟蹤（圖 1）。

圖 1：東京澀谷十字路口（資料來(lái)源：Adobe)

目標(biāo)軌跡也是許多視覺(jué)人工智能應(yīng)用的關(guān)鍵部分，例如用于結(jié)賬隊(duì)列分析、商店布局優(yōu)化和生產(chǎn)檢查。

NVIDIADeepStream SDK提供了 GPU 加速多目標(biāo)跟蹤器（MOT）。最新版DeepStream SDK 6.2發(fā)布后，多目標(biāo)跟蹤器更是有了顯著的提升，有效地解決了具有挑戰(zhàn)性的遮擋問(wèn)題。利用基于深度神經(jīng)網(wǎng)絡(luò)的重新識(shí)別（ReID）模型進(jìn)行目標(biāo)匹配和關(guān)聯(lián)，來(lái)實(shí)現(xiàn)這一點(diǎn)。

NvDCF現(xiàn)已可配置使用 ReID 模型，對(duì)可能經(jīng)歷長(zhǎng)時(shí)間遮擋或較長(zhǎng)時(shí)間錯(cuò)過(guò)檢測(cè)的目標(biāo)提高關(guān)聯(lián)性。NvDCF 仍然使用基于強(qiáng)魯棒性和高效短期跟蹤的判別式相關(guān)濾波器（DCF）方法。同時(shí)還配備了神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)的長(zhǎng)期目標(biāo)重新關(guān)聯(lián)，從而在多目標(biāo)跟蹤的效率、準(zhǔn)確性和魯棒性之間取得最終平衡。

NvDeepSORT使用基于NVIDIA TensorRT的 ReID 模型中提取的深度特征，來(lái)執(zhí)行用于跨視頻幀跟蹤的目標(biāo)關(guān)聯(lián)。您能夠使用自定義 ReID 模型，以便進(jìn)行多目標(biāo)跟蹤。

NvSORT是 NVIDIA 支持的簡(jiǎn)單在線實(shí)時(shí)跟蹤器 (SORT) ，使用卡爾曼濾波器進(jìn)行狀態(tài)估計(jì)，并基于來(lái)自檢測(cè)器的目標(biāo)邊界框，使用數(shù)據(jù)關(guān)聯(lián)算法進(jìn)行目標(biāo)關(guān)聯(lián)。NvSORT 使用級(jí)聯(lián)數(shù)據(jù)關(guān)聯(lián)算法進(jìn)行強(qiáng)魯棒性的目標(biāo)匹配，這是對(duì)原始 SORT 的優(yōu)化。

得益于 DeepStream SDK 中的統(tǒng)一跟蹤器架構(gòu)，增強(qiáng)的級(jí)聯(lián)數(shù)據(jù)關(guān)聯(lián)算法也用于以下所有其他類(lèi)型的 MOT：NvDCF 和 NvDeepSORT。統(tǒng)一跟蹤器架構(gòu)讓您能夠通過(guò)NvMultiObjectTracker庫(kù)，根據(jù)選擇的跟蹤器類(lèi)型啟用和禁用單個(gè)模塊。同樣，您也可以使用NvDsTracker構(gòu)建自定義跟蹤器。

表 1 總結(jié)了 DeepStream 6.2 中提供的多對(duì)象跟蹤器組合。

表 1：DeepStream SDK 6.2 中提供的多對(duì)象跟蹤器

行人追蹤

是時(shí)候在一些有趣的場(chǎng)景中使用這些目標(biāo)跟蹤器，生成目標(biāo)的軌跡并檢驗(yàn)效果了。

首先是一個(gè)行人跟蹤用例。使用了 PeopleNet v2.6 檢測(cè)器，上面裝配了不同類(lèi)型的物體跟蹤器。檢測(cè)器配置參數(shù)和跟蹤器參數(shù)都針對(duì) PeopleNet v2.6 進(jìn)行了調(diào)整。有關(guān)詳細(xì)信息，請(qǐng)參閱DeepStream 6.2 Object Tracker documentation（https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_plugin_gst-nvtracker.html#setup-and-visualization-of-tracker-sample-pipelines）。

在視頻 2 中，對(duì) PeopleNet 、NvSORT、NvDeepSORT 和 NvDCF 的實(shí)時(shí)感知結(jié)果以順時(shí)針?lè)较蝻@示，用于并排比較。不同的人和邊界框（bbox）為了更容易識(shí)別，用了不同的顏色繪制，并且只有當(dāng)場(chǎng)景中存在相應(yīng)的目標(biāo)時(shí)，才會(huì)顯示顏色編碼的軌跡。視頻是以 x0.5 的速度拍攝的，以便于比較，但實(shí)際數(shù)據(jù)是實(shí)時(shí)生成的。

bbox 頂部的標(biāo)簽（例如[21]: 80 (0.24)) 顯示的是個(gè)人 ID （例如 21)， 跟蹤年齡（例如 80) 和跟蹤置信度（例如 0.24)。檢測(cè)器配置參數(shù)針對(duì)每種跟蹤器類(lèi)型進(jìn)行不同配置，以獲得更好的跟蹤精度。

視頻 2：室內(nèi)大堂的行人追蹤

使用相同的檢測(cè)模型時(shí)，并排的視覺(jué)比較使您能夠獲得不同對(duì)象跟蹤器類(lèi)型的行為和質(zhì)量的定性見(jiàn)解。NvDCF 跟蹤器具有最高的精度，因此我們?cè)谝曨l 3 中更仔細(xì)地顯示了其跟蹤結(jié)果。

視頻 3：NvDCF 跟蹤器在完全遮擋的情況下跟蹤行人

下方圖 2 的場(chǎng)景中央有一個(gè)大柱子，會(huì)導(dǎo)致走在后面的人長(zhǎng)時(shí)間被完全遮擋。對(duì)于任何目標(biāo)檢測(cè)或跟蹤系統(tǒng)來(lái)說(shuō)，這都是一個(gè)特別具有挑戰(zhàn)性的場(chǎng)景。一些檢測(cè)錯(cuò)誤包括部分或雙重檢測(cè)和遺漏檢測(cè)，根據(jù)背景和物理環(huán)境的不同，可能會(huì)非常頻繁地發(fā)生。

圖 2：樣本檢測(cè)錯(cuò)誤：

有兩個(gè)人的邊界框、遺漏檢測(cè)和部分檢測(cè)

幸好，新引入了基于 ReID 的目標(biāo)重新關(guān)聯(lián)，NvDCF 跟蹤器可以成功跟蹤大多數(shù)人（視頻 4），即使他們?cè)谥雍竺娼?jīng)歷了完全遮擋。它不僅在許多幀之后重新關(guān)聯(lián)柱子前后的相同對(duì)象，而且還恢復(fù)了由柱子引起的遺漏檢測(cè)（漏報(bào)率）。

一個(gè)更具挑戰(zhàn)性的場(chǎng)景是，除了這種環(huán)境遮擋之外，還有許多其他目標(biāo)的遮擋（視頻 4）。這種遮擋產(chǎn)生不同程度的部分遮擋，其中檢測(cè)到的目標(biāo)邊界框的大小和縱橫比，在短時(shí)間內(nèi)會(huì)顯著變化。這給目標(biāo)匹配和跟蹤中的關(guān)聯(lián)帶來(lái)了挑戰(zhàn)。

視頻 4：NvDCF 跟蹤器在完全和部分遮擋情況下

對(duì)行人進(jìn)行跟蹤

盡管存在這些挑戰(zhàn)，您可以看到 NvDCF 跟蹤器在大多數(shù)情況下只需幾個(gè) ID 開(kāi)關(guān)即可執(zhí)行魯棒跟蹤。在目標(biāo)離開(kāi)場(chǎng)景之后，目標(biāo)跟蹤就會(huì)被配置為立即終止。視頻 4 中離開(kāi)場(chǎng)景的一些目標(biāo)，在重新進(jìn)入后按照計(jì)劃被分配了不同的 ID。

仔細(xì)觀察圖 3 和視頻 4 中的目標(biāo) ID [3]，如圖 3 和視頻 4 所示。在整個(gè)行程中，他多次經(jīng)歷嚴(yán)重的完全和部分遮擋，但他從一開(kāi)始就一直被跟蹤，直到離開(kāi)現(xiàn)場(chǎng)。

圖 3：穿著白襯衣的目標(biāo) ID [3] 的人

在視頻 4 中的四張快照

視頻 5 顯示了跟蹤器內(nèi)部使用的目標(biāo)模板，其中提取了特征，以及同一目標(biāo)的相關(guān)性響應(yīng)圖。紫色的“x”標(biāo)記顯示附近的目標(biāo)位置，而黃色的“+”標(biāo)記顯示當(dāng)前目標(biāo)位置。

視頻 5：（左）跟蹤器使用的圖像模板；

（右）目標(biāo)周?chē)南嚓P(guān)性響應(yīng)

這些結(jié)果是使用相對(duì)簡(jiǎn)單的基于 ResNet-10 的 ReID 模型生成的。為了獲得更好的結(jié)果，我們鼓勵(lì)您嘗試更高級(jí)的自定義 ReID 模型。

DeepStream 6.2 中的 NvDCF 跟蹤器是一款先進(jìn)的多目標(biāo)跟蹤器，在精度和性能之間取得了很大的平衡。在 MOT17 Challenge 排行榜上，您可以看到學(xué)術(shù)界和工業(yè)界都積極提交了許多跟蹤器。NvDCF 跟蹤器在 MOT17 排行榜上顯示為 NvMOT _ DSv62 型，是實(shí)時(shí)生成輸出的在線跟蹤器中的頂級(jí)跟蹤器之一。

車(chē)輛跟蹤

對(duì)于車(chē)輛跟蹤用例，我們使用 TrafficCamNet 帶有 DeepStream 多目標(biāo)跟蹤器的探測(cè)器。我們使用了一個(gè)典型的車(chē)輛交通監(jiān)控系統(tǒng)的場(chǎng)景進(jìn)行測(cè)試，該系統(tǒng)俯瞰著一個(gè)繁忙的十字路口。有大小燈桿和交通信號(hào)桿，造成了大量遮擋。相對(duì)較少的攝像機(jī)有利位置更加劇了遮擋問(wèn)題，導(dǎo)致了對(duì)其他車(chē)輛的許多遮擋。此外，道路上的植被也增加了場(chǎng)景的復(fù)雜性。

由于交通桿和樹(shù)木的存在，車(chē)輛會(huì)發(fā)生部分和完全遮擋，導(dǎo)致大量的漏檢和錯(cuò)誤檢測(cè)。您可以在并排視頻中看到，不同類(lèi)型的目標(biāo)跟蹤器如何處理這些具有挑戰(zhàn)性的情況（視頻 6）。該視頻是以 x0.4 的速度拍攝的，但實(shí)際數(shù)據(jù)是實(shí)時(shí)生成的。

視頻 6：繁忙十字路口的車(chē)輛跟蹤

在視頻的左上角，顯示了 TrafficCamNet 檢測(cè)器的對(duì)象框，您可能會(huì)注意到檢測(cè)噪音。其中包括檢測(cè)到的 bbox 中的抖動(dòng)、在單個(gè) bbox 中捕獲多個(gè)對(duì)象的雙重檢測(cè)、由于遮擋而導(dǎo)致的部分檢測(cè)等等。

當(dāng)車(chē)輛在交通桿后被遮擋時(shí)，這些檢測(cè)誤差和噪聲會(huì)變得更加嚴(yán)重。要了解 DeepStream 多對(duì)象跟蹤器如何處理這些噪聲檢測(cè)，請(qǐng)參閱視頻 6 ，并在視頻 7 中更仔細(xì)地了解 NvDCF 跟蹤器的跟蹤結(jié)果。

視頻 7：NvDCF 跟蹤器的車(chē)輛跟蹤

總結(jié)

您可以下載并嘗試DeepStream SDK 6.2（https://developer.nvidia.com/deepstream-sdk），為您的用例添加強(qiáng)魯棒性高效的多對(duì)象跟蹤器！

有關(guān)多目標(biāo)跟蹤器組成部分的更多信息，請(qǐng)參閱NVIDIA DeepStream Technical Deep Dive: Multi-Object Tracker視頻（https://www.youtube.com/watch?v=4nV-GtqggEw）。

即刻點(diǎn)擊“閱讀原文”或掃描下方海報(bào)二維碼，在 NVIDIA On-Demand 上觀看 GTC 精選回放，包括主題演講相關(guān)精選、中國(guó)本地精選內(nèi)容、生成式 AI 專(zhuān)題以及全球各行業(yè)及領(lǐng)域最新成果！