一個(gè)極具前景的物聯(lián)網(wǎng)人工智能 (AI) 視覺技術(shù)應(yīng)用——通過采集店內(nèi)消費(fèi)者的數(shù)據(jù)，幫助零售商利用這些視頻數(shù)據(jù)，更快速、更高效地優(yōu)化產(chǎn)品陳列、布局動(dòng)線和客戶體驗(yàn)。

但同時(shí)也面臨著兩個(gè)主要挑戰(zhàn)：成本和復(fù)雜性。假設(shè)一家大型超市想要采集客流量、消費(fèi)者購買記錄及其它數(shù)據(jù)，則需要在店內(nèi)安裝大約 15,000 個(gè)攝像頭。對于每秒 30 幀的 4K 視頻，15,000 個(gè)攝像頭每秒將產(chǎn)生 225 GB 的數(shù)據(jù)。

相較于其它形式的數(shù)據(jù)，視頻的數(shù)據(jù)量十分龐大，處理流程也相當(dāng)復(fù)雜，包括圖像識別、物體檢測和場景分析。這些 AI 視覺任務(wù)需要先進(jìn)的算法和模型支持，這讓計(jì)算變得更為復(fù)雜。此外，這類大數(shù)據(jù)需要傳送回云端進(jìn)行高效計(jì)算，再發(fā)送回來，以便進(jìn)行決策判斷。顯然，每秒 225 GB 的數(shù)據(jù)并不具有經(jīng)濟(jì)性。

但現(xiàn)在早已不是 2018 年了。在過去五年中，上述的場景發(fā)生了巨大的變化?，F(xiàn)在，結(jié)合 AI 與機(jī)器學(xué)習(xí) (ML)[1]，經(jīng)過不斷提升后的邊緣處理能力可實(shí)現(xiàn)更高的效率，意味著許多極具前景的視覺應(yīng)用在以往所面臨的巨大經(jīng)濟(jì)性障礙正在被逐步掃除。

釋放邊緣 AI 視覺的創(chuàng)新力

此前，很多關(guān)鍵性技術(shù)都各自為政，幾乎很難或根本不可能與其它重要組件相互集成，以實(shí)現(xiàn)一個(gè)無縫創(chuàng)新的生態(tài)系統(tǒng)。在同質(zhì)處理的環(huán)境中，人們用一個(gè)解決方案來滿足所有的需求，但這對于不同的視覺工作負(fù)載提供定制化解決方案的實(shí)現(xiàn)，是極其困難的。那現(xiàn)如今有什么不同呢？

工程師和開發(fā)者們已攻克了成本、復(fù)雜性及其它一些難題。以復(fù)雜性這一挑戰(zhàn)為例。降低視覺解決方案的成本和復(fù)雜性的途徑之一是，為開發(fā)者在邊緣解決方案（異構(gòu)計(jì)算）的實(shí)施過程中提供更高的靈活性。

芯片設(shè)計(jì)公司正在生產(chǎn)性能更加強(qiáng)大的處理器，帶來了更高計(jì)算性能的同時(shí)維持高能效表現(xiàn)。這些處理器包括 CPU、GPU、ISP 和加速器，能夠在一些資源受限的環(huán)境下處理 AI 和 ML 等復(fù)雜任務(wù)。此外，通過 AI 加速器，無論是作為 SoC 內(nèi)核，還是作為獨(dú)立的 SoC，均能夠在邊緣高效地執(zhí)行 AI 算法。

解決復(fù)雜性

談到復(fù)雜性方面的問題。2022 年，Arm 推出了 ArmMali-C55，這是 Arm 迄今推出的最小芯片面積下，可實(shí)現(xiàn)高性能表現(xiàn)的圖像信號處理器 (ISP)。該處理器集高圖像質(zhì)量、高吞吐量、高能效和芯片面積優(yōu)勢于一體，適合端點(diǎn) AI、智能家居攝像頭、AR/VR 和智能顯示屏等應(yīng)用。該處理器的吞吐量高達(dá) 1.2Gpix/sec (每秒 12 億像素)，可帶來更高的性能表現(xiàn)，是嚴(yán)苛的視覺處理任務(wù)的理想之選。在向異構(gòu)計(jì)算推進(jìn)過程中，Mali-C55 的設(shè)計(jì)用途之一便是搭配 Cortex-A 或 Cortex-M CPU，無縫集成到 SoC 設(shè)計(jì)中。

這一點(diǎn)非常關(guān)鍵，因?yàn)樵?SoC 中，ISP 的輸出通常被直接發(fā)送至 ML 加速器中，以便通過神經(jīng)網(wǎng)絡(luò)或類似算法做進(jìn)一步的處理。這涉及到為 ML 模型提供縮放圖像，以處理諸如物體檢測和姿態(tài)估計(jì)等任務(wù)。

這種協(xié)同作用反過來又催生了具備 ML 功能的攝像頭和“軟件定義攝像頭”的概念，使 OEM 廠商和服務(wù)提供商能夠在全球范圍內(nèi)部署攝像頭，并提供具備動(dòng)態(tài)功能增強(qiáng)的迭代功能和商業(yè)模式。

舉個(gè)例子，假設(shè)在一個(gè)停車場，每個(gè)車位上方都安裝了攝像頭，用于判斷該車位是否泊車。在 2018 年，這是種不錯(cuò)的解決方案，駛?cè)胪＼噲龅鸟{駛員能夠一眼看到哪里有空余車位。但在 2023 年，這種解決方案已不具經(jīng)濟(jì)性。利用邊緣 AI 的概念，僅在每一層的出入口放置一到兩個(gè)攝像頭，利用 AI 算法算出剩余空車位，這樣的方案才符合 2023 年的思維模式。

再次回到大型超市的場景：15,000 個(gè)攝像頭每秒產(chǎn)生 225 GB 的數(shù)據(jù)。現(xiàn)在你應(yīng)該知道如何提供解決方案了吧？

亞馬遜早已意識到這一問題，在其最新版本的 “Just Walk Out” 商店技術(shù)中，攝像頭模塊的計(jì)算能力已得到提升。將 AI 部署在邊緣側(cè)，以實(shí)現(xiàn)更高效、更快速的計(jì)算。

借助這樣強(qiáng)大且經(jīng)濟(jì)高效的視覺技術(shù)，超市零售商或許可以通過分析店內(nèi)攝像頭記錄下的視頻數(shù)據(jù)，進(jìn)行分析、得到結(jié)論，舉例來說，大多數(shù)顧客會(huì)在上午 9 點(diǎn)至 11 點(diǎn)之間購買橙子，繼而確定在每天中午前后需要補(bǔ)充貨架上的橙子。通過進(jìn)一步分析，零售商發(fā)現(xiàn)很多顧客（出于隱私原因而在視頻數(shù)據(jù)中匿名）在同一次購物期間還會(huì)購買花生。由此，可以根據(jù)這些反饋對商品的陳列進(jìn)行調(diào)整。

適當(dāng)?shù)奈恢?，?zhǔn)確的計(jì)算

將適當(dāng)?shù)倪吘?AI 計(jì)算[2]部署在更靠近傳感器的位置，能減少延遲性，提高安全性并降低成本，還可以催生新的業(yè)務(wù)模式。

視頻監(jiān)控即服務(wù) (VSaaS)[3] 便是由此誕生的一種業(yè)務(wù)模式。VSaaS 包含視頻錄制、存儲(chǔ)、遠(yuǎn)程管理及網(wǎng)絡(luò)安全的配置，將本地?cái)z像頭與云端的視頻管理系統(tǒng)相結(jié)合。根據(jù) Transparency Market Research[4] 預(yù)測，截至 2027 年，VSaaS 市場規(guī)模將達(dá)到 1,320 億美元。

然而，從更廣泛的角度來看，許多蘊(yùn)含巨大機(jī)遇仍尚未爆發(fā)。受限于經(jīng)濟(jì)、處理能力的限制或純粹的復(fù)雜性等因素，許多強(qiáng)大的潛在應(yīng)用仍在等待迎風(fēng)而上。比如：

智慧城市：在智慧城市領(lǐng)域，通過視頻分析實(shí)現(xiàn)交通管理、人流分析和停車空間優(yōu)化，由此產(chǎn)生海量數(shù)據(jù)。

工業(yè)自動(dòng)化：質(zhì)量控制、缺陷檢測和流程優(yōu)化。

自動(dòng)駕駛汽車：自動(dòng)駕駛汽車（比如自動(dòng)駕駛汽車和無人機(jī)）上的傳感器和攝像頭，為導(dǎo)航和安全系統(tǒng)采集數(shù)據(jù)，實(shí)時(shí)感知周圍情況。

虛擬現(xiàn)實(shí) (VR) 和增強(qiáng)現(xiàn)實(shí) (AR)：沉浸式 VR 和 AR 體驗(yàn)需要實(shí)時(shí)渲染和處理高分辨率視覺內(nèi)容，因此會(huì)生成大量數(shù)據(jù)。

走在前沿的實(shí)踐者不會(huì)作壁上觀。在韓國平澤市，該市的政府計(jì)劃利用 AI 和自動(dòng)駕駛等智慧城市技術(shù)構(gòu)建試點(diǎn)平臺(tái)，并將于 2025 年完成，之后計(jì)劃逐步在全市進(jìn)行普及。

這座擁有五十萬人口的城市正努力應(yīng)對交通擁堵和交通事故導(dǎo)致的行人意外死亡問題。作為全市“智慧城市”改革的一部分，專家們在視覺設(shè)備中部署了 Arm 合作伙伴 Nota.ai 的 Nespresso 平臺(tái)[5]，這是一種 AI 模型自動(dòng)壓縮解決方案，有助于打造智能交通系統(tǒng)。

在設(shè)備方面，諸多巧妙的設(shè)計(jì)正在助力客戶實(shí)現(xiàn)視覺愿景。例如奇景光電 (Himax) 的 WiseEye-II，這是一款智能影像感測方案，可部署在一系列由電池驅(qū)動(dòng)的消費(fèi)類和家庭安防應(yīng)用中，包括筆記本電腦、門鈴、門鎖、攝像頭和智能辦公室。該解決方案與 Arm 微控制器和神經(jīng)處理器內(nèi)核相結(jié)合，使機(jī)器視覺 AI 更深入地融合到消費(fèi)類和智能家居設(shè)備中。

得益于邊緣 AI 技術(shù)取得的驚人進(jìn)步，當(dāng)下正在開發(fā)的示例和為未來創(chuàng)新所做的設(shè)計(jì)正逐步成為現(xiàn)實(shí)。而在視覺領(lǐng)域，這些技術(shù)正在基于 Arm 架構(gòu)而構(gòu)建。

除了硬件，Arm 還通過軟件庫、互聯(lián)標(biāo)準(zhǔn)、安全框架和 Arm 虛擬硬件等開發(fā)工具，幫助開發(fā)者更快速、更高效地開發(fā)圖像解決方案，開發(fā)者無需等待硬件就緒，便可在目標(biāo)架構(gòu)上對其應(yīng)用進(jìn)行虛擬化運(yùn)行。

過去，人們曾希望利用視覺技術(shù)改變世界，挖掘未曾被開發(fā)的大量數(shù)據(jù)，但由于成本和復(fù)雜性，這一夢想被認(rèn)為遙不可及。但現(xiàn)在，它們已成為現(xiàn)實(shí)。