視頻處理是現(xiàn)代世界的一項關鍵技術；它使電子系統(tǒng)能夠捕獲、處理和提取視頻中包含的數(shù)據(jù)。因此，視頻處理是許多應用的基礎技術，從智能城市交通管理到廣播。

所有這些應用程序都需要處理高分辨率幀的能力——例如，幀速率為每秒 60 幀或更高的 4K 或 8K 分辨率。這相當于在 4K 分辨率下每秒處理 5 億像素或在 8K 分辨率下每秒處理 19.9 億像素。對于僅顯示接收到的視頻的簡單視頻捕獲和顯示管道，這些是具有挑戰(zhàn)性的性能數(shù)據(jù)。當需要額外的處理步驟時——例如，檢測和分類對象或執(zhí)行轉(zhuǎn)碼——實現(xiàn)幀速率所需的處理要求是相當大的。如果視頻分析對時間至關重要，例如在智能城市交通監(jiān)控部署中，高級算法使用人工智能和機器學習預測和平滑交通流，則尤其如此。

創(chuàng)建復雜的視頻處理系統(tǒng)超出了對純處理能力的需求，還需要高 I/O 數(shù)量以連接各種外部傳感器、相機和執(zhí)行器。對于智能城市交通管理系統(tǒng)，這種接口可能意味著支持多個視頻傳感器，同時使用 JPEG XS 提供高性能網(wǎng)絡接口和關鍵事件的本地存儲/記錄。再舉一個例子，考慮一種依賴視頻處理的醫(yī)療外科機器人系統(tǒng)。該系統(tǒng)必須與傳感器接口，同時控制照明，并提供對一系列電機和執(zhí)行器的精細控制。對于這兩種應用程序，接口挑戰(zhàn)都非常大。行業(yè)對具有支持多個高速傳感器并提供與廣泛的網(wǎng)絡和工業(yè)接口進行通信所需的接口功能的性能的設備存在很高的需求。

FPGA 在視頻處理中的作用

系統(tǒng)設計工程師用來應對這些性能和接口挑戰(zhàn)的領先技術之一是現(xiàn)場可編程門陣列 (FPGA)。FPGA 提供了可用于實現(xiàn)高度并行流水線處理結(jié)構(gòu)的設計器邏輯資源。與內(nèi)部架構(gòu)的靈活性一樣，F(xiàn)PGA 的 I/O 結(jié)構(gòu)也非常靈活，可以實現(xiàn)高速和低速接口的連接。這種靈活性使 FPGA 能夠支持多種高性能視頻傳感器和網(wǎng)絡接口，并實現(xiàn)用于控制執(zhí)行器、傳感器、電機和其他外部設備的低帶寬工業(yè)、傳統(tǒng)和自定義接口。

在邏輯中實現(xiàn)視頻處理算法可以創(chuàng)建深度并行化的實現(xiàn)。這些并行實現(xiàn)增加了確定性并減少了延遲，因為可以消除處理系統(tǒng)中的瓶頸。

選擇 FPGA

當然，F(xiàn)PGA 的選擇會因應用而異，以確保最有效的解決方案。設計工程師根據(jù)邏輯容量和性能、接口功能以及專門的硬宏來選擇設備。例如，Intel ? Arria ? 10 系列的設備通常被選擇用于醫(yī)療和專業(yè) A/V 視頻處理應用，而Stratix ? 10系列的設備則非常適合廣播解決方案。除了高性能邏輯，Arria ? 10 系列還為開發(fā)人員提供了一系列與 GT 和 GX 系列的高帶寬互連解決方案，而 SX 系列則提供了 Arm ?能夠?qū)崿F(xiàn)順序處理的 A9 處理器，例如人機界面 (HMI)、GUI、通信協(xié)議等。

英特爾? Stratix ? 10 家族在功能上提供了重大的進步，在 SX 設備中提供嵌入式 Arm ? A53內(nèi)核，在 GX 設備中提供高性能浮點和吞吐量解決方案，并在 NX 設備中支持 AI/ML。可供選擇的器件種類繁多，允許開發(fā)人員為手頭的應用選擇最合適的 FPGA。

無論選擇何種設備，設計工程師都需要范圍廣泛的生產(chǎn)就緒 IP 來滿足日益苛刻的項目時間表。

在英特爾? Quartus ? Prime 設計軟件中，開發(fā)人員可以使用英特爾全面的視頻和圖像處理套件。該套件具有 20 多個高度優(yōu)化的、可直接用于生產(chǎn)的 IP 塊，它們提供了實施視頻和圖像處理管道所需的核心功能。為了實現(xiàn) VIP 套件內(nèi)核之間的高性能集成和連接，IP 塊使用英特爾的Avalon ?流接口進行連接。這實現(xiàn)了使用視頻 IP 塊的混合匹配方法，根據(jù)需要將塊插入視頻處理管道。視頻 IP 為設計工程師提供了一系列功能，包括：

接口：支持從 HDMI 到 SDI、DisplayPort、MIPI 和以太網(wǎng) (GigE Vision) 的一系列不同的相機和傳感器接口

捕獲、校正和處理：能夠根據(jù)處理需要格式化視頻——例如，顏色空間轉(zhuǎn)換、去隔行、伽馬校正、剪輯、色度重采樣、同步——并使用 2D 過濾器從視頻中去除時間和光譜噪聲和視頻流清潔器。

格式化：使用 Alpha 混合、縮放和隔行掃描來格式化輸出視頻的能力。

緩沖：支持在 DDR 中讀取和寫入幀緩沖區(qū)。這使開發(fā)人員能夠更改輸入和輸出幀速率，并使處理后的視頻可用于處理器系統(tǒng)進行高級視頻處理。

分析和測試：支持動態(tài)視頻統(tǒng)計和測試模式生成，以在沒有傳感器/攝像頭的情況下啟用視頻處理路徑。

雖然視頻和圖像處理套件功能廣泛，但可能需要其他專業(yè) IP 功能。在這種情況下，開發(fā)人員可以利用范圍廣泛的合作伙伴生態(tài)系統(tǒng) IP。此類 IP 合作伙伴包括提供一系列壓縮 IP（包括 JPEG-XS）的 IntoPIX、提供 MIPI 接口解決方案的 Rambus（前身為 Northwest Logic）以及提供一系列 IP 視頻解決方案的 Macnica。

廣泛的英特爾?和合作伙伴生態(tài)系統(tǒng) IP 使開發(fā)人員能夠快速輕松地開發(fā)自定義視頻處理應用程序。對于自定義算法實現(xiàn)，開發(fā)人員可以利用英特爾的 HLS 編譯器。HLS 編譯器允許開發(fā)人員使用更高級的語言定義算法，與寄存器傳輸級實現(xiàn)相比，進一步減少了設計和驗證時間。

結(jié)論

創(chuàng)建能夠支持 4K 和 8K 分辨率的現(xiàn)代視頻處理應用程序需要強大的處理和接口功能。廣泛的英特爾和合作伙伴生態(tài)系統(tǒng)視頻處理和連接 IP 允許設計人員挑選功能，而高性能 FPGA 結(jié)構(gòu)是處理高分辨率視頻流的理想選擇。這些功能與強大的軟件設計流程一起，為下一代智能視頻應用程序的快速開發(fā)提供了條件。