利用新型的處理硬件架構(gòu)，以10至100 Gbit / s或更高的速度處理視頻流。

背景

諸如3D成像，虛擬現(xiàn)實(shí)和廣播之類的高級(jí)視覺系統(tǒng)依賴一個(gè)或多個(gè)高分辨率，高速相機(jī)。這些攝像頭系統(tǒng)每秒捕獲并傳輸多個(gè)千兆像素，這些像素需要實(shí)時(shí)處理或壓縮。盡管攝像頭傳感器技術(shù)和支持接口正在迅速發(fā)展，但是傳統(tǒng)的基于PCIe / CPU / GPU的PC體系結(jié)構(gòu)卻缺乏以這種數(shù)據(jù)速率捕獲，處理和存儲(chǔ)圖像所需的性能。

基于高端FPGA的圖像采集卡具有超快的收發(fā)器和巨大的板載內(nèi)存帶寬，為實(shí)時(shí)處理和壓縮提供了必要的基礎(chǔ)設(shè)施。開放式FPGA架構(gòu)允許開發(fā)人員定制其采集路徑，并嵌入自己的圖像處理算法和壓縮塊。有了Gidel的ProcVision IDE這樣的支持生態(tài)環(huán)境和開發(fā)工具，F(xiàn)PGA代碼開發(fā)被大大簡(jiǎn)化和加速，不再需要深厚的FPGA專業(yè)知識(shí)。因此，視覺系統(tǒng)設(shè)計(jì)者現(xiàn)在可以以前所未有的性能實(shí)現(xiàn)定制的、具有成本效益的千兆像素解決方案。

圖像傳感器正在引領(lǐng)潮流

CMOS圖像傳感器技術(shù)的進(jìn)步使多百萬像素的成像器能夠以具有成本效益的價(jià)格獲得數(shù)百至數(shù)千FPS的幀率。Gpixel、Luxima Technology、Teledyne e2v、AMS/CMOSIS、安森美和索尼等公司正在為這一發(fā)展做出重大貢獻(xiàn)(見圖1)。

圖1：在通用視頻接口標(biāo)準(zhǔn)的有效帶寬上的高端圖像傳感器的分辨率和幀速率。

下一代圖像傳感器將產(chǎn)生每秒160千兆比特（Gbps）及以上的數(shù)據(jù)速率。此外，多攝像頭的應(yīng)用已經(jīng)變得無處不在，特別是在從虛擬現(xiàn)實(shí)到廣播、監(jiān)控、醫(yī)療成像以及三維或高分辨率的質(zhì)量檢測(cè)等領(lǐng)域。例如，一個(gè)三維體育廣播系統(tǒng)，可能包括30多個(gè)攝像頭，每個(gè)攝像頭的分辨率為65MP，速度為30fps。

最新的高端圖像傳感器和多攝像頭應(yīng)用分別提供每秒幾千兆像素和幾百兆比特的數(shù)據(jù)。這些巨大的數(shù)據(jù)速率需要被實(shí)時(shí)捕獲、預(yù)處理、分析，而且往往還需要以高精度同步和低延遲的方式進(jìn)行壓縮和存儲(chǔ)--這一要求遠(yuǎn)遠(yuǎn)超過了基于CPU架構(gòu)的能力。相反，這種需求只能通過利用FPGA、GPU和/或CPU的獨(dú)特能力的新型異構(gòu)處理解決方案來滿足。

高帶寬挑戰(zhàn)

對(duì)于超過20Gbps的傳感器數(shù)據(jù)傳輸速率，在標(biāo)準(zhǔn)化的相機(jī)接口中只有少數(shù)選擇：25、50或100GigE、多鏈路CoaXPress v2和PCIe。在20+Gbps時(shí)，光纜取代銅纜，將傳輸距離從25米延長到40公里。

高帶寬成像的另一個(gè)挑戰(zhàn)在于將視頻流傳輸?shù)街鳈C(jī)的高性能處理器，無論是GPU、FPGA還是CPU。視頻采集卡的主板接口通常是PCIe Gen.3 x8，有效帶寬僅為48Gbps。此外，在主機(jī)處理系統(tǒng)中，CPU/GPU和顯卡與主存儲(chǔ)器之間的RAM橋必須運(yùn)行得足夠快，以避免幀丟失。智能網(wǎng)卡成功地分配了PCIe上的峰值負(fù)載，并大大減少了主機(jī)CPU上的工作量，但這往往是以處理能力不足導(dǎo)致的圖像幀丟失為代價(jià)的。

秒千兆像素實(shí)時(shí)處理解決方案

想要達(dá)到幾十上百Gbps的數(shù)據(jù)速率，除了昂貴的ASIC之外，只有基于高端FPGA的圖像采集卡架構(gòu)才能提供必要的處理性能來克服上述挑戰(zhàn)。這些采集卡擁有遠(yuǎn)甚于傳統(tǒng)的預(yù)處理步驟，以執(zhí)行復(fù)雜的成像算法，從小波變換一直到深度學(xué)習(xí)推理和實(shí)時(shí)壓縮。壓縮是克服PCIe和主機(jī)內(nèi)存帶寬瓶頸的一個(gè)強(qiáng)制性功能。

這種高端圖像采集卡的設(shè)計(jì)本身就是一個(gè)挑戰(zhàn)，特別是在涉及利用來自多個(gè)圖像區(qū)域或多個(gè)傳感器的數(shù)據(jù)的算法的實(shí)現(xiàn)時(shí)。為了規(guī)避可能的瓶頸并實(shí)現(xiàn)分布式處理的靈活性，圖像采集卡必須包括功能強(qiáng)大的收發(fā)器，足夠的FPGA資源，高機(jī)載內(nèi)存訪問權(quán)限和快速DMA卸載引擎。

這樣的圖像采集卡通常包括訪問速度為TB/s的FPGA內(nèi)部存儲(chǔ)器，以及訪問速度為數(shù)百GB/s的10+ GB DDR4板載存儲(chǔ)器。 在FPGA上實(shí)現(xiàn)機(jī)器視覺算法通常需要在FPGA編程方面有深入的專業(yè)知識(shí)。此外，在單個(gè)FPGA上實(shí)現(xiàn)多攝像機(jī)采集和處理需要集成多接口，攝像機(jī)協(xié)議，多源處理算法，存儲(chǔ)器控制器，I / O端口控制和主機(jī)橋。除了性能優(yōu)化的架構(gòu)之外，至關(guān)重要的是，圖像采集卡還應(yīng)由集成開發(fā)環(huán)境（IDE）支持，該集成開發(fā)環(huán)境使非FPGA專家能夠開發(fā)成像算法并集成多個(gè)FPGA功能塊。

高帶寬優(yōu)化的開放式FPGA采集卡

以色列技術(shù)領(lǐng)導(dǎo)者吉德爾（Gidel）擁有近三十年的經(jīng)驗(yàn)，創(chuàng)建了一個(gè)針對(duì)超高帶寬和多傳感器采集而優(yōu)化的現(xiàn)成圖像采集生態(tài)系統(tǒng)，使開發(fā)人員可以將自己的專有算法代碼添加到現(xiàn)有的采集流水線。得益于專用的開發(fā)套件，添加圖像處理算法和定制采集路徑非常簡(jiǎn)單，甚至可以由非FPGA專家執(zhí)行。Gidel的開發(fā)套件可在不影響性能的情況下極大地加速系統(tǒng)開發(fā)。

Gidel的PCIe圖像采集卡，模塊和載板使視覺系統(tǒng)設(shè)計(jì)人員可以利用FPGA技術(shù)的最新進(jìn)展，例如Intel的Stratix 10和Arria 10系列。Gidel的最新Proc10N模塊能夠同時(shí)捕獲和處理多達(dá)4 x 100 GigE攝像機(jī)或16 x 10 GigE攝像機(jī)，并具有精確的低延遲同步。通過以300 GB/s的速度訪問DRAM，Proc10N甚至可以在帶寬要求最高的應(yīng)用中實(shí)現(xiàn)實(shí)時(shí)處理。Stratix 10 NX具有出色的矩陣計(jì)算功能，帶有專用的Tensor塊，是高性能推理計(jì)算（包括復(fù)雜的深度學(xué)習(xí)網(wǎng)絡(luò)）的理想選擇。

編輯：jq