典型的嵌入式視覺系統(tǒng)必須處理視頻幀，從這些處理的幀中提取特性，然后根據(jù)所提取的特性來決定下一步的動作。在你談論高清或4K2K視頻時，基于像素的任務中每個像素可能需要數(shù)百個操作，并且需要數(shù)百個GOPS（千兆運算/秒）。 相比之下，基于幀的任務，每秒“僅”需要百萬次的操作，但是算法更加復雜。你需要一個硬件實現(xiàn)像素級任務，同時快速處理器能夠處理更復雜的“基于幀”的任務。

Avnet的技術營銷工程師Mario Bergeron在嵌入式視覺峰會上對此做了一個演講。

Bergeron演示了一個臉部識別和視線跟蹤應用的幻燈片，其通過采用針對賽靈思全可編程器件的Xylon公司 LogicBricks IP實現(xiàn)的， 他還展示了系統(tǒng)如何分配硬件和軟件之間的應用任務，如下圖所示。

一個重要的因素要注意：在將其發(fā)送到微處理器之前，硬件減少了54x的圖像數(shù)據(jù)率。

在Bergeron 演講中提到的一個最有趣的點是嵌入式視覺設計者所必須要處理的范圍廣泛的接口。Bergeron展示了一個安森美半導體的PYTHON圖像傳感器系列中4個圖像傳感器的幻燈片。傳感器系列包括了這類器件，其圖像大小范圍從640x480像素 到5120x5120像素，幀速率范圍從80到840幀/秒，和多個LVDS I/ O引腳的帶寬要求范圍從2.88到19.84Gbps。 制作一個可以處理這類圖像傳感器系列中所有傳感器的硬件是很難的，但是交由賽靈思全可編程器件聯(lián)合XYLON和Auviz Systems廠商的現(xiàn)成IP核來處理就會很容易。

Bergeron 提到的另一個工具是針對賽靈思Zynq SoCs 和MPSoCs 的全新SDSoC開發(fā)環(huán)境，該開發(fā)環(huán)境提供了以軟件為中心，系統(tǒng)級優(yōu)化的編譯器，其可以接受使用C或C++編寫的系統(tǒng)描述，同時能自動生成實現(xiàn)所描述系統(tǒng)所需要的軟件應用和硬件配置。該SDSoC開發(fā)環(huán)境采用軟件編譯器、HLS（高層次綜合）和預設的硬件基礎設施來搭建這樣的系統(tǒng)。

Bergeron在與嵌入式視覺峰會相連的展覽會上的Avnet平臺中展示了上述描述的應用。演示展示了實時運行在賽靈思Zynq SoC上的臉部識別應用，在MicroZed SOM (系統(tǒng)模塊)上插入了一個特別的載卡。同時， MicroZed SOM和載卡構成Avnet嵌入式視覺開發(fā)套件，它可以接受來自多個供應商的圖像。