到現(xiàn)在為止，機(jī)器人視覺系統(tǒng)已經(jīng)經(jīng)歷了三代的發(fā)展，從第一代的按規(guī)定流程對(duì)圖像進(jìn)行處理并輸出結(jié)果，到第二代由計(jì)算機(jī)、圖像輸入設(shè)備、結(jié)果輸出硬件構(gòu)成的視覺系統(tǒng)，及現(xiàn)在最新的采用高速圖像處理芯片，并進(jìn)行算法，具有高度的智能和普通適用性，能模擬人的高度視覺功能。典型的機(jī)器人視覺系統(tǒng)組成包括：圖像采集部分、圖像處理部分、運(yùn)動(dòng)控制部分。

機(jī)器視覺系統(tǒng)主要應(yīng)用在檢測、識(shí)別、測量、定位等方面。目前機(jī)器人視覺主要存在的問題：

1、如何準(zhǔn)確、高速（實(shí)時(shí)）地識(shí)別出目標(biāo)。

2、如何有效地構(gòu)造和組織出可靠的識(shí)別算法，并且順利地實(shí)現(xiàn)。這期待著高速的陣列處理單元，以及算法（如神經(jīng)網(wǎng)絡(luò)法、小波變換等算法）的新突破，這樣就可以用極少的計(jì)算量高度地并行實(shí)現(xiàn)功能。

3、實(shí)時(shí)性是一個(gè)難以解決的重要問題。圖像采集速度較低以及圖像處理需要較長時(shí)間給系統(tǒng)帶來明顯的時(shí)滯，此外視覺信息的引入也明顯增大了系統(tǒng)的計(jì)算量，例如計(jì)算圖像雅可比矩陣、估計(jì)深度信息等等。圖像處理速度是影響視覺系統(tǒng)實(shí)時(shí)性的主要瓶頸之一。

4、穩(wěn)定性是所有控制系統(tǒng)首先考慮的問題，對(duì)于視覺控制系統(tǒng)，無論是基于位置、基于圖像或者混合的視覺伺服方法都面臨著如下問題：當(dāng)初始點(diǎn)遠(yuǎn)離目標(biāo)點(diǎn)時(shí)，如何保證系統(tǒng)的穩(wěn)定性，即增大穩(wěn)定區(qū)域和保證全局收斂；為了避免伺服失敗，如何保證特征點(diǎn)始終處在視場內(nèi)。

機(jī)器人視覺應(yīng)當(dāng)進(jìn)一步研究的問題：

1、圖像特征的選擇問題。

視覺伺服的性能密切依賴于所用的圖像特征，特征的選擇不僅要考慮識(shí)別的指標(biāo)，還要考慮控制指標(biāo)。從控制的觀點(diǎn)看，用冗余特征可抑制噪聲的影響，提高視覺伺服的性能，但又會(huì)給圖像處理增加難度。因此如何選擇性能最優(yōu)的特征，如何處理特征以及如何評(píng)價(jià)特征，都是需要進(jìn)一步研究的問題。針對(duì)任務(wù)有時(shí)可能需要從一套特征切換到另一套，可以考慮把全局特征與局部特征結(jié)合起來。

2、結(jié)合計(jì)算機(jī)視覺及圖像處理的研究成果，建立機(jī)器人視覺系統(tǒng)的專用軟件庫。

3、加強(qiáng)系統(tǒng)的動(dòng)態(tài)性能研究。目前的研究多集中于根據(jù)圖像信息確定期望的機(jī)器人運(yùn)動(dòng)這一環(huán)節(jié)上，而對(duì)整個(gè)視覺伺服系統(tǒng)的動(dòng)態(tài)性能缺乏研究。

4、利用智能技術(shù)的成果。

5、利用主動(dòng)視覺的成果。

主動(dòng)視覺是當(dāng)今計(jì)算機(jī)視覺和機(jī)器人視覺研究領(lǐng)域中的一個(gè)熱門課題。它強(qiáng)調(diào)的是視覺系統(tǒng)與其所處環(huán)境之間的交互作用能力。與傳統(tǒng)的通用視覺不同，主動(dòng)視覺強(qiáng)調(diào)兩點(diǎn)，一是認(rèn)為視覺系統(tǒng)應(yīng)具有主動(dòng)感知的能力，二是認(rèn)為視覺系統(tǒng)應(yīng)基于一定的任務(wù)（TaskDirected）或目的，主動(dòng)視覺認(rèn)為在視覺信息獲取過程中，應(yīng)更主動(dòng)地調(diào)整攝像機(jī)的參數(shù)，如方向、焦距、孔徑等并能使攝像機(jī)迅速對(duì)準(zhǔn)感興趣的物體。

更一般地，它強(qiáng)調(diào)注視機(jī)制，強(qiáng)調(diào)對(duì)分布于不同空間范圍和時(shí)間段上的信號(hào)采用不同的分辨率有選擇性地感知，這種主動(dòng)感知既可在硬件層上通過攝像機(jī)物理參數(shù)的調(diào)整實(shí)現(xiàn)，也可以在基于被動(dòng)攝像機(jī)的前提下，在算法和表示層上通過對(duì)已獲得的數(shù)據(jù)有選擇性地處理實(shí)現(xiàn)。同時(shí)，主動(dòng)視覺認(rèn)為不基于任何目的的視覺過程是毫無意義的，必須將視覺系統(tǒng)與具有的目的（如導(dǎo)航、識(shí)別、操作等）相聯(lián)系，從而形成感知／作用環(huán)。

6、多傳感器融合問題。視覺傳感器具有一定的使用范圍，如能有效地結(jié)合其它傳感器，利用它們之間性能互補(bǔ)的優(yōu)勢，便可以消除不確定性，取得更加可靠、準(zhǔn)確的結(jié)果。