本文通過通俗易懂的文字解釋了圖像卷積、邊緣提取以及濾波去燥的概念及其分類。

一、圖像卷積

現(xiàn)在有一張圖片 f(x,y) 和一個kernel核 w(a,b)。

卷積(Convolution)：卷積運算就是對于圖像 f(x,y) 中的每個像素，將其作為中心像素，計算它及其鄰域像素和kernel核 w(a,b)對應(yīng)位置元素的乘積，然后把結(jié)果相加到一起，得到的值就作為該中心像素的新值，這樣就完成了一次卷積運算。然后將kernel向下或向左平移一位繼續(xù)計算每個像素的新值，直到遍歷完整個圖像。

如下圖所示：

卷積運算的公式如下：

還有一個概念是互相關(guān)(Cross-correlation)，流程和卷積類似，區(qū)別在于卷積在運算前需要把kernel圍繞中心旋轉(zhuǎn)180度（即做一次上下翻轉(zhuǎn)(filp)和一次左右翻轉(zhuǎn)），而互相關(guān)則不需要。

互相關(guān)的公式如下：

兩者的具體區(qū)別可以查看 卷積運算和相關(guān)運算的區(qū)別與物理含義。

互相關(guān)主要用于計算兩個圖像的相關(guān)性（主要用于圖像配準）。因為我們平時接觸的卷積核大都是關(guān)于x軸和y軸對稱的，所以卷積和互相關(guān)在這種情況下沒什么區(qū)別。

中心像素在圖像的邊緣時，沒有足夠的像素與kernel進行運算，有兩個方法：

最外面的一圈像素不進行計算，如果圖像非常大，丟掉圖像邊緣的一圈對結(jié)果影響不大。

更好的辦法是人為地在圖像四周插入一圈像素（比如最近鄰插值）。

圖像的處理結(jié)果可能超出值域范圍(0-255)，則小于0的值視作0，大于255的視作255就行了。

二、圖像梯度

梯度的方向是函數(shù) f（x，y） 變化最快的方向，當圖像中存在邊緣時，有一些相鄰像素的灰度值變化比較大，即一定有較大的梯度值。所以可以求圖像的梯度來確定圖像的邊緣。

分別對圖像按照x方向和y方向進行求偏導(dǎo)，得到x梯度圖和y梯度圖。梯度是矢量，存在幅值和方向，下面這個公式表示了圖像的梯度：

梯度的幅值（magnitude）為：

梯度的方向（direction）為：

梯度方向會取絕對值，因此得到的角度范圍是 ［0，180°］。

導(dǎo)數(shù)的含義就是計算像素灰度值的變化率，對于離散圖像而言，在圖像上使用一階差分來計算相鄰像素之間的差值，從而得到圖像的梯度。

也可以使用二階差分求梯度：

下面是一個邊緣的例子：

上面是對斜坡區(qū)域進行求導(dǎo)，斜坡區(qū)域是圖像中最常見的區(qū)域，因為圖片中的大部分邊緣都不是突變的而是漸變的，對于斜坡區(qū)域，一階導(dǎo)數(shù)將斜坡變成了平坦區(qū)域即變成了粗線，二階導(dǎo)數(shù)將斜坡變成了兩條中間存在平臺區(qū)域的細線。

關(guān)于一階和二階導(dǎo)數(shù)總結(jié)如下：

一階導(dǎo)數(shù)在圖像中產(chǎn)生較粗的邊緣

二階導(dǎo)數(shù)對細節(jié)更敏感，如細線、噪聲等，它提取出來的邊緣更細更強（sharp）

二階導(dǎo)數(shù)在灰度斜坡和灰度臺階過度處會產(chǎn)生雙邊沿響應(yīng)

二階導(dǎo)數(shù)的符號可以確定邊緣的過渡是從亮到暗還是從暗到亮

根據(jù)導(dǎo)數(shù)提取邊緣之前最好對圖像做平滑處理，因為導(dǎo)數(shù)對噪聲比較敏感，尤其是二階導(dǎo)數(shù)

二階導(dǎo)數(shù)會強化邊緣和其他區(qū)域的對比度，但是也會將灰度平滑區(qū)域的噪聲進行放大，使其更明顯

三、邊緣提取

圖像梯度用于邊緣檢測。邊緣是像素值發(fā)生躍遷的地方，是圖像的顯著特征之一，在圖像特征提取、目標檢測等方面都有重要的作用。

圖像中有灰度值的變化就會有梯度，從而產(chǎn)生邊緣，在邊緣處，具有變化的強弱及方向。這時一些常見的圖像識別算法的基礎(chǔ)，比如 hog，sift，都是基于梯度的。

邊緣分為三類，step edge、ramp edge和peak edge，下面是三類邊緣的及其導(dǎo)數(shù)（一階或者二階）的形狀：

根據(jù)不同的圖像邊緣特征，來決定是使用一階還是二階導(dǎo)數(shù)來求梯度。對圖像求一階或者高階導(dǎo)數(shù)，會得到一些峰值，當這些峰值超過指定閾值時，則認為這些峰值對應(yīng)的像素是邊緣。

前面說到在圖像上可以使用一階差分來計算相鄰像素之間的變化率，我們利用卷積和特定的算子來計算相鄰像素的變化率。prewitt算子和sobel算子可以計算相鄰三個點之間的變化率。它們用于一階算子的邊緣檢測，利用像素點上下、左右相鄰點的灰度差求取邊緣。

求梯度有三種卷積核（robert，prewitt，sobel算子），每種卷積核有兩個，對圖像分別做兩次卷積，一個代表水平梯度，一個代表垂直梯度。

3.1、Prewitt算子

下面是prewitt的兩個算子：

：計算水平梯度，檢測垂直邊緣

：計算垂直梯度，檢測水平邊緣

（梯度方向跟邊緣方向垂直）

3.2、Sobel算子

Sobel算子是在Prewitt算子的基礎(chǔ)上進行改進，增強了中間這個位置的權(quán)重：

：計算水平梯度，檢測垂直邊緣

：計算垂直梯度，檢測水平邊緣

Sobel更強調(diào)了和邊緣相鄰的像素點對邊緣的影響。相比較Prewitt算子，Sobel模板能夠較好的抑制噪聲（平滑）效果。

3.3、Laplacian算子

上述兩個算子都是通過求一階導(dǎo)數(shù)來計算梯度的，用于線的檢測，通常用于邊緣檢測。在圖像處理過程中，除了檢測線，有時候也需要檢測特殊點，這就需要用二階導(dǎo)數(shù)進行檢測，著名的就是拉普拉斯（Laplacian）算子。

對圖像求兩次導(dǎo)數(shù)，公式如下：

所以拉普拉斯算子為：

下面這個拉普拉斯算子提取邊緣更明顯：

拉普拉斯算子在邊緣檢測的應(yīng)用中并不局限于水平方向或垂直方向，這是Laplacian與soble的區(qū)別。

因為一階二階導(dǎo)數(shù)都能放大孤立點和孤立線（噪聲）的影響，所以如果存在噪聲，那么一階二階導(dǎo)數(shù)處理過后的圖像將會有更多更大的噪聲。所以對圖像進行一階二階導(dǎo)數(shù)運算之前需要先對圖像做平滑去噪處理。

四、平滑去噪

噪聲的產(chǎn)生是因為圖像中的某些像素的灰度值發(fā)生了突變，使得和周圍區(qū)域不和諧。除噪其實去除高頻噪聲，使得圖像中的噪聲像素的灰度值不那么突兀。

噪聲去除有基于卷積（高斯濾波，均值濾波，中值濾波等）和基于形態(tài)學（開運算、閉運算）兩種方法。

用于平滑去噪和圖像銳化（之后會介紹）的卷積核所有的元素之和一般要等于1，這是為了原始圖像的能量（亮度）守恒。如果濾波器矩陣所有元素之和大于1，那么濾波后的圖像就會比原圖像更亮，反之，如果小于1，那么得到的圖像就會變暗。如果和為0，圖像不會完全黑，但只會突出一些邊緣。

從頻率域觀點來看這些濾波器是一種低通濾波器，高頻信號將會去掉，因此可以幫助消除圖像尖銳噪聲，實現(xiàn)圖像平滑，模糊等功能。

4.1、高斯濾波

高斯濾波就是對整幅圖像進行加權(quán)平均數(shù)的過程，每一個像素點的值，都由其本身和鄰域內(nèi)的其他像素值經(jīng)過加權(quán)平均后得到。高斯濾波時水平和垂直方向呈現(xiàn)高斯分布，更突出了中心點在像素平滑后的權(quán)重。

高斯平滑中的濾波器是一個高斯核，二維零均值高斯函數(shù)為：

下面是高斯函數(shù)的形象表示：

常見的3x3高斯核（高斯核的寬和高必須是奇數(shù)）為：

可以看到高斯核里的值符合高斯分布，中心的值最大，其他值根據(jù)距離中心元素的距離遞減，用高斯核對圖像進行卷積運算，會使圖像更模糊（平滑），而模糊的程度由高斯的標準方差 決定， 越大，平滑程度越大。高斯濾波可以有效的從圖像中去除高斯噪音。

高斯函數(shù)的值域在（0，1）之間，也就是說高斯核的九個數(shù)加起來應(yīng)該等于1（也就是100%），把 1 這個數(shù)分攤到九個像素上，給了中間點更高的百分比。即高斯濾波對高斯核所覆蓋的像素點的灰度值做了一個權(quán)重平均，中間的點權(quán)重大，周圍的點權(quán)重小。

因為中心點是正在處理的點，也就是噪聲點，給它更多的權(quán)重更能保持它自己的特性，從而使得平均運算對周圍的像素影響更小。

4.2、均值濾波

使用進行均值濾波操作來模糊圖像。輸出圖像的每一個像素灰度值是卷積核在輸入圖像中對應(yīng)的像素的平均值（ 所有像素加權(quán)系數(shù)相等）。

均值濾波卷積核所覆蓋的九個像素點具有同樣權(quán)重， 該卷積核的作用在于取九個值的平均值代替中間像素值，所以起到的平滑的效果。

相比于高斯濾波，它不能很好地保護圖像細節(jié)，在圖像去噪的同時也破壞了圖像的細節(jié)部分，丟失了圖像本身的一些屬性，從而使圖像變得模糊，不能很好地去除噪聲點。

均值濾波的卷積核為：

4.3、中值濾波

高斯濾波和均值濾波對去除高斯噪聲的效果比較好，但是在噪聲是椒鹽噪聲而不是高斯噪聲，即圖像偶爾會出現(xiàn)很大的噪聲點的時候，用高斯濾波和均值濾波對圖像進行平滑模糊的話，噪聲像素是不會被去除的，它們只是轉(zhuǎn)換為更為柔和但仍然可見的散粒。

椒鹽噪聲（salt & pepper noise）（散粒噪聲）是數(shù)字圖像的一個常見噪聲，所謂椒鹽，椒就是黑，鹽就是白，椒鹽噪聲就是在圖像上隨機出現(xiàn)黑色白色的像素。椒鹽噪聲是一種因為信號脈沖強度引起的噪聲，要對椒鹽噪聲處理就需要用中值濾波。

其他濾波器都是用計算得到的一個新值來替代中心像素的值，而中值濾波是將周圍像素和中心像素九個值進行排序以后，取中間值來替代中心像素。

中值濾波在一定的條件下可以克服常見線性濾波器帶來的圖像細節(jié)模糊，而且對濾除脈沖干擾及圖像掃描噪聲非常有效，也常用于保護邊緣信息，使得邊緣不會被模糊。但是對一些細節(jié)多，特別是線、尖頂?shù)燃毠?jié)多的圖像不宜采用中值濾波。

總結(jié)

中值濾波器與均值濾波器的比較：在均值濾波器中，由于噪聲成分被放入平均計算中，所以輸出受到了噪聲的影響，但是在中值濾波器中，由于噪聲成分很難選上，所以幾乎不會影響到輸出。因此同樣用3x3區(qū)域進行處理，中值濾波消除的噪聲能力更勝一籌。中值濾波無論是在消除噪聲還是保存邊緣方面都是一個不錯的方法。

上面介紹的都是低通濾波器，使用低通濾波器可以圖像模糊，去除圖像中的高頻成分（包括噪音和邊界）。有一些去濾波技術(shù)不會模糊掉邊界，比如雙邊濾波。

編輯：jq