圖像特征的提取和選擇是圖像處理過程中最重要的環(huán)節(jié)之一，對后續(xù)圖像分類有著重要的影響，并且對于圖像數(shù)據(jù)具有樣本少，維數(shù)高的特點，要從圖像中提取有用的信息，必須對圖像特征進(jìn)行降維處理，特征提取與特征選擇就是最有效的降維方法，其目的是得到一個反映數(shù)據(jù)本質(zhì)結(jié)構(gòu)、識別率更高的特征子空間 。
圖像特征提取的主要算法有，HOG、LBP、HAAR、SIFT、SURF、ORB等。
一、向梯度直方圖特征(HOG)
方向梯度直方圖(Histogram of Oriented Gradient, HOG)特征是一種在計算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測的特征描述器。它的主要思想是獲取圖像的輪廓信息，通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。其主要的提取過程如下：
(1) 首先將一個圖像灰度化，看做一個x,y,z的三維圖像，采用Gamma校正法對輸入圖像進(jìn)行顏色空間的標(biāo)準(zhǔn)化，其目的是為了調(diào)節(jié)圖像的對比度，降低圖像局部的陰影和光照變化所造成的影響，抑制噪音干擾。
(2) 計算圖像每個像素的梯度，獲取圖像的輪廓信息。
(3) 將圖像劃分為多個子區(qū)域(cell)，并統(tǒng)計每個cell的梯度直方圖，即獲得每個cell的descriptor。
(4) 將每幾個cell組成一個block，一個block內(nèi)所有cell的特征descriptor串聯(lián)起來便得到該block的HOG特征descriptor。
(5) 將圖像內(nèi)的所有block的HOG特征descriptor串聯(lián)起來就可以得到該圖像的HOG特征descriptor了，即最終的可供分類使用的特征向量。
目前Hog特征結(jié)合SVM分類器已經(jīng)被廣泛應(yīng)用于圖像識別中。
二、局部二值模式特征(LBP)
局部二值模式(Local Binary Pattern，LBP)是一種用來描述圖像局部紋理特征的算子。它具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點。原始的LBP算子定義為在3*3的窗口內(nèi)，以窗口中心像素為閾值，將相鄰的8個像素的灰度值與其進(jìn)行比較，若周圍像素值大于中心像素值，則該像素點的位置被標(biāo)記為1，否則為0。這樣，3*3鄰域內(nèi)的8個點經(jīng)比較可產(chǎn)生8位二進(jìn)制數(shù)，即得到該窗口中心像素點的LBP值，并用這個值來反映該區(qū)域的紋理信息。
但是直接對兩幅圖片按此方法提取的特征進(jìn)行判別分析，很可能會因為“位置沒有對準(zhǔn)”而產(chǎn)生較大的誤差。后來研究人員發(fā)現(xiàn)，可以將一幅圖片劃分為若干的子區(qū)域，對每個子區(qū)域內(nèi)的每個像素點都提取LBP特征，然后，在每個子區(qū)域內(nèi)建立LBP特征的統(tǒng)計直方圖。如此一來，每個子區(qū)域，就可以用一個統(tǒng)計直方圖來進(jìn)行描述，整個圖片就由若干個統(tǒng)計直方圖組成。其主要的提取過程如下：
(1) 將圖像劃分為16*16的子區(qū)域(cell)。
(2) 對于每個cell中的一個像素，將相鄰的8個像素的灰度值與其進(jìn)行比較，若周圍像素值大于中心像素值，則該像素點的位置被標(biāo)記為1，否則為0。這樣，3*3鄰域內(nèi)的8個點經(jīng)比較可產(chǎn)生8位二進(jìn)制數(shù)，即得到該窗口中心像素點的LBP值。
(3) 計算每個cell的直方圖，即每個數(shù)字出現(xiàn)的頻率，然后對該直方圖進(jìn)行歸一化處理。
(4) 將得到的每個cell的統(tǒng)計直方圖進(jìn)行連接成為一個特征向量，也就是整幅圖的LBP紋理特征向量。
三、Haar-like特征
Haar-like特征最早是由Papageorgiou等應(yīng)用于人臉表示，Viola和Jones在此基礎(chǔ)上，使用三種類型四種形式的特征。Haar-like特征是很簡單，特征可分為幾類，如兩矩形特征、三矩形特征、對角特征。后來，還加入了邊緣特征、線特征、中心環(huán)繞特征等。使用積分圖可以加速計算特征。最后，使用集成的方法Adaboost進(jìn)行訓(xùn)練。Haar特征只是使用特征模板，計算圖像顏色的深淺模式，模板以不同的大小和位置在子圖像中滑動，計算出特征值來，交給boost分類器。Haar與LBP有一些相似之處，都是灰度差。
四、SIFT特征
SIFT特征提取的關(guān)鍵點是角點，在不同的尺度空間上查找關(guān)鍵點(特征點)，并計算出關(guān)鍵點的方向。SIFT所查找到的關(guān)鍵點是一些十分突出、不會因光照、仿射變換和噪音等因素而變化的點，如角點、邊緣點、暗區(qū)的亮點及亮區(qū)的暗點等。它通過構(gòu)建高斯金字塔，保證圖像在任何尺度都能有對應(yīng)的特征點，即保證尺度不變性。為了實現(xiàn)旋轉(zhuǎn)不變性，需要根據(jù)檢測到的關(guān)鍵點的局部圖像結(jié)構(gòu)為特征點賦值，具體做法是用梯度方向直方圖。關(guān)鍵點描述器不僅包括關(guān)鍵點，還包括關(guān)鍵點周圍對其有貢獻(xiàn)的像素點。為了保證旋轉(zhuǎn)不變性，要以特征點為中心，在附近領(lǐng)域內(nèi)旋轉(zhuǎn)θ角(即旋轉(zhuǎn)為特征點的方向)，然后計算采樣區(qū)域的梯度直方圖，形成n維SIFT特征矢量。特征向量形成后，為了去除光照變化的影響，需要對它們進(jìn)行歸一化處理。
HOG、LBP、HAAR等提取的是面的信息，是描述一塊區(qū)域的特征，這些特征可以用于人臉、人體等物體識別。SIFT、SURF、ORB等提取的是關(guān)鍵點的信息，可以用于表示某些圖像的細(xì)節(jié)，可用于圖像匹配和三維建模等算法。
五、SURF算法
SURF（Speeded-Up Robust Features）加速穩(wěn)健特征，是一種穩(wěn)健的局部特征點檢測和描述算法。SURF是對SIFT算法的改進(jìn)，該算子在保持 SIFT 算子優(yōu)良性能特點的基礎(chǔ)上，同時解決了 SIFT 計算復(fù)雜度高、耗時長的缺點，提升了算法的執(zhí)行效率，為算法在實時計算機(jī)視覺系統(tǒng)中應(yīng)用提供了可能。
SURF算法與SIFT算法在很多方面都有較大差異。
在生成尺度空間方面，SIFT中下一組圖像的尺寸是上一組的一半，同一組間圖像尺寸一樣，但是所使用的高斯模糊系數(shù)逐漸增大。而在SURF中，不同組間圖像的尺寸都是一致的，但不同組間使用的盒式濾波器的模板尺寸逐漸增大，同一組間不同層間使用相同尺寸的濾波器，但是濾波器的模糊系數(shù)逐漸增大。
在特征點檢驗時，SIFT算子是先對圖像進(jìn)行非極大值抑制，再去除對比度較低的點。然后通過Hessian矩陣去除邊緣的點。SURF算法是先通過Hessian矩陣來檢測候選特征點，然后再對非極大值的點進(jìn)行抑制。
在特征向量的方向確定上，SIFT算法是在正方形區(qū)域內(nèi)統(tǒng)計梯度的幅值的直方圖，找到最大梯度幅值所對應(yīng)的方向。SIFT算子確定的特征點可以有一個或一個以上方向，其中包括一個主方向與多個輔方向。SURF算法則是在圓形鄰域內(nèi)，檢測各個扇形范圍內(nèi)水平、垂直方向上的Haar小波響應(yīng)，找到模值最大的扇形指向，且該算法的方向只有一個。
（4）SIFT算法生成描述子時，是將16x16的采樣點劃分為4x4的區(qū)域，從而計算每個分區(qū)種子點的幅值并確定其方向，共計4x4x8=128維。SURF算法在生成特征描述子時將的正方形分割成4x4的小方格，每個子區(qū)域25個采樣點，計算小波haar響應(yīng)，一共4x4x4=64維。
綜上，SURF算法在各個步驟上都簡化了一些繁瑣的工作，僅僅計算了特征點的一個主方向，生成的特征描述子也與前者相比降低了維數(shù)。
OpenCV SURF特征檢測
六、ORB算法
ORB 是 Oriented Fast and Rotated Brief 的簡稱，可以用來對圖像中的關(guān)鍵點快速創(chuàng)建特征向量，這些特征向量可以用來識別圖像中的對象。
其中，F(xiàn)ast和Brief 分別是特征檢測算法和向量創(chuàng)建算法。ORB 首先會從圖像中查找特殊區(qū)域，稱為關(guān)鍵點。關(guān)鍵點即圖像中突出的小區(qū)域，比如角點，比如它們具有像素值急劇的從淺色變?yōu)樯钌奶卣鳌Ｈ缓?ORB 會為每個關(guān)鍵點計算相應(yīng)的特征向量。ORB 算法創(chuàng)建的特征向量只包含 1 和 0，稱為二元特征向量。1 和 0 的順序會根據(jù)特定關(guān)鍵點和其周圍的像素區(qū)域而變化。該向量表示關(guān)鍵點周圍的強(qiáng)度模式，因此多個特征向量可以用來識別更大的區(qū)域，甚至圖像中的特定對象。
ORB 的特點是速度非常快，而且在一定程度上不受噪點和圖像變換的影響，例如旋轉(zhuǎn)和縮放變換等。
OpenCV中的ORB提取結(jié)果
喜歡本文的話，歡迎關(guān)注活在信息時代哦：）
