簡介

HOG 特征, histogram of oriented gradient, 梯度方向直方圖特征, 作為提取基于梯度的特征, HOG 采用了統(tǒng)計的方式(直方圖)進(jìn)行提取. 其基本思路是將圖像局部的梯度統(tǒng)計特征拼接起來作為總特征. 局部特征在這里指的是將圖像劃分為多個Block, 每個Block內(nèi)的特征進(jìn)行聯(lián)合以形成最終的特征. 具體來說:

• 將圖像分塊: 以Block 為單位, 每個Block以一定的步長在圖像上滑動, 以此來產(chǎn)生新的Block.
• Block作為基本的特征提取單位, 在其內(nèi)部再次進(jìn)行細(xì)分: 將Block 劃分為(一般是均勻劃分)NxN的小塊, 每個小塊叫做cell.
• cell是最基本的統(tǒng)計單元, 在cell內(nèi)部, 統(tǒng)計每個像素的梯度方向, 并將它們映射到預(yù)設(shè)的M個方向的bin里面形成直方圖.
• 每個Block 內(nèi)部的所有cell的梯度直方圖聯(lián)合起來并進(jìn)行歸一化處理(L1-norm, L2-Norm, L2-hys-norm, etc), 據(jù)說這樣可以使特征具有光照不變性. 光照屬于加性噪聲, 歸一化之后會抵消掉關(guān)照變化對特征的影響.
• 所有Block的特征聯(lián)合起來, 就是最終的HOG特征.
• 這里牽扯到一些技術(shù)細(xì)節(jié), 比如將局部的梯度方向映射到預(yù)設(shè)的方向Bin里面需要雙線性插值或三線性插值. 某點(diǎn)的梯度方向的映射是按照改點(diǎn)的梯度強(qiáng)度進(jìn)行加權(quán)的.

demo of hog feature extraction

實(shí)現(xiàn)

基于python的scikit-image庫提供了HOG特征提取的接口:

from skimage import feature as ft
features = ft.hog(image,  # input image
                  orientations=ori,  # number of bins
                  pixels_per_cell=ppc, # pixel per cell
                  cells_per_block=cpb, # cells per blcok
                  block_norm = 'L1', #  block norm : str {‘L1’, ‘L1-sqrt’, ‘L2’, ‘L2-Hys’}, optional
                  transform_sqrt = True, # power law compression (also known as gamma correction)
                  feature_vector=True, # flatten the final vectors
                  visualise=False) # return HOG map

參數(shù)說明:

• image: input image, 輸入圖像
• orientation: 指定bin的個數(shù). scikit-image 實(shí)現(xiàn)的只有無符號方向, (根據(jù)反正切函數(shù)的到的角度范圍是在-180°~ 180°之間, 無符號是指把 -180°_{0°這個范圍統(tǒng)一加上180°轉(zhuǎn)換到0°}180°范圍內(nèi). 有符號是指將-180°_{180°轉(zhuǎn)換到0°}360°范圍內(nèi).)也就是說把所有的方向都轉(zhuǎn)換為0°~180°內(nèi), 然后按照指定的orientation數(shù)量劃分bins. 比如你選定的orientation= 9, 則bin一共有9個, 每20°一個: [0°~20°, 20°~40°, 40°~60° 60°~80° 80°~100°, 100°~120°, 120°~140°, 140°~160°, 160°~180°]
• pixels_per_cell : 每個cell的像素數(shù), 是一個tuple類型數(shù)據(jù),例如(20,20)
• cell_per_block : 每個BLOCK內(nèi)有多少個cell, tuple類型, 例如(2,2), 意思是將block均勻劃分為2x2的塊
• block_norm: block 內(nèi)部采用的norm類型.
• transform_sqrt: 是否進(jìn)行 power law compression, 也就是gamma correction. 是一種圖像預(yù)處理操作, 可以將較暗的區(qū)域變亮, 減少陰影和光照變化對圖片的影響.
• feature_vector: 將輸出轉(zhuǎn)換為一維向量.
• visualise: 是否輸出HOG image, (應(yīng)該是梯度圖)
• scikit-image 版的HOG 沒有進(jìn)行cell級別的gaussian 平滑, 原文對cell進(jìn)行了gamma= 8pix的高斯平滑操作.

[作者原文] Dalal, N and Triggs, B, Histograms of Oriented Gradients for Human Detection, IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2005 San Diego, CA, USA,https://lear.inrialpes.fr/people/triggs/pubs/Dalal-cvpr05.pdf, DOI:10.1109/CVPR.2005.177