簡介
HOG 特征, histogram of oriented gradient, 梯度方向直方圖特征, 作為提取基于梯度的特征, HOG 采用了統計的方式(直方圖)進行提取. 其基本思路是將圖像局部的梯度統計特征拼接起來作為總特征. 局部特征在這里指的是將圖像劃分為多個Block, 每個Block內的特征進行聯合以形成最終的特征. 具體來說:
- 將圖像分塊: 以Block 為單位, 每個Block以一定的步長在圖像上滑動, 以此來產生新的Block.
- Block作為基本的特征提取單位, 在其內部再次進行細分: 將Block 劃分為(一般是均勻劃分)NxN的小塊, 每個小塊叫做cell.
- cell是最基本的統計單元, 在cell內部, 統計每個像素的梯度方向, 并將它們映射到預設的M個方向的bin里面形成直方圖.
- 每個Block 內部的所有cell的梯度直方圖聯合起來并進行歸一化處理(L1-norm, L2-Norm, L2-hys-norm, etc), 據說這樣可以使特征具有光照不變性. 光照屬于加性噪聲, 歸一化之后會抵消掉關照變化對特征的影響.
- 所有Block的特征聯合起來, 就是最終的HOG特征.
- 這里牽扯到一些技術細節, 比如將局部的梯度方向映射到預設的方向Bin里面需要雙線性插值或三線性插值. 某點的梯度方向的映射是按照改點的梯度強度進行加權的.
demo of hog feature extraction
實現
基于python的scikit-image庫提供了HOG特征提取的接口:
from skimage import feature as ft
features = ft.hog(image, # input image
orientations=ori, # number of bins
pixels_per_cell=ppc, # pixel per cell
cells_per_block=cpb, # cells per blcok
block_norm = 'L1', # block norm : str {‘L1’, ‘L1-sqrt’, ‘L2’, ‘L2-Hys’}, optional
transform_sqrt = True, # power law compression (also known as gamma correction)
feature_vector=True, # flatten the final vectors
visualise=False) # return HOG map
參數說明:
- image: input image, 輸入圖像
- orientation: 指定bin的個數. scikit-image 實現的只有無符號方向, (根據反正切函數的到的角度范圍是在-180°~ 180°之間, 無符號是指把 -180°0°這個范圍統一加上180°轉換到0°180°范圍內. 有符號是指將-180°180°轉換到0°360°范圍內.)也就是說把所有的方向都轉換為0°~180°內, 然后按照指定的orientation數量劃分bins. 比如你選定的orientation= 9, 則bin一共有9個, 每20°一個: [0°~20°, 20°~40°, 40°~60° 60°~80° 80°~100°, 100°~120°, 120°~140°, 140°~160°, 160°~180°]
- pixels_per_cell : 每個cell的像素數, 是一個tuple類型數據,例如(20,20)
- cell_per_block : 每個BLOCK內有多少個cell, tuple類型, 例如(2,2), 意思是將block均勻劃分為2x2的塊
- block_norm: block 內部采用的norm類型.
- transform_sqrt: 是否進行 power law compression, 也就是gamma correction. 是一種圖像預處理操作, 可以將較暗的區域變亮, 減少陰影和光照變化對圖片的影響.
- feature_vector: 將輸出轉換為一維向量.
- visualise: 是否輸出HOG image, (應該是梯度圖)
- scikit-image 版的HOG 沒有進行cell級別的gaussian 平滑, 原文對cell進行了gamma= 8pix的高斯平滑操作.
[作者原文] Dalal, N and Triggs, B, Histograms of Oriented Gradients for Human Detection, IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2005 San Diego, CA, USA,https://lear.inrialpes.fr/people/triggs/pubs/Dalal-cvpr05.pdf, DOI:10.1109/CVPR.2005.177
