- ORB特征匹配步驟:
- 讀取兩幅圖片,直接讀取灰度圖
- 創(chuàng)建ORB對(duì)象
orb=cv2.ORB_creat()
- 分別檢測(cè)兩幅圖的特征點(diǎn)和描述符
kp1,des1=orb.detectAndCompute(gray1, None)
- 暴力匹配BFMatcher實(shí)現(xiàn)匹配,創(chuàng)建BFMatcher對(duì)象,并計(jì)算des1與des2之間匹配信息,最后排序。
bf=cv2.BFMatcher(cv2.NORM_HAMMING,crossCheck=True)
matches=bf.match(des1,des2)
matches=sorted(matches,key=lambda x:x.distance)
- 把建立的匹配點(diǎn)畫到圖像中
img3=cv2.drawMatches(gray1,kp1,gray2,kp2,matches[:23],gray2,flags=2)
- 顯示圖像
- 代碼與顯示結(jié)果:
import cv2
#img1=cv2.imread('../data/manowar_logo.png')
#img2=cv2.imread('../data/manowar_single.jpg')
img1=cv2.imread('../data/1.jpg')
img2=cv2.imread('../data/3.jpg')
gray1=cv2.cvtColor(img1,cv2.COLOR_BGR2GRAY)
gray2=cv2.cvtColor(img2,cv2.COLOR_BGR2GRAY)
orb=cv2.ORB_create()
kp1,des1=orb.detectAndCompute(gray1,None)
kp2,des2=orb.detectAndCompute(gray2,None)
bf=cv2.BFMatcher(cv2.NORM_HAMMING,crossCheck=True)
matches=bf.match(des1,des2)
matches=sorted(matches,key=lambda x:x.distance)
img3=cv2.drawMatches(gray1,kp1,gray2,kp2,matches[:23],gray2,flags=2)
cv2.namedWindow('img3',cv2.WINDOW_NORMAL)
cv2.resizeWindow('img3',400,600)
cv2.imshow('img3',img3)
cv2.waitKey(0)
cv2.destroyAllWindows()
- 部分代碼解釋:
- cv2.BFMatcher創(chuàng)建一個(gè) BF-Matcher 對(duì)象。它有兩個(gè)可選參數(shù)。第一個(gè)是 normType。它是用來(lái)指定要使用的距離測(cè)試類型。默認(rèn)值為 cv2.Norm_L2。這很適合 SIFT 和 SURF 等(c2.NORM_L1 也可以)。對(duì)于使用二進(jìn)制描述符的 ORB,BRIEF,BRISK算法等,要使用 cv2.NORM_HAMMING,這樣就會(huì)返回兩個(gè)測(cè)試對(duì)象之間的漢明距離。如果 ORB 算法的參數(shù)設(shè)置為 V T A_K==3 或 4,normType就應(yīng)該設(shè)置成 cv2.NORM_HAMMING2。
第二個(gè)參數(shù)是布爾變量 crossCheck,默認(rèn)值為 False。如果設(shè)置為True,匹配條件就會(huì)更加嚴(yán)格,只有到 A 中的第 i 個(gè)特征點(diǎn)與 B 中的第 j 個(gè)特征點(diǎn)距離最近,并且 B 中的第 j 個(gè)特征點(diǎn)到 A 中的第 i 個(gè)特征點(diǎn)也是最近(A 中沒有其他點(diǎn)到 j 的距離更近)時(shí)才會(huì)返回最佳匹配(i,j)。也就是這兩個(gè)特征點(diǎn)要互相匹配才行。這樣就能提供統(tǒng)一的結(jié)果,這可以用來(lái)替代 D.Lowe在 SIFT 文章中提出的比值測(cè)試方法。 - BFMatcher 對(duì)象具有兩個(gè)方法, BFMatcher.match() 和 BFMatcher.knnMatch()。第一個(gè)方法會(huì)返回最佳匹配。第二個(gè)方法為每個(gè)關(guān)鍵點(diǎn)返回 k 個(gè)最佳匹配(降序排列之后取前 k 個(gè)),其中 k 是由用戶設(shè)定的。如果除了匹配之外還要做其他事情的話可能會(huì)用上(比如進(jìn)行比值測(cè)試)。
- 就 像 使 用 cv2.drawKeypoints() 繪 制 關(guān) 鍵 點(diǎn) 一 樣, 我 們 可 以 使 用cv2.drawMatches() 來(lái)繪制匹配的點(diǎn)。它會(huì)將這兩幅圖像先水平排列,然后在最佳匹配的點(diǎn)之間繪制直線(從原圖像到目標(biāo)圖像)。如果前面使用的是 BF-Matcher.knnMatch(),現(xiàn)在我們可以使用函數(shù) cv2.drawMatchsKnn為每個(gè)關(guān)鍵點(diǎn)和它的 k 個(gè)最佳匹配點(diǎn)繪制匹配線。如果 k 等于 2,就會(huì)為每個(gè)關(guān)鍵點(diǎn)繪制兩條最佳匹配直線。如果我們要選擇性繪制話就要給函數(shù)傳入一個(gè)掩模。
- cv2.BFMatcher創(chuàng)建一個(gè) BF-Matcher 對(duì)象。它有兩個(gè)可選參數(shù)。第一個(gè)是 normType。它是用來(lái)指定要使用的距離測(cè)試類型。默認(rèn)值為 cv2.Norm_L2。這很適合 SIFT 和 SURF 等(c2.NORM_L1 也可以)。對(duì)于使用二進(jìn)制描述符的 ORB,BRIEF,BRISK算法等,要使用 cv2.NORM_HAMMING,這樣就會(huì)返回兩個(gè)測(cè)試對(duì)象之間的漢明距離。如果 ORB 算法的參數(shù)設(shè)置為 V T A_K==3 或 4,normType就應(yīng)該設(shè)置成 cv2.NORM_HAMMING2。
以上用到了ORB方法也可以使用SIFT或者SURF代替。都試了一下,結(jié)果ORB最快,且結(jié)果比較好。
在進(jìn)行特征點(diǎn)匹配時(shí),也可以使用knnMatch,代碼修改如下:
bf=cv2.BFMatcher(cv2.NORM_HAMMING)
matches = bf.knnMatch(des1, des2, k=2)
img3=cv2.drawMatchesKnn(img1,kp1,img2,kp2,matches,img2,flags=2)
- FLANN匹配
- 導(dǎo)入圖片,轉(zhuǎn)化為灰度圖
- 創(chuàng)建SIFT對(duì)象或者SURF對(duì)象,計(jì)算特征點(diǎn)和描述符。
- FLANN匹配參數(shù):兩個(gè),indexParams和searchParams,indexParams可選擇LinearIndex KTreeIndex KMeansIndex CompositeIndex和AutotuneIndex,KTreeIndex配置很簡(jiǎn)單,指定核密度樹數(shù)量即可,一般取5,searchParams有一個(gè)字符:checks,索引數(shù)便利次數(shù),一般取50。指定好參數(shù)后,創(chuàng)建flann對(duì)象,使用knnMatch匹配,k=2,舍棄距離大于0.7的值。
- 具體代碼如下:
import cv2
import numpy as np
img1=cv2.imread('../data/1.jpg')
img2=cv2.imread('../data/3.jpg')
gray1=cv2.cvtColor(img1,cv2.COLOR_BGR2GRAY)
gray2=cv2.cvtColor(img2,cv2.COLOR_BGR2GRAY)
sift=cv2.xfeatures2d.SIFT_create()
kp1, des1=sift.detectAndCompute(gray1,None)
kp2, des2=sift.detectAndCompute(gray2,None)
#FLANN匹配參數(shù)
FLANN_INDEX_KDTREE=0
indexParams=dict(algorithm=FLANN_INDEX_KDTREE,trees=5)
searchParams=dict(checks=50)
flann=cv2.FlannBasedMatcher(indexParams,searchParams)
matches=flann.knnMatch(des1,des2,k=2)
matchesMask=[[0,0] for i in range(len(matches))]
for i,(m,n) in enumerate(matches):
if m.distance<0.7*n.distance:
matchesMask[i]=[1,0]
drawParams=dict(matchColor=(0,255,0),
singlePointColor=(255,0,0),
matchesMask=matchesMask,
flags=0)
resultImage=cv2.drawMatchesKnn(gray1,kp1,gray2,kp2,matches,None,**drawParams)
cv2.namedWindow('Flann',cv2.WINDOW_NORMAL)
cv2.resizeWindow('Flann',400,600)
cv2.imshow('Flann',resultImage)
cv2.waitKey(0)
cv2.destroyAllWindows()
結(jié)果如下:
FLANN
不過運(yùn)行的速度很慢??梢該Q成ORB算法,使用FLANN匹配,代碼修改如下:
FLANN_INDEX_LSH=6
indexParams=dict(algorithm=FLANN_INDEX_LSH,
table_number = 6, #12
key_size = 12, #20
multi_probe_level = 1)#2
searchParams=dict(checks=100)
結(jié)果如下:
ORB FLANN