openCV 图像特征点检测与匹配-Toy模板网

这篇具有很好参考价值的文章主要介绍了openCV 图像特征点检测与匹配。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、应用场景

1.图像搜索，以图搜图。

2.拼图游戏。

3.图像拼接，将两张有关联的图拼接在一起。

二、基础概念

2.1 什么是图像特征？

图像特征就是指有意义的图像区域，具有独特性、易于识别性，比如角点、斑点以及高密度区。

openCV 图像特征点检测与匹配

从上图我们可以发现：

A、B两图我们很难找到具体定位；

C、D两图可以找到一些相似区域，但不太容易确定；

E、F两图则很容易确定其定位，即特征信息丰富。

由此，我们可以知道角点是非常重要的特征信息。

2.2 角点

（1）在特征中最重要的是角点；

（2）灰度梯度的最大值对应的像素点；

（3）两条线的交点；

（4）极值点（一阶导数最大值，但二阶导数为0）。

三、特征检测

3.1 角点检测

3.1.1 Harris角点检测

openCV 图像特征点检测与匹配

光滑地区，无论向哪个移动，衡量系数不变
边缘地区，垂直边缘移动时，衡量系统剧烈变化
在交点处，往那个方向移动，衡量系统都发生剧烈变化

Harris角点检测API

cornerHarrris(img,dst,blockSize,ksize,k)
blockSize: 检测窗口大小
ksize: Sobel的卷积核
k 权重系数，经验值，一般取0.02-0.04之间

import cv2
import numpy as np

# 读取图片
img = cv2.imread('./chess.png')

# 灰度化
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# Harris角点检测
dst = cv2.cornerHarris(gray, blockSize=2, ksize=3, k=0.04)

# Harris角点的展示
img[dst > 0.01*dst.max()] = (0, 0, 255)

cv2.imshow('Harris', img)
cv2.waitKey(0)

3.1.2 Shi-Tomasi角点检测

shi- tomasi是Harris角点检测的改进
Harris角点检测算的稳定性和k有关，而k是个经验值，不好设定最佳值

Shi-Tomasi角点检测API

goodFeaturesToTrack(img,maxCorners,…)
maxCorners:角点的最大数，值为0表示无限制
qualityLevel:小于1.0的正数，一般在0.01-0.1之间
minDistance:角之间最小欧式距离，忽略小于此距离的点
mask: 感兴趣的区域
blockSize:检测窗口
useHarrisDectector:是否使用Harris算法
k :默认是0.04

import cv2
import numpy as np

img = cv2.imread('./chess.png')

# 灰度化
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 角点检测
corners = cv2.goodFeaturesToTrack(gray, maxCorners=1000, qualityLevel=0.01, minDistance=10,)
corners = np.int0(corners)

# Shi-Tomasi绘制角点
for i in corners:
    x,y = i.ravel()
    cv2.circle(img, (x,y), 3, (0,0,255),-1)


cv2.imshow('Shi-Tomasi', img)
cv2.waitKey(0)

3.1.3 检测效果展

openCV 图像特征点检测与匹配

图1 原图图2 Harris角点检测图3 Shi-Tomasi角点检测

3.2关键点与描述子

关键点：位置，大小和方向
关键点描述子：记录了关键点周围对其有贡献的像素点的一组向量值，其不受仿射变换、光照变换等的影响

3.2.1 SIFT(Scale-Invariant Feature Transfrom)特征检测

SIFT出现的原因

Harris 角点具有旋转不变的特性，但缩放后，原来的角点有可能就不是角点了，如下图所示：

使用SIFT的步骤

创建SIFT对象，sift = cv2.SIFT_create()
进行检测，kp = sift.detect(img,…)
绘制关键点，drawKeypoints(gray, kp, img)

计算描述子

kp,des=sift.compute(img,kp)
其作用就是进行特征匹配

同时计算关键点和描述子的API

kp,des=sift.detectAndCompute(img,…)
mask:指明对img中哪个区域进行计算

3.2.2 SURF(Speeded-Up Robust Features)特征检测

SURF的优点

SIFT最大的问题就是速度慢，因此才有SURF

使用SURF的步骤

surf = cv2.xfeatures2d.SURF_create()
kp, des = surf.detectAndCompute(img, mask)

3.2.3 ORB(Orirnted FAST and Rotated BRIEF)特征检测

ORB的优点

可以实现实时检测
ORB = Orirnted FAST + Rotated BRIEF，即是两种技术的结合
FAST 可以做到特征点的实时检测
BRIEF 对已经检测到的特征点进行描述，加快了特征点描述符建立的速度，同时也极大的降低了特征匹配的时间

使用ORB的步骤

orb = cv2.ORB_create()
kp,des =orb.detectAndCompute(img,mask)

3.2.4 代码及检测效果

import cv2
import numpy as np

# 读文件
img = cv2.imread('chess.png')
# 灰度化
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 创建sift对象,进行检测
sift = cv2.SIFT_create()
kp,des = sift.detectAndCompute(gray, None)

# 创建SURF对象,进行检测
# surf = cv2.xfeatures2d.SURF_create()
# kp,des = surf.detectAndCompute(gray, None)

# 创建ORB对象,进行检测
# orb = cv2.ORB_create()
# kp,des = orb.detectAndCompute(gray, None)


# print(des)

# 绘制keypoints
cv2.drawKeypoints(gray, kp, img)

cv2.imshow('img', img)
cv2.waitKey(0)

openCV 图像特征点检测与匹配

图1 原图图2 SIFT特征检测图3 ORB特征检测

四、特征匹配

4.1 BF(Brute-Force)暴力特征匹配方法

暴力特征匹配方法的原理（枚举）

它使用第一组中的每个特征的描述子，与第二组中的所有特征描述子进行匹配
计算他们之间的差距，然后将最接近一个匹配返回（也即计算他们之间的相似度）

openCV特征匹配的步骤

创建匹配器，BFMatcher(normType, crossCheck)
进行特征匹配，bf.match(des1,des2)
绘制匹配点，cv2.drawMatches(img1,kp1,img2,k2)

import cv2
import numpy as np

# 读取图片
img1 = cv2.imread('2.jpg')
img2 = cv2.imread('1.jpg')
# # 灰度化
gray1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)

# 检测特征点+描述子
sift = cv2.SIFT_create()  # 创建SIFT对象
kp1, des1 = sift.detectAndCompute(gray1, None)   # 对整个图像进行检测，掩码设为None
kp2, des2 = sift.detectAndCompute(gray2, None)   # 对整个图像进行检测，掩码设为None

# 创建匹配器
bf = cv2.BFMatcher(cv2.NORM_L1)
match = bf.match(des1, des2)    # 获得匹配点
res = cv2.drawMatches(img1, kp1, img2, kp2, match, None)   # 绘制匹配点

# cv.drawKeypoints(gray, kp, img)  # 绘制特征点

# # 显示图像

cv2.imshow('BF', res)
cv2.waitKey(0)

4.2 FLANN最快邻近区特征匹配方法

FLANN优缺点

在进行批量特征匹配时，FLANN速度更快
由于它使用的是邻近近似值，所以精度较差

使用FLANN特征匹配的步骤

创建FLANN匹配器，FlannBasedMatcher(…)
进行特征匹配，flann.match/knnMatch(…)
绘制匹配点，cv.drawMatches/drawMatchesKnn(…)

import cv2
import numpy as np

# 读取图片
img1 = cv2.imread('2.jpg')
img2 = cv2.imread('1.jpg')

# 灰度化
gray1 = cv2.cvtColor(img1,cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(img2,cv2.COLOR_BGR2GRAY)

# 创建sift特征匹配器
sift = cv2.SIFT_create()
# 计算描述子与特征点
kp1, des1 = sift.detectAndCompute(gray1, None)
kp2, des2 = sift.detectAndCompute(gray2, None)

# 创建匹配器
index_params = dict(algorithm=1, trees=5)
search_params = dict(checks=50)
flann = cv2.FlannBasedMatcher(index_params, search_params)

# 对描述子进行匹配
matches = flann.knnMatch(des1, des2, k=2)
good = []
for i, (m, n) in enumerate(matches):
    if m.distance < 0.7*n.distance:
        good.append(m)

# 绘制匹配点
ret = cv2.drawMatchesKnn(img1,kp1,img2,kp2,[good],None)
cv2.imshow('FLANN', ret)
cv2.waitKey(0)