OpenCV和Python进行SIFT算法——两张图片的拼接
文章目录一、RANSAC的介绍二、利用SIFT算法实现图片的拼接SIFT实现匹配的相关的介绍图像的全景拼接拼接过程三、参考资料一、RANSAC的介绍RANSAC的概念RANSAC为Random Sample Consensus的缩写,它是根据一组包含异常数据的样本数据集,计算出数据的数学模型参数,得到有效样本数据的算法。RANSAC算法步骤①随机从数据集中随机抽出4个样本数据 (此4个样本之间不能
·
一、RANSAC的介绍
- RANSAC的概念
RANSAC为Random Sample Consensus的缩写,它是根据一组包含异常数据的样本数据集,计算出数据的数学模型参数,得到有效样本数据的算法。 - RANSAC算法步骤
①随机从数据集中随机抽出4个样本数据 (此4个样本之间不能共线),计算出变换矩阵H,记为模型M;
②计算数据集中所有数据与模型M的投影误差,若误差小于阈值,加入内点集 I ;
③如果当前内点集 I 元素个数大于最优内点集 I_best , 则更新 I_best = I,同时更新迭代次数k ;
④如果迭代次数大于k,则退出 ; 否则迭代次数加1,并重复上述步骤; - opencv中实现方式
重点内容是获取得到最佳单应性矩阵H
(H, status) = cv2.findHomography(ptsA, ptsB, cv2.RANSAC, reprojThresh),其中pstA和pstB是表示获取匹配对的点坐标
更多相关理解过程可以参考下面链接:
RANSAC算法理解
二、利用SIFT算法实现图片的拼接
SIFT实现匹配的相关的介绍
图像的全景拼接
- SIFT方法检测特征点
过程描述:import cv2 import numpy as np def cv_show(name, image): cv2.imshow(name, image) cv2.waitKey(0) cv2.destroyAllWindows() def detectAndDescribe(image): # 将彩色图片转换成灰度图 gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) # 建立SIFT生成器 descriptor = cv2.xfeatures2d.SIFT_create() # 检测SIFT特征点,并计算描述子 (kps, features) = descriptor.detectAndCompute(image, None) # 将结果转换成NumPy数组 kps = np.float32([kp.pt for kp in kps]) # 返回特征点集,及对应的描述特征 return (kps, features)
创建一个sift生成器
使用创建的sift生成器的detectAndCompute
方法进行特征点检测
得到图片的特征点信息 - 特征点匹配
def matchKeypoints(kpsA, kpsB, featuresA, featuresB, ratio = 0.75, reprojThresh = 4.0): # 建立暴力匹配器 matcher = cv2.BFMatcher() # 使用KNN检测来自A、B图的SIFT特征匹配对,K=2 rawMatches = matcher.knnMatch(featuresA, featuresB, 2) matches = [] for m in rawMatches: # 当最近距离跟次近距离的比值小于ratio值时,保留此匹配对 if len(m) == 2 and m[0].distance < m[1].distance * ratio: # 存储两个点在featuresA, featuresB中的索引值 matches.append((m[0].trainIdx, m[0].queryIdx)) # 当筛选后的匹配对大于4时,计算视角变换矩阵 if len(matches) > 4: # 获取匹配对的点坐标 ptsA = np.float32([kpsA[i] for (_, i) in matches]) ptsB = np.float32([kpsB[i] for (i, _) in matches]) # 计算视角变换矩阵 (H, status) = cv2.findHomography(ptsA, ptsB, cv2.RANSAC, reprojThresh) # 返回结果 return (matches, H, status) # 如果匹配对小于4时,返回None return None
- 匹配的特征点可视化
def drawMatches(imageA, imageB, kpsA, kpsB, matches, status): # 初始化可视化图片,将A、B图左右连接到一起 (hA, wA) = imageA.shape[:2] (hB, wB) = imageB.shape[:2] vis = np.zeros((max(hA, hB), wA + wB, 3), dtype="uint8") vis[0:hA, 0:wA] = imageA vis[0:hB, wA:] = imageB # 联合遍历,画出匹配对 for ((trainIdx, queryIdx), s) in zip(matches, status): # 当点对匹配成功时,画到可视化图上 if s == 1: # 画出匹配对 ptA = (int(kpsA[queryIdx][0]), int(kpsA[queryIdx][1])) ptB = (int(kpsB[trainIdx][0]) + wA, int(kpsB[trainIdx][1])) cv2.line(vis, ptA, ptB, (0, 255, 0), 1) cv_show("drawImg", vis) # 返回可视化结果 return vis
- 图像拼接
def stitch(imageA,imageB, ratio=0.75, reprojThresh=4.0,showMatches=False): #检测A、B图片的SIFT关键特征点,并计算特征描述子 (kpsA, featuresA) = detectAndDescribe(imageA) (kpsB, featuresB) = detectAndDescribe(imageB) # 匹配两张图片的所有特征点,返回匹配结果 M = matchKeypoints(kpsA, kpsB, featuresA, featuresB, ratio, reprojThresh) # 如果返回结果为空,没有匹配成功的特征点,退出算法 if M is None: return None # 否则,提取匹配结果 # H是3x3视角变换矩阵 (matches, H, status) = M # 将图片A进行视角变换,result是变换后图片 result = cv2.warpPerspective(imageA, H, (imageA.shape[1] + imageB.shape[1], imageA.shape[0])) cv_show('result', result) # 将图片B传入result图片最左端 result[0:imageB.shape[0], 0:imageB.shape[1]] = imageB cv_show('result', result) # 检测是否需要显示图片匹配 if showMatches: # 生成匹配图片 vis = drawMatches(imageA, imageB, kpsA, kpsB, matches, status) # 返回结果 return (result, vis) # 返回匹配结果 return result
- 进行拼接
注意:对于图片的放置顺序需要注意,imageA表示放置右边的图,imageB表示放置左边的图。如果图片位置放置不对,就无法得到最终预期的拼接结果。# 读取图像 imageA = cv2.imread('E:/SIFTDemo/test4/test4_4.jpg') cv_show("imageA", imageA) imageB = cv2.imread('E:/SIFTDemo/test4/test4_3.jpg') cv_show("imageB", imageB) # 计算SIFT特征点和特征向量 (kpsA, featuresA) = detectAndDescribe(imageA) (kpsB, featuresB) = detectAndDescribe(imageB) # 基于最近邻和随机取样一致性得到一个单应性矩阵 (matches,H,status) = matchKeypoints(kpsA, kpsB, featuresA, featuresB) print(H) # 绘制匹配结果 drawMatches(imageA, imageB, kpsA, kpsB, matches, status) # 拼接 stitch(imageA, imageB)
拼接过程
- 原图显示
- 特征点匹配可视化
- 拼接效果
从拼接结果来看,拼接效果还是比较好的。
三、参考资料
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
已为社区贡献9条内容
所有评论(0)