OpenCV单目视觉定位实现方法

OpenCV单目视觉定位（测量）系统The System of Vision Location with Signal CameraAbstract:This passage mainly describes how to locate with signalcamera,which bases on OpenCV library.Key words: OpenCV; Locate;Signalc

雪花飞龙

4907人浏览 · 2020-08-05 17:29:52

雪花飞龙 · 2020-08-05 17:29:52 发布

OpenCV单目视觉定位（测量）系统

The System of Vision Location with Signal Camera

Abstract:This passage mainly describes how to locate with signalcamera,which bases on OpenCV library.

Key words: OpenCV; Locate;Signalcamera

摘要：本文主要描述的是利用开源计算机视觉库OpenCV实现单目视觉定位系统。

关键词： OpenCV；单位视觉定位

1 总体设计方案

单目视觉定位系统是通过单个分辨率为640*480，20万的USB手动调焦摄像头获取图片并传到计算机利用OpenCV进行预处理、识别、定位、测量等图像处理算法，进而得出目标物体相对摄像头的二维坐标距离。

2 预处理

对摄像头获取的图片进行均值滤波处理，目的是抑制电气元件或者环境因素引起的噪声。滤波也叫平滑处理，滤波的目的是抑制噪声，平滑滤波属于低频增强空间滤波技术，因为图像的能量大部分集中在幅度谱的低中频，噪声一般存在于高频段。

在本系统中主要采用均值滤波算法，也叫邻域平均算法。领域平均算法的基本思想是对含噪声图像的每一个像素点f(x,y)取领域S，用领域S中所包含的像素灰度平均值来代替该点的灰度值。

领域平均法的优点是处理方法简计算速度快，缺点是在降低噪声的同时是图像产生一定程度的模糊，领域半径越大，去噪效果越好，但图像越模糊。

因此，本系统采用3 X 3模板h，其转置矩阵为：1/9 [1,1,1 ; 1,1,1 ; 1,1,1]，设f(x,y)为原图像的每一个像素值，g(x,y)为输出图像对应的每一个像素值，则均值滤波核心算法为原图像的每一个像素（除图像边缘像素）和3 X 3模板h进行卷积运算得出输出图像。

图一灰度图

图二均值滤波

3 识别

对于目标物体的识别，本系统是采用Canny边缘检测找出所有可能的边缘信息，然后对边缘信息进行提取和分析，进而识别出目标物体。与该目标物体的识别还有一种方法是采用阈值算法分割出特定灰度值范围内的物体，但该算法受光照影响较大，而边缘检测受光照影响较少，因此Canny采用边缘检测算法。

3.1目标物体

对目标物体的设计，我采用了外面六边形，里面五边形，六边形与五边形之间黑色填充，其余白色填充，六边形与五边形中心基本上一致。如下图所示

图三打印的目标物体

3.2 Canny边缘检测

边缘检测的算法只要是基于图像增强的一阶和二阶导数。Canny边缘检测算子是JohnF.Canny于1986年开发出来的一个多级边缘检测算法。Canny的目标是找到一个最优的边缘检测算法。其具有的优点是：

l 低错误性：标识出尽可能多的实际边缘，同时尽可能地减少噪声产生的误报。

l 高定位性：标识出的边缘要与图像中的实际边缘尽可能接近

l 最小效应：图像中的边缘只能标识一次，并且可能存在的图像噪声不应标识为边缘

其步骤是，首先使用高斯平滑滤波器卷积降噪，计算梯度幅值和方向，然后进行非极大值抑制，排除非边缘像素，仅仅保留了一些细线条，最后滞后阈值。

对上面经过均值滤波的灰度图进行Canny边缘检测。

图四边缘检测图

3.3 轮廓分析

对上面的Canny边缘检测得出的信息运用OpenCV提供的findContours函数边缘信息转化为轮廓信息，最后再对轮廓进行分析处理，找出目标物体。

图五轮廓图

轮廓分析算法：遍历所有轮廓，排除凹轮廓和轮廓面积小于100像素的轮廓，找出轮廓为逼近六边形和逼近五边形的所有轮廓，找出这些逼近六边形和逼近五边形轮廓的最小外接矩形，并各提取最小外接矩形的中心（即逼近六边形和逼近五边形轮廓中心），若逼近六边形轮廓的最小外接矩形和逼近五边形轮廓的最小外接矩形中心基本在同一点（考虑畸变原因，中心点不一定一致），则为目标物体。

3 定位

本系统是采用640*480分辨率，20万像素的手动调焦的USB摄像头进行实验的，该摄像头广角较低，畸变不厉害。

定位功能得出的坐标是相对于自定义的图像坐标原点，在该系统中，定义的原点就是图像中心（320，240）单位为像素。因此，在摄像头水平放置的情况下，自定义图像原点即为二维空间上的摄像头正下方。

定位的基本思想是利用已知目标物体的长度和求出的目标物体的像素长度，得出像素的尺寸，再利用像素尺寸和目标物体在自定义原点的X,Y方向的像素距离，进而求出目标物体相对水平放置的摄像头的X,Y方向实际距离。

实验结果，本实验是摄像头距目标物体正上方大约50cm上进行测量的，摄像头为水平放置。经过多次测量，测出距离与实际距离误差基本上维持在1cm到2cm之间。如下图所示：（红色点为自定义的图象原点，左上方的Target_X，Target_Y分别为系统测出的目标距原点（摄像头正下方）的X和Y方向的测出距离。图像上的白色坐标系为实际理论距离。

图六实验结果图

图、实验情况

1 结束语

该测量系统只在短范围内测量，实验还存在误差。因为该摄像头本身畸变不大，没有进行标定，矫正等一系列处理，实验数据还能接受，但对于广角大、畸变大的摄像头，本系统根本无法适用。还有的是，本系统还没有进行相机姿态估计，因此，对于摄像头与水平面有一定角度时，误差会大大增加。

在接下来的时间里，作者会尽量完善该系统，争取能用于无人机以及机器人的单目视觉定位系统。

本文难免有错漏，欢迎大家指出，本人联系方式：821992904@qq.com。

核心代码：

//定位函数
void Location(){
 
	//均值滤波
	blur(gray, gray_blur, Size(3, 3));
 
	//边缘检测提取边缘信息
	Canny(gray_blur, dstThreshold, 150, 450);
	imshow("canny边缘检测", dstThreshold);
	
	//对边缘图像提取轮廓信息
    vector<vector<Point> >contours;
	findContours(dstThreshold, contours, CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE);
	
	//画出轮廓
	drawContours(contours_image, contours, -1, Scalar(0, 0, 255));
	imshow("contours", contours_image);
 
	//画出定义的原点
	circle(src, Point2f(oriX, oriY), 2, Scalar(0, 0, 255), 3);
 
	//定义分别逼近六边形和五边形的轮廓
	vector< vector<Point> > Contour1_Ok, Contour2_Ok;
 
	//轮廓分析
	vector<Point> approx;
	for (int i = 0; i < contours.size(); i++){
		approxPolyDP(Mat(contours[i]), approx, cv::arcLength(cv::Mat(contours[i]), true)*0.04, true);
 
		//去除 小轮廓，只提取凸轮廓
		if (std::fabs(cv::contourArea(contours[i])) < 600 || !cv::isContourConvex(approx))
			continue;
 
	    //保存逼近六边形的轮廓 到 Contour1_Ok
		 if (approx.size() == 6){
			Contour1_Ok.push_back(contours[i]);
		}
	    //保存逼近五边形的轮廓 到 Contour2_Ok
		 else if (approx.size() == 5){
			 Contour2_Ok.push_back(contours[i]);
		}
 
	}
 
	//对所有符合要求的六边形，五边形轮廓进行分析
	//识别出自定义的物体的关键是：
	//1.六边形和五边形轮廓的最小外接矩形的中心基本在同一点
	//2.六边形轮廓的最小外接矩形的任一边长大于五边形轮廓的最小外接矩形的任一边长
	for (int i = 0; i < Contour1_Ok.size(); i++){
		for (int j = 0; j < Contour2_Ok.size(); j++){
			RotatedRect minRect1 = minAreaRect(Mat(Contour1_Ok[i]));  //六边形轮廓的最小外接矩形
			RotatedRect minRect2 = minAreaRect(Mat(Contour2_Ok[j]));  //五边形轮廓的最小外界矩形
			//找出符合要求的轮廓的最小外接矩形
			if ( fabs(minRect1.center.x - minRect2.center.x) < 30 && fabs(minRect1.center.y - minRect2.center.y)<30 && minRect1.size.width > minRect2.size.width){
				Point2f vtx[4];
				minRect1.points(vtx);
				
				//画出找到的物体的最小外接矩形
				for (int j = 0; j < 4; j++)
					line(src, vtx[j], vtx[(j + 1) % 4], Scalar(0, 0, 255), 2, LINE_AA);
 
				//画出目标物中心到图像原点的直线
				line(src, minRect1.center, Point2f(oriX, oriY), Scalar(0, 255, 0), 1, LINE_AA);
 
				//目标物距图像原点的X,Y方向的像素距离
				targetImage_X = minRect1.center.x - oriX;
				targetImage_Y = oriY - minRect1.center.y;
 
				line(src, minRect1.center, Point2f(minRect1.center.x, oriY), Scalar(255, 0, 0), 1, LINE_AA);
				line(src, Point2f(oriX, oriY), Point2f(minRect1.center.x, oriY), Scalar(255, 0, 0), 1, LINE_AA);
 
                Point2f pointX((oriX + minRect1.center.x) / 2, oriY);
				Point2f pointY(minRect1.center.x, (oriY + minRect1.center.y) / 2);  
		
		        //找出最大边
				float a = minRect1.size.height, b = minRect1.size.width;
				if (a < b) a = b;
				
				mm_per_pixel = targetLength / a;               //计算像素尺寸 = 目标物的实际长度（cm）/ 目标物在图像上的像素长度（pixels）
				targetActualX = mm_per_pixel *targetImage_X;   //计算实际距离X（cm）
				targetActualY = mm_per_pixel *targetImage_Y;   //计算实际距离Y（cm）
 
				//打印信息在图片上
				String text1 = "X:"+format("%f", targetImage_X);
				String text2 = "Y:"+format("%f", targetImage_Y);
				putText(src, text1, pointX, FONT_HERSHEY_SIMPLEX, 0.4, Scalar(0, 0, 255), 1, 8);
				putText(src, text2, pointY, FONT_HERSHEY_SIMPLEX, 0.4, Scalar(0, 0, 255), 1, 8);
 
				String text3 = "Target_X:"+format("%f", targetActualX);
				String text4 = "Target_Y:"+format("%f", targetActualY);
				putText(src, text3, Point(10,30), FONT_HERSHEY_SIMPLEX, 0.7, Scalar(0, 0, 255), 1, 8);
				putText(src, text4, Point(10,60), FONT_HERSHEY_SIMPLEX, 0.7, Scalar(0, 0, 255), 1, 8);
 
				
			}
			break;
		}       
        break;
	}
 
	imshow("SRC", src);
 
}