双目视觉标定与 3D 坐标测量-Toy模板网

这篇具有很好参考价值的文章主要介绍了双目视觉标定与 3D 坐标测量。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、研究背景与意义

二、课题内容

（一）双目视觉标定

1.原理

2. 流程

(二)双目视觉测量

1. 对第“4”对图分析

2. 对第“5”对图分析

3. 对第“6”对图分析

4. 将数据综合列表画图

（三）位移测量(0-20mm 11 对图)

1.确定拟合平面

参考文献

一、研究背景与意义

人类对其周边环境信息的判断主要依靠视觉，通过人眼与大脑的协调工作，人类实现了对环境信息的识别和判断。计算机视觉是机器设备对生物视觉系统的模仿，其工作目的是将机器视觉中的图片和视频等信息恢复为三维场景信息，并由此重建和识别物体。从尽可能多的实现仿生和实用的观点来看，双目视觉最能够实现机器视觉向人类视觉的仿生。我们身处于一个具有三维立体结构的世界中，视觉功能可以帮助我们对周边环境中所有物体的三维结构加以辨识，然而大多数的摄像机其获取的仅仅只是物体的表象信息。计算机视觉的主旨工作就是对终像、视频等二维信息进行分析和理解，从而使机器能够像人类一样可以识别三维结构的物体。计算机识别三维结构物体的关键问题就是终像的三维重建，而研究如何能够恢复一维表象信息的三维场景坐标便是实现三维重建的重中之重。所谓双目立体视觉就是利用摄像机从不同位置采集同一场景的双目图像，通过三维重构过程，还原物体的三维信息，从而使人感到真实三维场景的立体感。双目视觉测量是计算机视觉的一个重要分支，它以计算机视觉理论为基础，涉及光学、光电子学、图像处理、模式识别、信号与数据处理及计算机技术等诸多学科。双目视觉测量的原理，是基于人眼双目视差，从两个摄像机获取不同视角下的同一场景下的图像，通过图像处理分析两幅图像中目标点的对应关系，从而得到物体的三维信息。计算机双目视觉直接模拟了人眼处理景物的方式，可在多种条件下灵活地测量景物的立体信息，是其它计算机视觉方法所不能取代的，对它的研究，无论是从视觉生理的角度还是在工程应用中都具有十分重要的意义。

二、课题内容

（一）双目视觉标定

1.原理

双目摄像机需要标定的参数：摄像机内参数矩阵，畸变系数，两相机之间的旋转矩阵 R 和平移矩阵 T ( 其中摄像机内参数矩阵和畸变系数矩阵可以通过单目标定的方法标定出来) 。双目摄像机标定和单目摄像机标定最主要的区别就是双目摄像机需要标定出左右摄像机坐标系之间的相对关系。我们用旋转矩阵 R 和平移矩阵 T 来描述左右两个摄像机坐标系的相对关系，具体为：在左相机上建立世界坐标系。假设空间中有一点 P，其在世界坐标系下的坐标为 Pw ，其在左右摄像机坐标系下的坐标可以表示为：

Pl=RlPw+Tl

Pr=RrPw+Tr

2. 流程

①选择 matlab 中的双目标定工具箱；

图 1.2.1 选择工具箱双目相机三维坐标,matlab,matlab,计算机视觉

图 1.2.2 进入工具箱

②导入图片并设置棋盘格尺寸：导入左相机、右相机拍摄的图片文件夹，同时设置好棋盘格的宽度数值；双目相机三维坐标,matlab,matlab,计算机视觉

图 1.2.3 导入图片并设置棋盘格尺寸

图 1.2.4 导入成功

③设置校正参数：

A. 径向畸变：

径向畸变是相机镜头中常见的一种畸变类型。它会导致图像中心部分的物体形状变形。径向畸变可以用畸变参数来描述，其中常用的是 k1 和 k2 两个参数。选择计算 2 个畸变参数即可满足大多数情况。当计算 3 个畸变参数时， k3 值通常很小，可以忽略。在计算 3 个畸变参数时，需要注意畸变参数的排列顺序为 [k1, k2, p1, p2, k3]

B. 切向畸变：

切向畸变是相机镜头的另一种畸变类型。在现代相机质量较高的情况下，一般不需要考虑切向畸变。

C. 可选参数设置：

在畸变矫正模块中，你可以选择输入一些初始参数。这些参数将被用于迭代计算，以减少计算量。如果你不输入这些参数，MATLAB 会自动进行迭代计算。

D. 计算模块：

点击计算按钮后， MATLAB 将执行畸变矫正的计算过程。总结来说，畸变矫正模块用于处理相机镜头的畸变问题。它包括径向畸变和切向畸变的计算和矫正。你可以选择计算 2 个或 3 个径向畸变参数，并可以设置一些可选的参数。完成设置后，点击计算按钮开始执行畸变矫正计算。

图 1.2.5 设置矫正参数

④计算结果再分析

在左下方是左右图像的标定误差直方图。通过点击误差较大的直方图，可以在左侧的图像对中到对应的图像。右键点击该图像，选择"Remove and

Recalibrate" ，可以执行以下步骤：

A. 移除选定的图像对：选择 "Remove and Recalibrate" 后，系统将从标定中移除该图像对，即不再使用该图像对进行标定。

B. 重新标定：移除图像对后，系统会重新执行标定过程，使用剩余的图像对进行标定计算。

C. 重复步骤：如果仍然存在误差较大的直方图，你可以继续点击该直方图，找到对应的图像，并选择"Remove and Recalibrate" ，以重复上述步骤。通过反复移除误差较大的图像对并重新标定，直到认为误差满足标定需求为止。这个过程可以帮助提高标定的准确性和精度。

图 1.2.6 选择误差较大的直方图

双目相机三维坐标,matlab,matlab,计算机视觉

图 1.2.7 删除选中直方图并重新标定

⑤导出计算结果：点击 Export Camera Parameters 导出校正结果，对话框中点击确定（见图 10 ），然后关闭相机校正模块，回到 matlab 主界面。双目相机三维坐标,matlab,matlab,计算机视觉

图 1.2.8 点击 Export Camera Parameters

图 1.2.9 导出校正结果

6 ⑥读取参数：标定结束后，会得到如下标定参数；

图 1.2.10 标定参数

TranslationOfCamera2 ：相机 2 相对于相机 1 的偏移矩阵；

RotationOfCamera2 ：相机 2 相对于相机 1 的旋转矩阵；

CameraParameters1 、 CameraParameters2 为左右摄像头的单独标定参数。

图 1.2.11 RotationOfCamera2

图 1.2.12 TranslationOfCamera2

图 1.2.13 导出数据

此时标定完成，保存并导出数据。

(二)双目视觉测量

1. 对第“4”对图分析

① 写入代码

% 载入相机参数
load('D:\6.19opencv\stereoParams.mat');
CameraParameters1=stereoParams.CameraParameters1;
%load('D:\6.19opencv\cameraParams2.mat');
CameraParameters2=stereoParams.CameraParameters2;
rotationOfCamera
=
[0.961946016750214,0.00813927148687200,-0.273118313406590;-0.005604972092
34865,0.999933707257798,0.0100581000949768;0.273182073251963,-0.008144528
79788458,0.961927867100449];
translationOfCamera = [-276.724447941251
1.02241233804647
45.6465912222537];
stereoParams
=stereoParameters(CameraParameters1,
CameraParameters2,
rotationOfCamera,translationOfCamera);
% 读取图像
I1 = imread(fullfile('D:\6.19opencv\双目边长测量\camera1','4.jpg'));
I2 = imread(fullfile('D:\6.19opencv\双目边长测量\camera2','4.jpg'));
% 消除畸变
I1 = undistortImage(I1, stereoParams.CameraParameters1);
I2 = undistortImage(I2, stereoParams.CameraParameters2);
% 检测棋盘格角点
[imagePoints1, boardSize1] = detectCheckerboardPoints(I1);
[imagePoints2, boardSize2] = detectCheckerboardPoints(I2);
% 获取三维点
for i = 1:88
center1i = imagePoints1(i,:);
center1(i,1) = center1i(:,1);
center1(i,2) = center1i(:,2);
end
for j = 1:88
center2j = imagePoints2(j,:);
center2(j,1) = center2j(:,1);
center2(j,2) = center2j(:,2);
end
for k = 1:88
point3dk = triangulate(center1(k,:), center2(k,:), stereoParams);point3d(k,1) = point3dk(:,1);
point3d(k,2) = point3dk(:,2);
point3d(k,3) = point3dk(:,3);
end
X = point3d(:,1);
Y = point3d(:,2);
Z = point3d(:,3);

②得到 88 个点坐标

图 2.1.1 点坐标

③将点坐标导出并保存在 excel 中

图 2.1.2 导出并保存坐标

④ 将点坐标做成散点图，方便找到角点

图 2.1.3 散点图

⑤ 带入数值计算

2. 对第“5”对图分析

①写入代码

% 载入相机参数
load('D:\6.19opencv\stereoParams.mat');
CameraParameters1=stereoParams.CameraParameters1;
%load('D:\6.19opencv\cameraParams2.mat');
CameraParameters2=stereoParams.CameraParameters2;
rotationOfCamera
=
[0.961946016750214,0.00813927148687200,-0.273118313406590;-0.005604972092
34865,0.999933707257798,0.0100581000949768;0.273182073251963,-0.008144528
79788458,0.961927867100449];
translationOfCamera = [-276.724447941251
1.02241233804647
45.6465912222537];
stereoParams
=stereoParameters(CameraParameters1,
CameraParameters2,
rotationOfCamera,translationOfCamera);
% 读取图像
I1 = imread(fullfile('D:\6.19opencv\双目边长测量\camera1','5.jpg'));
I2 = imread(fullfile('D:\6.19opencv\双目边长测量\camera2','5.jpg'));
% 消除畸变
I1 = undistortImage(I1, stereoParams.CameraParameters1);
I2 = undistortImage(I2, stereoParams.CameraParameters2);
% 检测棋盘格角点
[imagePoints1, boardSize1] = detectCheckerboardPoints(I1);
[imagePoints2, boardSize2] = detectCheckerboardPoints(I2);
% 获取三维点
for i = 1:88
center1i = imagePoints1(i,:);
center1(i,1) = center1i(:,1);
center1(i,2) = center1i(:,2);
end
for j = 1:88
center2j = imagePoints2(j,:);
center2(j,1) = center2j(:,1);
center2(j,2) = center2j(:,2);
end
for k = 1:88
point3dk = triangulate(center1(k,:), center2(k,:), stereoParams);
point3d(k,1) = point3dk(:,1);
point3d(k,2) = point3dk(:,2);point3d(k,3) = point3dk(:,3);
end
X = point3d(:,1);
Y = point3d(:,2);
Z = point3d(:,3);

②得到 88 个点坐标

图 2.2.1 点坐标

③将点坐标导出并保存再 excel 中（下图为部分）

图 2.2.2 导出并保存点坐标

④ 将点坐标做成散点图，方便找到角点

图 2.2.3 散点图

⑤ 带入数值计算

3. 对第“6”对图分析

① 写入代码

% 载入相机参数
load('D:\6.19opencv\stereoParams.mat');
CameraParameters1=stereoParams.CameraParameters1;
%load('D:\6.19opencv\cameraParams2.mat');
CameraParameters2=stereoParams.CameraParameters2;
rotationOfCamera
=
[0.961946016750214,0.00813927148687200,-0.273118313406590;-0.005604972092
34865,0.999933707257798,0.0100581000949768;0.273182073251963,-0.008144528
79788458,0.961927867100449];
translationOfCamera = [-276.724447941251
1.02241233804647
45.6465912222537];
stereoParams
=stereoParameters(CameraParameters1,
CameraParameters2,
rotationOfCamera,translationOfCamera);
% 读取图像
I1 = imread(fullfile('D:\6.19opencv\双目边长测量\camera1','6.jpg'));
I2 = imread(fullfile('D:\6.19opencv\双目边长测量\camera2','6.jpg'));
% 消除畸变
I1 = undistortImage(I1, stereoParams.CameraParameters1);
I2 = undistortImage(I2, stereoParams.CameraParameters2);
% 检测棋盘格角点
[imagePoints1, boardSize1] = detectCheckerboardPoints(I1);
[imagePoints2, boardSize2] = detectCheckerboardPoints(I2);
% 获取三维点
for i = 1:88
center1i = imagePoints1(i,:);
center1(i,1) = center1i(:,1);
center1(i,2) = center1i(:,2);
end
for j = 1:88
center2j = imagePoints2(j,:);
center2(j,1) = center2j(:,1);
center2(j,2) = center2j(:,2);
end
for k = 1:88
point3dk = triangulate(center1(k,:), center2(k,:), stereoParams);
point3d(k,1) = point3dk(:,1);
point3d(k,2) = point3dk(:,2);point3d(k,3) = point3dk(:,3);
end
X = point3d(:,1);
Y = point3d(:,2);
Z = point3d(:,3);

② 得到 88 个点坐标双目相机三维坐标,matlab,matlab,计算机视觉

图 2.3.1 点坐标

③ 将点坐标导出并保存再 excel 中（下图为部分）双目相机三维坐标,matlab,matlab,计算机视觉

图 2.3.2 导入并保存点坐标

16④将点坐标做成散点图，方便找到角点双目相机三维坐标,matlab,matlab,计算机视觉

图 2.3.3 散点图

⑤ 带入数值计算

4. 将数据综合列表画图

双目相机三维坐标,matlab,matlab,计算机视觉

图 2.4.1 边长折线图

（三）位移测量(0-20mm 11 对图)

1.确定拟合平面

①首先将距离为 0 的一对图导入运行双目相机三维坐标,matlab,matlab,计算机视觉

图 3.1.1 导入距离 =0

% 载入相机参数
load('D:\6.19opencv\stereoParams.mat');
CameraParameters1=stereoParams.CameraParameters1;
%load('D:\6.19opencv\cameraParams2.mat');
CameraParameters2=stereoParams.CameraParameters2;
rotationOfCamera=[0.961946016750214,0.00813927148687200,-0.27311831340659
0;-0.00560497209234865,0.999933707257798,0.0100581000949768;0.27318207325
1963,-0.00814452879788458,0.961927867100449];
translationOfCamera = [-276.724447941251
1.02241233804647
45.6465912222537];
stereoParams
=stereoParameters(CameraParameters1,
CameraParameters2,
rotationOfCamera,translationOfCamera);
% 读取图像
I1 = imread(fullfile('D:\6.19opencv\位移测量\camera1','0.jpg'));
I2 = imread(fullfile('D:\6.19opencv\位移测量\camera2','0.jpg'));
% 消除畸变
I1 = undistortImage(I1, stereoParams.CameraParameters1);
I2 = undistortImage(I2, stereoParams.CameraParameters2);
% 检测棋盘格角点
[imagePoints1, boardSize1] = detectCheckerboardPoints(I1);
[imagePoints2, boardSize2] = detectCheckerboardPoints(I2);% 获取三维点
for i = 1:88
center1i = imagePoints1(i,:);
center1(i,1) = center1i(:,1);
center1(i,2) = center1i(:,2);
end
for j = 1:88
center2j = imagePoints2(j,:);
center2(j,1) = center2j(:,1);
center2(j,2) = center2j(:,2);
end
for k = 1:88
point3dk = triangulate(center1(k,:), center2(k,:), stereoParams);
point3d(k,1) = point3dk(:,1);
point3d(k,2) = point3dk(:,2);
point3d(k,3) = point3dk(:,3);
end
X = point3d(:,1);
Y = point3d(:,2);
Z = point3d(:,3);

②可得一组 88 个点

图 3.1.2 点坐标

③再由这 88 个点通过 MATLAB 之 Curve Fitting Tool 这个工具包，先输入三

组向量 x ， y ， z ，再从列表中选择你想要进行拟合的方式 Polynomial ：多形式逼

近，可得如下图所示的拟合平面以及得到拟合平面方程：

Z=f(x,y) = p00 + p10*x + p01*y

p00 = 1065 (1065, 1065)

p10 = 0.2133 (0.2131, 0.2134)

p01 = 0.05098 (0.05079, 0.05116)

图 3.1.3 拟合平面方程

2. 位移测量

①通过拟合平面方程以及剩下 10 对图的 88 个点三维坐标可求出距离，注意

将剩下十对图和第一对图的 88 个点做成 excel 文件。

②从 Excel 文件读取数据分别通过更改路径和输出路径得到 11 份距离将数据写入 Excel 文件。

双目相机三维坐标,matlab,matlab,计算机视觉

基于点到平面距离公式，计算每个点的距离

下列为“ 2 ”图的例子

图 3.2.1 计算“ 2 ”图距离

function zg_save_distances_to_excel()
% 拟合的平面方程系数
a = 0.213273;
b = 0.050976;
c = -1.000000;
d = 1065.197747;
% 从 Excel 文件读取数据
q = xlsread('D:\6.19opencv\位移测量\2.xlsx', 'sheet1');
% 计算每个点相对于拟合平面的有符号距离
distances = (a * q(:, 1) + b * q(:, 2) + c * q(:, 3) + d) / sqrt(a^2 + b^2 + c^2);
% 创建包含点索引和距离的表格
data = [(1:88)', distances];
% 将数据写入 Excel 文件
xlswrite('D:\6.19opencv\位移测量\distances2.xlsx', data, 'sheet1');
fprintf('距离数据已保存到 distances2.xlsx 文件中。\n');
End

双目相机三维坐标,matlab,matlab,计算机视觉