前言
参考了一些大佬的文章，整理了一下相机标定和双目标定的原理和推导。
一、相机标定
摄像机成像就是空间场景投影至二维图像平面的空间变换过程。摄像机标定的要解决两个问题:首先确定三维空间点与像素平面像素点间的转换关系，即求解相机内外参;然后确定相机成像过程中的畸变系数，用于图像矫正，因此摄像机标定的参数包括:相机内部参数，外部参数以及畸变参数。
另外仅仅利用单目相机标定的结果，是无法直接从像素坐标转化到物理坐标的，因为透视投影丢失了一个维度的坐标，所以测距其实需要双目相机。
1.相机的四个坐标系
相机成像系统中，共包含四个坐标系：世界坐标系、相机坐标系、图像坐标系、像素坐标系。
在一些其他文章中均有说明这四个坐标系分别是什么意思，推荐大家看一下这几位博主的文章，非常有收获。
立体视觉入门指南（1）：坐标系与相机参数
相机标定之张正友标定法数学原理详解（含python源码）
相机标定、双目相机标定（原理）、三维重建效果展示
世界坐标系：Xw、Yw、Zw。
相机坐标系： Xc、Yc、Zc。
图像坐标系：x、y。
像素坐标系：u、v。
其中，相机坐标系的Z轴与光轴重合，且垂直于图像坐标系平面并通过图像坐标系的原点，相机坐标系与图像坐标系之间的距离为焦距f。像素坐标系平面u-v和图像坐标系平面x-y重合，但像素坐标系原点位于图中左上角。
世界坐标系到像素坐标系转换的全过程：
这里要说明一下几个问题：
1、外参R、T ，也就是世界坐标系到相机坐标系，要6个自由度，除了旋转还要进行平移。
2、s为比例因子（s不为0)，f为有效焦距(光心到图像平面的距离)。相机坐标系转图像坐标系就是等比例缩放的过程。
3、a= f/dX、ay= f/dY，称为u、v轴的尺度因子,M1称为相机的内部参数矩阵，M2称为相机的外部参数矩阵，M称为投影矩阵。
2.相机的畸变
相机拍摄的图片还存在一定的畸变，畸变包括桶形畸变和枕形畸变。在我的这篇文章中有解释和畸变矫正opencv-python光学畸变校准
径向畸变公式（3阶）如下：
切向畸变公式如下：
相机标定的第二个目的就是获得相机的畸变参数，如上式中的K1,K2,K3,P1,P2 等，进而对拍摄的图片进行去畸变处理。
二、张正友标定法
原文我已经帮大家下载好了，直接获取就可以了。链接：https://pan.baidu.com/s/1wp-GmVuc3CTyRXYX1V7aBQ
提取码：8owo
张正友标定法标定相机的内外参数的思路如下：
1）求解内参矩阵与外参矩阵的积；
2）求解内参矩阵；
3）求解外参矩阵。
1.求解内参矩阵与外参矩阵的积
张正友标定法将世界坐标系固定于棋盘格上，则棋盘格上任一点的物理坐标 W=0 ，因此，原单点无畸变的成像模型可以化为下式。其中， R1,R2为旋转矩阵R的前两列。为了简便，将内参矩阵记为 A。
注：对于不同的图片，内参矩阵A为定值；对于同一张图片，内参矩阵A，外参矩阵(R1 R2 T)为定值；对于同一张图片上的单点，内参矩阵A，外参矩阵(R1 R2 T) ，尺度因子s为定值。
我们将内参矩阵A和外参矩阵(R1 R2 T)的积记为矩阵H，H即为单应矩阵，则有：
尺度因子 s可以消掉，这里的H是齐次矩阵，有8个独立未知元素。每一个标定板角点可以提供两个约束方程的对应关系。因此，当一张图片上的标定板角点数量等于4时，即可求得该图片对应的矩阵 。
以上只是理论推导，在真实的应用场景中，我们计算的点对中都会包含噪声。比如点的位置偏差几个像素，甚至出现特征点对误匹配的现象，如果只使用4个点对来计算单应矩阵，那会出现很大的误差。因此，为了使得计算更精确，一般都会使用远大于4个点对来计算单应矩阵。另外上述方程组采用直接线性解法通常很难得到最优解，所以实际使用中一般会用其他优化方法，如奇异值分解、Levenberg-Marquarat（LM）算法。
2.求解内参矩阵
求出来的单应矩阵H是内参矩阵和外参矩阵的混合体，而我们想要最终分别获得内参和外参，所以需要先求内参或者先求外参。先求内参是因为更容易，因为每张图片的内参都是固定的，而外参是变化的。最后求得如下，具体可以参考大佬的推导相机标定之张正友标定法数学原理详解（含python源码）
最后可根据对应关系求出结果。
3.求解外参矩阵
上面我们已经求导了单应矩阵H和内参矩阵A，自然就可以求得每一张图片对应的外参矩阵（R1 R2 T）。
注：这里值得指出，完整的外参矩阵为
但是，由于张正友标定板将世界坐标系的原点选取在棋盘格上，则棋盘格上任一点的物理坐标W=0 ，将旋转矩阵的R的第三列 R3消掉，因此,R3在坐标转化中并没有作用。但是 要使得 R3满足旋转矩阵R的性质，即列与列之间单位正交，因此可以通过向量 R1,R2的叉乘，即R1 X R2 = R3 ，计算得到R3。
4.标定相机的畸变参数
畸变后的像素坐标为u^v^
此处也是参考了大佬的推导，建议大家都看一下，非常推荐！
5.双目标定
通过 P = R X Pl + T可以推出：
需要说明的是，无论是Rl、Rr、Tl、Tr，这些在我们单目标定的时候都已经获得过了，opencv单目标定函数中，除了返回我们相机内参、畸变系数外，相机相对于标定物的旋转、平移矩阵也一并返回了，我们可以直接可以用。
6.极线矫正（立体校正）
之前写的文章里面有介绍极线矫正opencv-python立体匹配（极线校正）
立体校正的目的就是，利用立体标定所获得的参数将实际非共面行对准的两幅图像，校正成共面行对准。
三、视差图与深度图
引用大佬的文章立体匹配入门指南（8）：视差图、深度图、点云
通过三角形相似可得出：文章来源：https://www.toymoban.com/news/detail-406935.html
故
其中,Z为深度,d为视差，b为基线长度，f为焦距（像素单位），xr和xl分别为左右视图主点的列坐标。
注：视差图中存的是视差d，深度图中存的是深度Z。文章来源地址https://www.toymoban.com/news/detail-406935.html
到了这里，关于相机标定和双目相机标定标定原理推导及效果展示的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
