定义
本质矩阵E（Essential Matrix）：反映空间中一点P在不同视角摄像机的相机坐标系下表示之间的关系。
空间点P在相机a下相机坐标系中的表示：
P
a
C
=
[
x
a
C
y
a
C
z
a
C
]
P_a^C=\begin{bmatrix}x_a^C\\y_a^C\\z_a^C\\\end{bmatrix}
PaC=⎣
⎡xaCyaCzaC⎦
⎤
空间点P在相机b下相机坐标系中的表示：
P
b
C
=
[
x
b
C
y
b
C
z
b
C
]
P_b^C=\begin{bmatrix}x_b^C\\y_b^C\\z_b^C\\\end{bmatrix}
PbC=⎣
⎡xbCybCzbC⎦
⎤
P
a
C
P_a^C
PaC与
P
b
C
P_b^C
PbC之间的关系：
P
a
C
E
P
b
C
=
[
x
a
C
y
a
C
z
a
C
]
E
[
x
b
C
y
b
C
z
b
C
]
=
0
P_a^CEP_b^C=\begin{bmatrix}x_a^C\\y_a^C\\z_a^C\\\end{bmatrix}E\begin{bmatrix}x_b^C\\y_b^C\\z_b^C\\\end{bmatrix}=0
PaCEPbC=⎣
⎡xaCyaCzaC⎦
⎤E⎣
⎡xbCybCzbC⎦
⎤=0
基础矩阵F（Fundamental Matrix）：反映空间中一点P在不同视角摄像机的图像坐标系下表示之间的关系。
空间点P在相机a下图像坐标系中的表示：
P
a
I
=
[
u
a
v
a
1
]
P_a^I=\begin{bmatrix}u_a\\v_a\\1\\\end{bmatrix}
PaI=⎣
⎡uava1⎦
⎤
空间点P在相机b下图像坐标系中的表示：
P
b
I
=
[
u
b
v
b
1
]
P_b^I=\begin{bmatrix}u_b\\v_b\\1\\\end{bmatrix}
PbI=⎣
⎡ubvb1⎦
⎤
P
a
I
P_a^I
PaI与
P
b
I
P_b^I
PbI之间的关系：
P
a
I
F
P
b
I
=
[
u
a
v
a
1
]
F
[
x
b
C
y
b
C
z
b
C
]
=
0
P_a^IFP_b^I=\begin{bmatrix}u_a\\v_a\\1\\\end{bmatrix}F\begin{bmatrix}x_b^C\\y_b^C\\z_b^C\\\end{bmatrix}=0
PaIFPbI=⎣
⎡uava1⎦
⎤F⎣
⎡xbCybCzbC⎦
⎤=0
推导
如图假设P点在相机1中的坐标为：
x
1
=
O
1
P
⃗
x_1=\vec{O_1P}
x1=O1P
相机2的坐标系相对于1发生了旋转
R
R
R以及平移
t
=
O
1
O
2
⃗
t=\vec{O_1O_2}
t=O1O2，所以P在相机2中的坐标为：
x
2
=
O
2
P
⃗
=
R
x
1
+
t
x_2=\vec{O_2P}=Rx_1+t
x2=O2P=Rx1+t
因为
O
1
P
⃗
\vec{O_1P}
O1P，
O
2
P
⃗
\vec{O_2P}
O2P和
O
1
O
2
⃗
\vec{O_1O_2}
O1O2在同一个平面，所以有：
O
2
P
⃗
⋅
(
O
1
O
2
⃗
×
O
1
P
⃗
)
=
0
\vec{O_2P}\cdot(\vec{O_1O_2}\times\vec{O_1P})=0
O2P⋅(O1O2×O1P)=0
该公式在相机2的坐标系中表示为：
x
2
⋅
(
t
×
(
R
x
1
+
t
)
)
=
x
2
⋅
(
t
×
(
R
x
1
)
)
=
x
2
T
(
t
∧
R
)
x
1
=
0
x_2\cdot(t\times(Rx_1+t))=x_2\cdot(t\times(Rx_1))=x_2^T(t^\wedge R)x_1=0
x2⋅(t×(Rx1+t))=x2⋅(t×(Rx1))=x2T(t∧R)x1=0
所以
t
∧
R
t^\wedge R
t∧R就是本质矩阵，其中若设在各相机图像坐标系的坐标为
p
1
p_1
p1，
p
2
p_2
p2，有
p
1
=
K
x
1
p_1=Kx_1
p1=Kx1，
p
2
=
K
x
2
p_2=Kx_2
p2=Kx2，
K
K
K为相机内参矩阵，带入上面的等式有：
p
2
T
K
−
T
(
t
∧
R
)
K
−
1
p
1
=
0
p_2^TK^{-T}(t^\wedge R)K^{-1}p_1=0
p2TK−T(t∧R)K−1p1=0
所以基础矩阵为：
F
=
K
−
T
E
K
−
1
F=K^{-T}EK^{-1}
F=K−TEK−1
可以看到本质矩阵含有坐标的平移以及旋转信息，所以在求解变换矩阵的时候，我们可以先求解本质矩阵然后再对本质矩阵进行分解来得到旋转和平移矩阵。
求解
由基础矩阵的等式关系通过（八点法）引入8对匹配特征点即可构建一个8*9的线性方程组，然后求解出基础矩阵，进而得到本质矩阵。通过SVD即可以恢复R和t。文章来源：https://www.toymoban.com/news/detail-419852.html
Reference
https://zhuanlan.zhihu.com/p/79845576
https://www.zhihu.com/question/27581884
https://blog.csdn.net/ABC1225741797/article/details/108022772文章来源地址https://www.toymoban.com/news/detail-419852.html
到了这里，关于基础矩阵和本质矩阵的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
