计算机视觉之三维重建(5)---双目立体视觉

这篇具有很好参考价值的文章主要介绍了计算机视觉之三维重建(5)---双目立体视觉。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


一、平行视图

1.1 示意图

 如下图即是一个平行视图。特点:(1) 两个平面平行。 (2) 基线平行于图像平面,极点 e e e e ′ e' e 位于无穷远处。

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

1.2 平行视图的基础矩阵

 1. 对于基础矩阵我们有另一个表达式: F = e ′ × K ′ R K − 1 F=e'×K'RK^{−1} F=e×KRK1,推导过程如下所示。

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

 2. 在平行视图情况下,极点交于无穷远处,所以我们可以假定极点 e ′ = [ 1 , 0 , 0 ] T e'=[1,0,0]^T e=[1,0,0]T,平行视图下, K = K ′ K=K' K=K R = I R=I R=I,那么对于平行视图有:

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

1.3 平行视图的极几何

 1. 极线是水平的,平行于 u u u 轴。

 2. 平行视图下, p p p p ′ p' p v v v 轴方向坐标相同,即垂直方向没有变换。

 3. 极点位于无穷远处。

 4. 已知 p p p F F F 的情况下, p ′ p' p 只需要按着扫描线寻找即可,扫描线指的是过 p p p 且平行于 u u u 轴的线。

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

1.4 平行视图的三角测量

 1. 俯视这个平行视图,两个摄像机平面就会变成线。 P P P O 1 O_1 O1 O 2 O_2 O2 的距离表示为深度 z z z O 1 O_1 O1 O 2 O_2 O2 的距离为 B B B,焦距为 f f f。利用相似三角形底比高可得视差与深度 z z z 成反比。

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

 2. (1) 平行视图中的视差图:根据两台平行摄像机在不同角度观察同一物体或场景时,由于视角差异造成的图像的差异进而推断出物体的深度和距离,得到一幅信息图,可以用于对物体或场景的三维重建和识别。 (2) 3D电影通过用两个摄像头同时模拟拍摄同一场景,模拟人眼双眼视觉,再将两个平行视图分别投影到屏幕上,由于使用特殊的偏振式眼睛,通过人眼的立体视觉原理,会给观众感知到一种立体的深度效果。

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

二、图像校正

 1. 图像校正:使一组非平行视图通过校正构建成平行视图。

 2. 图像校正有五步:
 (1) 在两幅图像 l l l l ′ l' l 上找到一组匹配点 p i ↔ p i ′ p_i↔p'_i pipi,不少于 8 8 8 个。

 (2) 计算基础矩阵 F F F(八点法),求解两幅图像中的极点 e e e e ′ e' e
计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

 (3) 选择透视变换 H ′ H' H e ′ e' e 映射到无穷远点 ( f , 0 , 0 ) (f,0,0) (f,0,0),变换公式: H = T − 1 G R T H=T^{-1}GRT H=T1GRT
 ① 先将图像的中心点从左下角移到中心。② 构造 R R R。③ 构造 G G G

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

 (4) 对透视变换矩阵 H H H 进行变换,使得经过 H H H H ′ H' H 变换后的两个像平面满足平行视图要求: Σ d ( H p i , H ′ p i ′ ) Σd(Hp_i,H'p_i') Σd(Hpi,Hpi)

 (5) 分别利用新的矩阵 H H H H ′ H' H,对左右两幅图像 l l l l ′ l' l 进行重采样,得到一组平行视图。

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

三、对应点问题

 对应点搜索问题,即根据 p p p 点寻找对应 p ′ p' p 点的问题,我们根据平行视图极几何关系可知, p ′ p' p 点一定在扫描线上,这样可以进一步缩小的检索范围。

3.1 相关匹配法

 通过点与点之间 3 ∗ 3 3*3 33 窗口的相关性来进行判断。作为相关性标准,该方法可行依据在于,一般情况下一个图像上像素颜色或灰度的变化是平滑的,这样近似相同点平方的最大值的和在理论上大于高偏差点平方的最大值的和。

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

3.2 归一化相关匹配法

 1. 对于一个图像上存在像素颜色或灰度变化突变的情况,上一种方法会出现计算误差较大,所以需要进行归一化。

 2. 归一化相关匹配法:改变原来的相似性度量,通过每个窗口向窗口均值进行归一化,达到平滑的效果。

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

3.3 窗口问题

 对于较小的窗口:会引入更多的噪声,更容易受到噪声影响,但反之也会在没有噪声影响的地方提供更精确的信息。对于较大的窗口:通过归一化操作可以平滑更多的噪声,但也会丢失一部分细节。

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

3.4 相关法存在的问题

 1. 透视缩短和遮挡问题:

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

 2. 当遇到不规则物体在视角上存在遮挡时,可能由于 B / z B/z B/z 的过大,两个像平面无法得到更多的信息交互,导致信息丢失,所以可以适当减小 B / z B/z B/z。但当 B / z B/z B/z 过小时,由于双目视觉上遮挡的信息只能尽量的去弱化,不能去消除,所以当 B / z B/z B/z 过小时,物体的突出部会造成过大的深度误差,从而在三维重建过程中存在视觉上的明显错误。

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

 3. 同质区域:由于存在世界坐标下不同区域但颜色非常相近的地方,所以会导致误差的产生,比如用双目视觉去测量一堵白墙的形状,但光影极其不明显。

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

 4. 对于世界实物上存在重复的区域,这会对双目视觉的三维重建产生较大的影响。

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

3.5 约束问题

 1. 唯一性约束:对于一张图像中的任何点,在另一张图像上最多只有一个匹配点,不存在同质区域和重复区域。

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

 2. 顺序约束/单调性约束:左右视图中的对应点次序一致,保证不存在遮挡。

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉

 3. 平滑性约束:视差函数通常是平滑的,减少曝光亮度突变的问题。

计算机视觉之三维重建(5)---双目立体视觉,计算机视觉之三维重建,计算机视觉,人工智能,三维重建,双目立体视觉文章来源地址https://www.toymoban.com/news/detail-848883.html

到了这里,关于计算机视觉之三维重建(5)---双目立体视觉的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【计算机视觉】基于三维重建和点云处理的扫地机器人寻路

    [摘要] 扫地机器人的使用已经越发普及,其中应用到了三维重建的知识。本项目旨在设计由一   定数量的图像根据算法完成三维模型的建立,并利用三维数据最终得到扫地机器人的行驶路   线,   完成打扫机器人成功寻路的任务   。本项目采用的方法是 SFM-MVS   、Colmap  

    2024年01月21日
    浏览(54)
  • 深度学习应用篇-计算机视觉-语义分割综述[5]:FCN、SegNet、Deeplab等分割算法、常用二维三维半立体数据集汇总、前景展望等

    【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等 专栏详细介绍:【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、

    2024年02月16日
    浏览(52)
  • 双目视觉实战---三维重建基础与极几何

    目录 一,简介 二. 双视图与三角化 1. 三角化模型 2. 多视图几何的关键问题 3、极几何 三、本质矩阵 四、基础矩阵 3. 基础矩阵的作用及小结 五、基础矩阵估计 三维重建是指通过一系列的图像或传感器数据,推导出物体或场景的三维模型的过程。而极几何(Epipolar Geometry)

    2024年02月07日
    浏览(37)
  • 计算机视觉:朗伯光度立体法(Lambertian Photometric Stereo)

    光度立体法,即Photometric Stereo, 最早是由当时在MIT的人工智能实验室的Robert J. Woodham教授在1978年左右提出。他在1979年的论文《Photometric stereo: A reflectance map technique for determining surface orientation from image intensity》,以及1980年的论文《Photometric Method for Determining Surface Orientation from

    2024年02月12日
    浏览(33)
  • 【计算机视觉|人脸建模】3D人脸重建基础知识(入门)

    本系列博文为深度学习/计算机视觉论文笔记,转载请注明出处 三维重建(3D Reconstruction)是指根据单视图或者多视图的图像重建三维信息的过程。 人工几何模型 仪器采集 基于图像的建模 描述 基于几何建模软件通过人机交互生成物体三维几何模型 基于结构光和激光扫描技术

    2024年02月14日
    浏览(55)
  • 计算机视觉新巅峰,微软&牛津联合提出MVSplat登顶3D重建

    3D场景重建和新视角合成是计算机视觉领域的一项基础挑战,尤其是当输入图像非常稀疏(例如,只有两张)时。尽管利用神经场景表示,例如场景表示网络(SRN)、神经辐射场(NeRF)和光场网络(LFN)等,取得了显著进展,但这些方法在实际应用中仍然不尽人意,原因包括

    2024年04月15日
    浏览(59)
  • 【计算机视觉|人脸建模】深度学习时代的3D人脸重建调查报告

    本系列博文为深度学习/计算机视觉论文笔记,转载请注明出处 标题: 3D Face Reconstruction in Deep Learning Era: A Survey 链接:3D Face Reconstruction in Deep Learning Era: A Survey - PubMed (nih.gov) 随着深度学习的出现和图形处理单元的广泛应用,3D人脸重建已成为生物特征识别最引人入胜的主题。

    2024年02月14日
    浏览(55)
  • 探索人工智能 | 计算机视觉 让计算机打开新灵之窗

    计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。 计算机视觉既是工程领域,也是科学领域中的一个富

    2024年02月14日
    浏览(50)
  • 深入探索人工智能与计算机视觉

    在当今数字化时代,人工智能(AI)和计算机视觉(CV)作为两大前沿技术,正以惊人的速度改变着我们的生活。本文将深入探讨人工智能与计算机视觉的关系、应用以及未来发展方向。 1. 人工智能与计算机视觉的关系 人工智能是一门涵盖众多技术领域的学科,旨在使计算机

    2024年04月14日
    浏览(57)
  • 计算机视觉五大核心研究任务全解:分类识别、检测分割、人体分析、三维视觉、视频分析

    本篇文章深入探讨了计算视觉的定义和主要任务。内容涵盖了图像分类与识别、物体检测与分割、人体分析、三维计算机视觉、视频理解与分析等技术,最后展示了无监督学习与自监督学习在计算机视觉中的应用。 作者 TechLead,拥有10+年互联网服务架构、AI产品研发经验、团

    2024年02月12日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包