【NeRF】相机的内外参是什么?单目相机是如何成像的?

这篇具有很好参考价值的文章主要介绍了【NeRF】相机的内外参是什么?单目相机是如何成像的?。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

【NeRF】相机的内外参是什么?单目相机是如何成像的?

在做Nerf时对其中的一些原理感到困惑,因而把这些基础理论知识总结下来,方便后面的学习。

对于围绕某一物体拍出来的一组照片而言,我们首先需要弄清不同照片拍摄的方位,如下图所示。而相机的内外参就是用来表达相机位置的参数。其中,相机的位置和朝向由相机的外参(extrinsic matrix)决定,投影属性由相机的内参(intrinsic matrix)决定。
【NeRF】相机的内外参是什么?单目相机是如何成像的?,NeRF学习,NeRF,slam

接下来我们逐一开始介绍:

1.相机外参

相机外参是一个4x4的矩阵 M M M,其作用是将世界坐标系的点 P w o r l d = [ x , y , z , 1 ] P_{world}=[x,y,z,1] Pworld=[x,y,z,1] 变换到相机坐标系 P c a m e r a = M P w o r l d P_{camera}=MP_{world} Pcamera=MPworld下(注意此处为左乘)。我们也把相机外参叫做world-to-camera (w2c)矩阵

补充:这里用到的是齐次坐标系,其定义如下:

如果一个点在无穷远处,这个点的坐标将会 ( ∞ , ∞ ) (\infty,\infty) (,),在欧氏空间中,这就变得没有意义。如果使用齐次坐标,平行线在透视空间的无穷远处交于一点,这样就实现了对于无穷点的表示。

简而言之,齐次坐标就是用N+1维来代表N维坐标

我们可以在一个2D笛卡尔坐标末尾加上一个额外的变量w来形成 2D齐次坐标。因此,一个在笛卡尔坐标系下的点 ( X , Y ) (X, Y) (X,Y)在齐次坐标里面变成了 ( x , y , w ) (x,y,w) (x,y,w),并且有:
X = x w ; Y = y w X=\frac{x}{w};Y=\frac{y}{w} X=wx;Y=wy
例如笛卡尔坐标系下(1,2),在齐次坐标系中可以表示为(1,2,1),如果点(1,2)移动到无限远处,在笛卡尔坐标下它变为 ( ∞ , ∞ ) (\infty,\infty) (,),然后它的齐次坐标表示为(1,2,0)。注意这样的话,我们可以不用 ” ∞ \infty " 来表示一个无穷远处的点了。

另外注意方向向量的齐次坐标第四维等于0,点坐标第四维等于1。

而NeRF主要使用camera-to-world (c2w),也就是相机外参的逆矩阵,其作用是把相机坐标系的点变换到世界坐标系。c2w矩阵是一个4x4的矩阵,左上角3x3是旋转矩阵R,又上角的3x1向量是平移向量T。有时写的时候可以忽略最后一行[0,0,0,1]。

[R,T]表示的c2w矩阵的值描述了相机坐标系的朝向和原点:

具体的,旋转矩阵的第一列到第三列分别表示了相机坐标系的X, Y, Z轴在世界坐标系下对应的方向;平移向量表示的是相机原点在世界坐标系的对应位置

为了更通俗的理解c2w矩阵的内容,我们将c2w作用于相机坐标系中的x轴,也就是[1,0,0,0]上:

[R,T]*[1, 0, 0, 0]^T = [r11, r21, r31]^T

这也就是说相机坐标系下的x轴也就是世界坐标系中的 [r11, r21, r31],这也就是相机外参矩阵中的第一列内容。同理,将c2w作用到相机坐标系下的X轴[1, 0, 0, 0]、Y轴[0, 1, 0, 0]、 Z轴[0, 0, 1, 0]、以及原点[0, 0, 0, 1]我们会依次得到c2w的四列向量。

2.相机内参

相机的内参矩阵K定义如下:
K = [ f x 0 c x 0 f y c y 0 0 1 ] K=\begin{bmatrix}f_x&&0&&c_x\\ 0&&f_y&&c_y\\ 0&&0&&1\end{bmatrix} K= fx000fy0cxcy1
内参矩阵K包含4个值:其中 f x f_x fx f y f_y fy是相机的水平和垂直焦距(对于理想的针孔相机,fx=fy)。焦距的物理含义是相机中心到成像平面的距离,长度以像素为单位。 c x c_x cx c y c_y cy是图像原点相对于相机光心的水平和垂直偏移量,可以用图像宽和高的1/2近似.

这里我们以针孔相机(Pinhole camera)为例介绍内参矩阵中的参数,首先引入我们熟知的小孔成像模型:

为了后面的分析方便,对小孔成像的模型进行进一步的调整,将成像平面画到镜头的对称位置,使得图像不再倒立。注意:这两者是等价的。

内参矩阵中的 f x 和 f y f_x 和f_y fxfy也就是镜头到成像平面的距离。

之后我们讨论内参矩阵中的 c x c_x cx c y c_y cy,这两个参数主要用于将相机坐标系下的3D坐标映射到2D的图像平面。由于像素图片坐标原点一般设置在图片的左上角,不与相机光心重合,所以要表示某一个像素在相机坐标系中的位置时,要在像素坐标的基础上减去 c x 和 c y c_x和c_y cxcy,同时结合下面这张图,像素点距离相机原点的z轴距离为焦距 f f f。我们可以得到:

对于像素图片坐标系中的某个点 ( i , j ) (i,j) (i,j),其在相机坐标系中被表示为 ( i − c x , j − c y , f ) (i-c_x,j-c_y,f) (icx,jcy,f),由此构造出的一条射线的方向向量为: ( i − c x , j − c y , f ) − ( 0 , 0 , 0 ) = ( i − c x , j − c y , f ) (i-c_x,j-c_y,f)-(0,0,0)=(i-c_x,j-c_y,f) (icx,jcy,f)(0,0,0)=(icx,jcy,f),将相机外参左乘这一方向向量也就得到了其在世界坐标系的坐标。

【NeRF】相机的内外参是什么?单目相机是如何成像的?,NeRF学习,NeRF,slam

参考文献和资料:

[1] NeRF代码解读-相机参数与坐标系变换 - 知乎 (zhihu.com)

[2] 【3D目标检测】单目相机成像原理_单目相机原理_可乐大牛的博客-CSDN博客

[3] 机器视觉——相机标定(四个坐标系的关系)_相机坐标系和像素坐标系的关系_向暖阳呢的博客-CSDN博客
[4] 什么是齐次坐标系?为什么要用齐次坐标系? - 知乎 (zhihu.com)文章来源地址https://www.toymoban.com/news/detail-588227.html

到了这里,关于【NeRF】相机的内外参是什么?单目相机是如何成像的?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • pnp单目相机标定测距

    参考:opencv 单目相机pnp测距(Cpp)-CSDN博客

    2024年02月08日
    浏览(35)
  • 关于彩色相机的成像过程

    彩色相机成像的原理基于人眼对色彩的感知以及光的三原色理论。下面是一般彩色相机实现彩色成像的主要原理: 感光元件:彩色相机通常使用像素化的感光元件,如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)芯片。这些感光元件由许多微小的光敏元素(像素)组

    2024年02月15日
    浏览(45)
  • 相机成像基础

    在这个内卷的时代,手机厂商也在内卷\\\"影像\\\",每次新品发布,都将影像效果带到一个新的高度。你是否好奇过,手机或者相机是如何记录下我们的幸福时刻的,本篇文章从相机成像基本流程、相机成像原理以及相机构造三部分部分为大家揭秘。 光线经过镜头照射在感光元件

    2024年02月05日
    浏览(50)
  • 相机成像模型(一)

            如上图所示相机模组由多个元件组成,其中比较重要的元件包括镜头、感光芯片、驱动芯片。镜头的作用是聚集光线,确保良好的成像环境;感光芯片将光信号转换为电信号;驱动芯片则负责信号处理(去噪、白平衡等)与格式转换。         相机的成像过程

    2024年02月08日
    浏览(37)
  • 相机成像原理

    目录 1、相机成像原理说明 2、相机成像过程 2.1、世界坐标系-相机坐标系 2.2、相机坐标系–图像坐标系 2.3、图像坐标系–像素平面坐标系 3、单点无畸变的相机成像模型         近期项目需进行单目测距、及像素坐标与实际物理距离估算,对相机成像相关知识点进行整理

    2024年02月05日
    浏览(43)
  • 『红外相机』成像原理

    红外相机成像原理是利用物体辐射的红外能量来获取图像。红外能量是一种不可见的电磁辐射,波长范围通常从0.8微米到1000微米。 探测红外辐射:红外相机使用红外传感器(如红外焦平面阵列)来 探测目标物体发射的或反射的红外辐射 。红外辐射可以是物体自身的热辐射(

    2024年02月16日
    浏览(38)
  • 相机成像原理【第一节】

    1、胶片摄影与数码摄影 胶片摄影是把光学镜头的光信号投射到胶片上, 数码摄影是把光学镜头的光信号投射到传感器上,传感器把光信号依次处理为电信号和数字信号,片上计算机再把数字信号进行处理 2、相机的组成 2.1 只有传感器相机的成像 一棵树所有的点发出的光照

    2024年02月12日
    浏览(41)
  • 相机成像模型

    坐标系变换 针孔相机模型存在四个坐标系:世界坐标系、摄像机坐标系、图像物理坐标系和图像像素坐标系 世界坐标系 :绝对坐标系,物体在真实世界中的坐标系(3D) 摄像机坐标系 :以相机的 光心 为坐标系的原点,以平行于图像的x和y方向为x轴和y轴, z轴和光轴平行,

    2024年02月21日
    浏览(39)
  • 视觉相机模型以及投影原理推导——(单目)

    参考文献:视觉SLAM十四讲、视觉惯性SLAM理论与源码分析、该博客、文中的公式直接引用上面的文章,如有侵权请联系本人删除 投影过程 三维世界中的物体(目标点)P反射光线,通过相机光心,投影到相机的感光平面(物理成像平面/像素成像平面),一个个的光线投影点汇

    2024年02月09日
    浏览(45)
  • 普通单目相机标定——准备工作

            这里我们还是以普通相机为例(非鱼眼相机)来进行后续的相关标定操作,再回顾下相机的成像模型如下所示。         已知相机内参(fx,fy,u0,v0),畸变系数[k1,k2,k3,p1,p2],相机外参[R|T]。世界坐标系中点Pw(Xw,Yw,Zw),投影至像素坐标系点p(u,v)的计算过程如下。 1)

    2024年02月15日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包