无人机红外相机的畸变矫正

这篇具有很好参考价值的文章主要介绍了无人机红外相机的畸变矫正。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

在项目开展过程中,发现大疆M30T的红外相机存在比较明显的畸变问题,因此需要对红外图像进行畸变矫正。在资料检索过程中,发现对红外无人机影像矫正的资料较少,对此,我从相机的成像原理角度出发,探索出一种效果尚可的解决思路,遂以本文记录如下。

畸变矫正模型

目前采用的主流相机畸变矫正模型基本都是Brown-Conrady模型,原论文:Decentering Distortion of Lenses

其中,该模型将畸变类型划分成两类:径向畸变和切向畸变。
径向畸变的原因是透镜表面的弧度引起的光线折射角不同,导致越靠镜头的边缘畸变越严重。根据凹凸性可分成桶型畸变和枕型畸变,示意图如下。

无人机红外相机的畸变矫正,图像配准,无人机,数码相机

根据畸变模型,可得畸变矫正公式如下:
无人机红外相机的畸变矫正,图像配准,无人机,数码相机
切向畸变的原因是透镜本身与成像平面不平行。根据模型,可得畸变矫正公式如下:
无人机红外相机的畸变矫正,图像配准,无人机,数码相机

式中,各符号参数含义如下:
无人机红外相机的畸变矫正,图像配准,无人机,数码相机

本质上,这两个公式的形式都应用到泰勒展开,因此,需要实现畸变矫正,只需要确定5个未知量,即5个畸变参数。
通常来说,k1和k2的数值足以完成大多数的畸变,k3除了鱼眼相机外,影响不大,因此在后面使用OpenCV进行实践时,参数返回的顺序是这样:D = [k1 k2 p1 p2 k3]

目前很多主流软件算法也使用这套模型,比如在pix4d中,相机参数一栏需要填写这5个量。

无人机红外相机的畸变矫正,图像配准,无人机,数码相机

畸变参数属于相机的内参,和焦距,像素大小等内参类似,一经出厂就固定,和拍摄物体的远近没有关系。一些相机厂商会提供相关的内参数值,不过大疆显然并没有提供,参考一些大疆社区的提问帖,就算询问客服也无从得知,因此需要通过自己测量得到相关的数值。

四个坐标系

由于畸变参数属于内参,在测量时,可以采用相机标定的方式,同时得到相机的内外参数。在此之前,需要先了解相机模型的四个坐标系。

无人机红外相机的畸变矫正,图像配准,无人机,数码相机

  • 世界坐标系 x w x_w xw- y w y_w yw- z w z_w zw:物理世界中,指定某一点形成固定不变的坐标系
  • 相机坐标系 x c x_c xc- y c y_c yc- z c z_c zc:相机的光心为坐标原点
  • 图像坐标系 x i x_i xi- y i y_i yi:感光芯片的中心为坐标原点
  • 像素坐标系 x p x_p xp- y p y_p yp:通过图像坐标系缩放平移得到

通常对目标进行检测时,输出目标的像素是基于像素坐标系,但对其它的坐标系感知并不是很明显,除了在三维软件建模时,会感知到世界坐标系。

从世界坐标系到相机坐标系

在世界三维坐标系中确定一点,只需要利用简单的刚体变换,即左乘一个R旋转矩阵加上三个轴向的平移量,公式表示如下:
无人机红外相机的畸变矫正,图像配准,无人机,数码相机
由于存在平移量的加法,会导致后续嵌套表示复杂,因此引入齐次坐标,将该表达式化成矩阵相乘的形式。

无人机红外相机的畸变矫正,图像配准,无人机,数码相机

从相机坐标系到图像坐标系

这一步需要将三维坐标系中的一点投射到二维平面,用透视投影的公式表示如下:

无人机红外相机的畸变矫正,图像配准,无人机,数码相机

从图像坐标系到像素坐标系

这一步只需缩放平移,可用仿射变换的公式表示如下:

无人机红外相机的畸变矫正,图像配准,无人机,数码相机

整体变换公式

从世界坐标系到相机坐标系所需参数被称为外参,从相机坐标系到像素坐标系所需参数被称为内参。
联立上面几个公式可以得到在理想无畸变的情况下,从世界坐标系一点到像素坐标系上对应点的变换公式[2]:

无人机红外相机的畸变矫正,图像配准,无人机,数码相机
其中,(U,V,W)为世界坐标系下一点的物理坐标,(u,v)为该点对应的在像素坐标系下的像素坐标, Z为尺度因子。

值得注意的是,在这个公式中,引入了新的一个角度 θ \theta θ,表示感光板的横边和纵边之间的角度,在上面单独部分的推导中,默认为90°,即表示无误差。

棋盘格标定法

理论思路

相机的标定有许多方法,最广泛使用的是张正友教授于1998年提出的单平面棋盘格的摄像机标定方法。

算法的推导较复杂,总体思路如下[2]:

(1) 求解内参矩阵与外参矩阵的积H,对应计算关系如下:
无人机红外相机的畸变矫正,图像配准,无人机,数码相机
由于H是齐次矩阵,因此只需要求解8个独立元素值,每一对(u,v)和(U,V)点可以提供2个约束方程,因此理论上只需要标定4对点就可以求解出H。不过在实际应用中,为了避免噪声扰动,往往需要更多点来辅助计算。

(2) 求解内参矩阵A

在求解A的过程中,可以先求解 A − T A − 1 A^{-T}A^{-1} ATA1,记 B = A − T A − 1 B=A^{-T}A^{-1} B=ATA1,计算公式如下:

无人机红外相机的畸变矫正,图像配准,无人机,数码相机
由于B是对称矩阵,因此实际上需要求解6个未知元素。一张图片可以提供两个约束方程,因此至少需要三张图片,就可以求解出矩阵B和A。实际中,一般需要更多图片,至少10张以上。

(3) 求解外参矩阵[R T]

求出H和A之后,外参矩阵就很容易求解: [ R T ] = A − 1 H [R T] = A^{-1}H [RT]=A1H

实际操作

下面尝试对可见光进行去畸变操作,方法流程如下[5]:
(1)打印一张棋盘方格图
(2)从不同角度拍摄若干张模板图像
(3)检测出图像中的特征点
(4)由检测到的特征点计算出每幅图像中的平面投影矩阵H
(5)确定出摄像机的参数

首先需要打印一张图片,可以直接用网上的资源直接打印,棋盘格A4

然后调用相机从不同角度拍摄,这里可以保持相机不动图片动;也可以保持相机同图片不动,我这里采用的是前者。
无人机红外相机的畸变矫正,图像配准,无人机,数码相机
不过我这里有一点没注意,导致后面用可见光矫正时效果有偏差。这里的标定纸建议贴在硬纸板上,或者直接购买一些标定板,这样可以保证棋盘格上的角点始终为同一平面,否则像图中我的棋盘纸出现弯折,影响模型计算。

我找到了别人拍摄的两组示例,可以当作参考:

无人机红外相机的畸变矫正,图像配准,无人机,数码相机
无人机红外相机的畸变矫正,图像配准,无人机,数码相机

拍摄完成之后,调用OpenCV的函数接口可以比较方便的定位出内角点。

  1. 首先根据棋盘格的内角点(内部黑白相间的点),初始化坐标对。
# 1.找棋盘格角点
# 棋盘格模板规格
# 内角点个数
W = 5 
H = 8
# 世界坐标系中的棋盘格点,例如(0,0,0), (1,0,0), (2,0,0) ....,(8,5,0),去掉Z坐标,记为二维矩阵
objp = np.zeros((W * H, 3), np.float32)
objp[:, :2] = np.mgrid[0:W, 0:H].T.reshape(-1, 2)
# 储存棋盘格角点的世界坐标和图像坐标对
objpoints = []  # 在世界坐标系中的三维点
imgpoints = []  # 在图像平面的二维点

这里相邻点实际以毫米作为单位,而在官方例程中,也可以使用角点个数作为单位。

  1. 灰度化图像,通过cv2.findChessboardCorners来找到角点位置,若找到,返回ret=True
img = cv2.imread(fname)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 找到棋盘格角点
# 棋盘图像(8位灰度或彩色图像)  棋盘尺寸  存放角点的位置
ret, corners = cv2.findChessboardCorners(gray, (W, H), None)
  1. 调用cv2.findChessboardCorners来进一步精确调整角点位置。
# 阈值
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
# 角点精确检测
# 输入图像 角点初始坐标 搜索窗口为2*winsize+1 死区 求角点的迭代终止条件
# 增加准确度
cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria)
objpoints.append(objp)
imgpoints.append(corners)
  1. 调用cv2.calibrateCamera来得到标定结果 相机的内参数矩阵 畸变系数 旋转矩阵 平移向量
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)
print(("ret:"), ret)
print(("mtx内参数矩阵:\n"), mtx, type(mtx))  # 内参数矩阵
print(("dist畸变值:\n"), dist, type(dist))  # 畸变系数   distortion cofficients = (k_1,k_2,p_1,p_2,k_3)
print(("rvecs旋转(向量)外参:\n"), rvecs)  # 旋转向量(外参数)
print(("tvecs平移(向量)外参:\n"), tvecs)  # 平移向量(外参数)

np.save('mtx.npy', mtx)
np.save('dist.npy', dist)

对于畸变矫正任务来说,不需要外参,因此只需要保存内参数矩阵和畸变系数。

  1. 调用保存的参数,对输入图像进行去畸变操作
# 去畸变
mtx = np.load("mtx_hw.npy")
dist = np.load("dist_hw.npy")

img = cv2.imread(r'img.jpg')
h, w = img.shape[:2]

# 我们已经得到了相机内参和畸变系数,在将图像去畸变之前,
# 我们还可以使用cv.getOptimalNewCameraMatrix()优化内参数和畸变系数,
# 通过设定自由自由比例因子alpha。当alpha设为0的时候,将会返回一个剪裁过的将去畸变后不想要的像素去掉的内参数和畸变系数;
# 当alpha设为1的时候,将会返回一个包含额外黑色像素点的内参数和畸变系数,并返回一个ROI用于将其剪裁掉
newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, (w, h), 0, (w, h))  # 自由比例参数

# undistort 得到的ROI对结果进行裁剪。
dst = cv2.undistort(img, mtx, dist, None, newcameramtx)
x, y, w, h = roi
dst = dst[y:y + h, x:x + w]
cv2.imwrite(r'result.jpg', dst)
  1. 计算重投影误差
    进行完前五步,已经可以得到一个畸变矫正的结果。这一步的重投影误差主要是用来评估结果的准确性,类似与深度学习中的Loss。
    重投影误差是指利用计算得到的内外参,将世界坐标系中的点投影到像素坐标系,和本身已知的像素坐标系上的点做误差比较。
# 计算重投影误差
total_error = 0
for i in range(len(objpoints)):
    imgpoints2, _ = cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)
    error = cv2.norm(imgpoints[i],imgpoints2, cv2.NORM_L2)/len(imgpoints2)
    total_error += error
print("total error: ", total_error/len(objpoints))

完整代码如下:

import cv2
import numpy as np
import glob

np.set_printoptions(suppress=True)  # 用于控制Python中小数的显示精度 suppress:小数是否需要以科学计数法的形式输出

# 1.找棋盘格角点
# 棋盘格模板规格
W = 5  # 内角点个数,内角点是和其他格子连着的点
H = 8

# 阈值
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)

# 世界坐标系中的棋盘格点,例如(0,0,0), (1,0,0), (2,0,0) ....,(8,5,0),去掉Z坐标,记为二维矩阵
objp = np.zeros((W * H, 3), np.float32)
objp[:, :2] = np.mgrid[0:W, 0:H].T.reshape(-1, 2)

# 储存棋盘格角点的世界坐标和图像坐标对
objpoints = []  # 在世界坐标系中的三维点
imgpoints = []  # 在图像平面的二维点

imgsPath = "kjg"
images = glob.glob(imgsPath + '/*.jpg') # 拍摄棋盘的图片
i = 0
for fname in images:
    img = cv2.imread(fname)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    # 找到棋盘格角点
    # 棋盘图像(8位灰度或彩色图像)  棋盘尺寸  存放角点的位置
    ret, corners = cv2.findChessboardCorners(gray, (W, H), None)
    # 如果找到足够点对,将其存储起来
    if ret == True:
        # 角点精确检测
        # 输入图像 角点初始坐标 搜索窗口为2*winsize+1 死区 求角点的迭代终止条件
        i += 1
        # 增加准确度
        cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria)
        objpoints.append(objp)
        imgpoints.append(corners)
        # 将角点在图像上显示
        # cv2.drawChessboardCorners(img, (W, H), corners, ret)
        # cv2.imshow('findCorners', img)
        # 保存绘画出角点的图片
        # cv2.imwrite('h' + str(i) + '.jpg', img)
        # cv2.waitKey(10)

# 2标定、去畸变
# 2.1输入:世界坐标系里的位置 像素坐标 图像的像素尺寸大小 3*3矩阵,相机内参数矩阵 畸变矩阵
# 2.1输出:标定结果 相机的内参数矩阵 畸变系数 旋转矩阵 平移向量
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)
print(("ret:"), ret)
print(("mtx内参数矩阵:\n"), mtx, type(mtx))  # 内参数矩阵
print(("dist畸变值:\n"), dist, type(dist))  # 畸变系数   distortion cofficients = (k_1,k_2,p_1,p_2,k_3)
print(("rvecs旋转(向量)外参:\n"), rvecs)  # 旋转向量(外参数)
print(("tvecs平移(向量)外参:\n"), tvecs)  # 平移向量(外参数)

'''
可选:保存内参数矩阵和畸变系数
np.save('mtx.npy', mtx)
np.save('dist.npy', dist)
'''

# 2.2去畸变
img = cv2.imread('img.jpg')
h, w = img.shape[:2]

# 我们已经得到了相机内参和畸变系数,在将图像去畸变之前,
# 我们还可以使用cv.getOptimalNewCameraMatrix()优化内参数和畸变系数,
# 通过设定自由自由比例因子alpha。当alpha设为0的时候,将会返回一个剪裁过的将去畸变后不想要的像素去掉的内参数和畸变系数;
# 当alpha设为1的时候,将会返回一个包含额外黑色像素点的内参数和畸变系数,并返回一个ROI用于将其剪裁掉
newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, (w, h), 0, (w, h))  # 自由比例参数

# undistort 
dst = cv2.undistort(img, mtx, dist, None, newcameramtx)
# 根据前面ROI区域裁剪图片
# x, y, w, h = roi
dst = dst[y:y + h, x:x + w]
cv2.imwrite('calibresult_kjg.png', dst)

# 计算重投影误差
total_error = 0
for i in range(len(objpoints)):
    imgpoints2, _ = cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)
    error = cv2.norm(imgpoints[i],imgpoints2, cv2.NORM_L2)/len(imgpoints2)
    total_error += error
print("total error: ", total_error/len(objpoints))

经实测发现,可见光的畸变并不明显,可能是由于DJI在光学相机中本身内置了畸变矫正算法,即使广角镜头也不会有严重的畸变效果。

红外图像去畸变

在可见光图像中,将这套流程跑通后,准备直接迁移到红外图像,不过一打开镜头就傻眼了,因为红外镜头需要捕捉物体散发的红外波长的光线,比较依赖物体的材质和热量。打印的棋盘格在红外眼中别无二致,丝毫找不到角点信息。(还有我的裤子为啥莫名黑黑的,我绝对没沾水在上面。。)

无人机红外相机的畸变矫正,图像配准,无人机,数码相机

如果继续使用棋盘格矫正,需要购买红外的标定板,对每一个点位进行单独加热,这种板子一查基本需要四位数,太贵了。

显示器标定法

于是尝试采用土办法,既然无法用棋盘格,那只需要找到一个特征容易捕捉的平面,手动选择一些标定点,理论上也能达到类似的效果,于是我打算利用显示器的四个边界点。

首先简单写了一个交互性标注窗口,打开图片,可以点击角点进行标注,按Q退出,标注点保存为Txt文件。

import cv2

# Config
point_color = (0, 0, 255)
point_size = 5
thickness = 10

point_list = []
def get_pixel(event, x, y, flags, param):
    if event == cv2.EVENT_LBUTTONDOWN:
        # 输出像素值和坐标信息到控制台
        print(x, y)
        # 在图像上绘制坐标和像素值
        font = cv2.FONT_HERSHEY_SIMPLEX
        txt = str(x) + ',' + str(y)
        point = (x, y)
        cv2.circle(img, point, point_size, point_color, thickness)
        cv2.putText(img, txt, (x, y), font, 0.5, (255, 0, 0), 2)
        point_list.append(point)


if __name__ == '__main__':
    # 读取图像
    img_name = 'hw_img.jpg'
    img = cv2.imread(img_name)
    # 显示图像并设置鼠标事件回调函数
    cv2.namedWindow('Image')
    cv2.setMouseCallback('Image', get_pixel)

    while True:
        # 显示图像
        cv2.imshow('Image', img)
        # 按q退出
        k = cv2.waitKey(1)
        if k == ord('q'):
            break
    cv2.destroyAllWindows()

    with open(img_name[:-4] + ".txt", mode='a') as f:
        for i in point_list:
            print(i)
            f.write(str(i) + '\n')

无人机红外相机的畸变矫正,图像配准,无人机,数码相机

如图所示,我从一段红外视频中,截取出不同位姿的十几帧图片,如图所示标记四个点,然而运行时直接报错:

cv2.error: OpenCV(4.8.0) D:\a\opencv-python\opencv-python\opencv\modules\calib3d\src\calibration.cpp:1173: error: (-2:Unspecified error) in function ‘void __cdecl cvFindExtrinsicCameraParams2(const struct CvMat *,const struct CvMat *,const struct CvMat *,const struct CvMat *,struct CvMat *,struct CvMat *,int)’
DLT algorithm needs at least 6 points for pose estimation from 3D-2D point correspondences. (expected: ‘count >= 6’), where
‘count’ is 4
must be greater than or equal to
‘6’ is 6

原来虽然理论上只需要标记四个点,但OpenCV采用的DLT算法,至少需要6个点才能产出结果。

于是标记9个点。

无人机红外相机的畸变矫正,图像配准,无人机,数码相机

最后得到的结果仍不如人意,分析原因,主要是显示器中间那5个点为推测标注,并不是很精准导致。

停车场标记法

离标定物体越远,人工标记所带来的误差越小,在一番思索后,我找到了比较适合标定的场景:俯视角度的停车场。

在夜晚的红外视角中,停车场如图一个巨大的棋盘,并且还在同一平面,简直是天然的标定板。

于是我采了27张不同角度拍摄的车位图片,每张图片标记如图所示的16个点,这里标记时需要注意按预先设计的坐标轴顺序,与设定的图像坐标系点位对应。

无人机红外相机的畸变矫正,图像配准,无人机,数码相机
同时估算停车场位的长宽约为4m x 2m,因此可以利用棋盘格类似的方式去做标定,代码如下:

import cv2
import numpy as np
import glob

W = 4
H = 4

obj_list = np.array([
    (0, 0),
    (0, 4000),
    (0, 8000),
    (0, 12000),
    (2000, 0),
    (2000, 4000),
    (2000, 8000),
    (2000, 12000),
    (4000, 0),
    (4000, 4000),
    (4000, 8000),
    (4000, 12000),
    (6000, 0),
    (6000, 4000),
    (6000, 8000),
    (6000, 12000)
])

# 世界坐标系中的位点,例如(0,0,0), (1,0,0), (2,0,0) ....,(8,5,0),去掉Z坐标,记为二维矩阵
objp = np.zeros((W * H, 3), np.float32)
objp[:, :2] = np.mgrid[0:W, 0:H].T.reshape(-1, 2)


objp[:, 0] = obj_list[:, 0]
objp[:, 1] = obj_list[:, 1]

# 储存棋盘格角点的世界坐标和图像坐标对
objpoints = []  # 在世界坐标系中的三维点
imgpoints = []  # 在图像平面的二维点

imgsPath = "video/hw_bd3"
images = glob.glob(imgsPath + '/*.jpg')

for fname in images:
    img = cv2.imread(fname)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    b = []
    # 读取txt标记点位
    txt_frame = fname[:-4] + ".txt"
    with open(txt_frame, 'r') as f:
        contents = f.readlines()
    for i in contents:
        i = i.strip('\n')
        j = eval(i)
        b.append([[np.float32(j[0]), np.float32(j[1])]])

    corners = np.array(b)
    objpoints.append(objp)
    imgpoints.append(corners)

# 2标定、去畸变
# 2.1输入:世界坐标系里的位置 像素坐标 图像的像素尺寸大小 3*3矩阵,相机内参数矩阵 畸变矩阵
# 2.1输出:标定结果 相机的内参数矩阵 畸变系数 旋转矩阵 平移向量
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)
print(("ret:"), ret)
print(("mtx内参数矩阵:\n"), mtx, type(mtx))  # 内参数矩阵
print(("dist畸变值:\n"), dist, type(dist))  # 畸变系数   distortion cofficients = (k_1,k_2,p_1,p_2,k_3)
print(("rvecs旋转(向量)外参:\n"), rvecs)  # 旋转向量(外参数)
print(("tvecs平移(向量)外参:\n"), tvecs)  # 平移向量(外参数)


np.save('mtx_hw3.npy', mtx)
np.save('dist_hw3.npy', dist)

# 2.2去畸变
img = cv2.imread('video/hw_bd3/DJI_20231103213150_0002_T_1.jpg')
h, w = img.shape[:2]

# 我们已经得到了相机内参和畸变系数,在将图像去畸变之前,
# 我们还可以使用cv.getOptimalNewCameraMatrix()优化内参数和畸变系数,
# 通过设定自由自由比例因子alpha。当alpha设为0的时候,将会返回一个剪裁过的将去畸变后不想要的像素去掉的内参数和畸变系数;
# 当alpha设为1的时候,将会返回一个包含额外黑色像素点的内参数和畸变系数,并返回一个ROI用于将其剪裁掉
newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, (w, h), 0, (w, h))  # 自由比例参数

# undistort
dst = cv2.undistort(img, mtx, dist, None, newcameramtx)
cv2.imwrite('calibresult_hw3.png', dst)

# 计算重投影误差
# 反投影误差
total_error = 0
for i in range(len(objpoints)):
    imgpoints2, _ = cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)
    error = cv2.norm(imgpoints[i],imgpoints2, cv2.NORM_L2)/len(imgpoints2)
    total_error += error
print("total error: ", total_error/len(objpoints))  # total error:  0.45538816886228306

最终得到的重映射误差为 0.455,小于0.5。

查看矫正效果:

无人机红外相机的畸变矫正,图像配准,无人机,数码相机
可以看到,矫正效果很不错,之前因畸变弯曲的线条被重新纠正成直线。

于是尝试将该参数迁移到其它场景,仍然可以work,叠在一起看,效果很明显。

无人机红外相机的畸变矫正,图像配准,无人机,数码相机

总结和拓展

相机标定对我来说是全新的领域,从工程角度出发,没有对理论刨根问底,如需对理论进一步推导研究,可以参看参考资料[6][7]。

另外,相机标定的另一大用途是在自动驾驶领域,通过标定将车周围一圈图像转换成鸟瞰图视角,这部分可以参考资料[8]。

参考资料

[1] https://www.zywvvd.com/notes/study/camera-imaging/photo-distortion/photo-distortion
[2] https://zhuanlan.zhihu.com/p/94244568
[3] https://blog.csdn.net/weixin_44368569/article/details/130414934
[4] https://zhuanlan.zhihu.com/p/423473576
[5] https://blog.csdn.net/m0_47682721/article/details/124696148
[6] https://www.bilibili.com/video/BV1C54y1B7By
[7] https://www.bilibili.com/video/BV1ct4y1H76h
[8] https://zhuanlan.zhihu.com/p/449195936文章来源地址https://www.toymoban.com/news/detail-756957.html

到了这里,关于无人机红外相机的畸变矫正的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • yolo-nas无人机高空红外热数据小目标检测(教程+代码)

    YOLO-NAS是目前最新的YOLO目标检测模型。 从一开始,它就在准确性方面击败了所有其他 YOLO 模型。 与之前的 YOLO 模型相比,预训练的 YOLO-NAS 模型能够以更高的准确度检测更多目标。 但是我们如何在自定义数据集上训练 YOLO NAS? 这将是我们本文的目标——在自定义数据集上训

    2024年02月03日
    浏览(52)
  • 无人机中的坐标系、旋转矩阵与相机姿态计算

    球坐标系 球坐标系是三维坐标系中的一种,在无人机中一般使用球坐标系来表示相机姿态,相机姿态的坐标是相对于无人机的,而无人机的飞行姿态则是相对于大地坐标系的。这里我们使用的相机是2自由度的相机,即可以水平 ϕ phi ϕ 和垂直 θ theta θ 两个方向转动,其中

    2024年02月12日
    浏览(40)
  • PX4+gazebo仿真中给无人机添加相机,以及改变相机的位姿

    找到你的需要运行的lauch文件,例如mavros_posix_sitl.lauch,编辑(最好先备份一份)。  修改sdf部分(也就是添加一个传感器给无人机),传感器模块路径,选择一个相机(本文选择的是iris_depth_camera):  根据选择的相机修改launch文件,如下: 保存后运行roslauch  mavros_posix_sitl.la

    2024年04月11日
    浏览(59)
  • 无人机采集图像的相关知识

     1.飞行任务规划         一般使用飞行任务规划软件进行飞行任务的设计,软件可以自动计算相机覆盖和图像重叠情况。比如ArduPilot (ArduPilot - Versatile, Trusted, Open) 和UgCS (http://www.ugcs.com)是两个飞行任务规划软件,可以适用大多数无人机系统。 2.图像重叠度         理

    2024年03月26日
    浏览(49)
  • 无人机航拍图像数据集汇总

    最近的项目涉及到对无人机航拍图像的目标检测,检测的目标包含车辆、人、无人机、船舶,比较热门的航拍数据集大多是遥感图像的数据集,与本项目相关的数据集查找不易,本文分享一下相关的航拍数据数据集,以及数据集的处理方法。 文中部分数据集已经下载,需要获

    2024年02月03日
    浏览(45)
  • 无人机航拍图像拼接与目标识别

     一、简介      无人机用来做图像侦察是常见功能,现有技术基本是无人机对某片区域进行飞行,人工实时监控飞行图像,将图像录制成视频供事后回放。此方法对人员业务要求比较高、反应速度足够快、不利于信息收集、录制视频丢失空间信息、对于后期开展区域分析困

    2024年02月07日
    浏览(56)
  • 浅谈无人机遥感图像拼接与处理方法

    遥感(RS-Remote Sensing)——不接触物体本身,用传感器收集目标物的电磁波信息,经处理、分析后,识别目标物,揭示其几何、物理性质和相互关系及其变化规律的现代科学技术。 换言之,即是“遥远的感知”,按传感器搭载平台划分,包括航天遥感、航空遥感、地面遥感。

    2024年02月16日
    浏览(55)
  • 使用低空无人机图像对树种进行实例分割

    在这项试点研究中,利用低空无人机图像开发了一种针对当地树种的机器学习实例分割模型,用于生态调查目的。实例分割包括个体树冠描绘和物种分类。 20 种树种及其相关学名已通过无人机图像进行了训练和收集,用于机器学习过程。为了评估 ML 模型的准确性,半监督分

    2024年04月14日
    浏览(39)
  • 无人机航拍图像的空间分辨率计算

    GSD:无人机/遥感卫星的空间分辨率,指航片/遥感影像一个像素点代表的空间距离。 计算公式: d:单位cm、指空间分辨率。 s:单位µm、指像元大小(像素间距)。 H:单位m、指飞行高度。 f:单位mm、指焦段(即镜头的焦段)。 注意:计算时统一单位。同时,更值得注意的

    2024年02月01日
    浏览(54)
  • 齐次坐标变换的理解以及在无人机相机定位坐标系转换中的应用

    4*4矩阵的右边三个数表示平移,如果原来的向量u的w=0,那么就是u+(ai+bj+ck) 对应xyz三个轴的循环变换,注意负号的位置 用描述空间一点的变换方法来描述物体在空间的位置和方向。 先变换的矩阵乘在右边。 A p = B p + A p B o {}^{A}p={}^{B}p+{}^{A}p_{B_{o}} A p = B p + A p B o ​ ​ 从

    2024年04月15日
    浏览(59)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包