鱼眼相机外参的计算

这篇具有很好参考价值的文章主要介绍了鱼眼相机外参的计算。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

主要是借助cv::solvepnp和cv::solvePnPRansac或calibrate来求解相机外参,但鱼眼相机外参的计算,在调用

参考链接:

(185条消息) 鱼眼相机外参的计算和图像的透视变换_求解鱼眼相机外参_Mega_Li的博客-CSDN博客

我:

你是opencv专家,教我计算鱼眼相机的外参,用c++代码实现

openai(chatgpt4):

计算鱼眼相机的外参需要使用相机标定和姿态估计两个步骤。以下是一些基本的步骤和C++代码实现。

1. 相机标定

相机标定是用于估计相机的内部参数和畸变系数的过程。这可以通过拍摄一组已知3D世界坐标和对应2D图像坐标的图像来实现。OpenCV提供了一个函数cv::fisheye::calibrate()用于鱼眼相机的标定。以下是一个示例代码:

cv::Mat cameraMatrix, distCoeffs;
std::vector<std::vector<cv::Point3f>> objectPoints;
std::vector<std::vector<cv::Point2f>> imagePoints;
cv::Size imageSize;
double rms = cv::fisheye::calibrate(objectPoints, imagePoints, imageSize, cameraMatrix, distCoeffs, cv::noArray(), cv::noArray());

其中objectPoints是一个vector<vector<Point3f>>,包含所有标定板上的三维点的坐标,imagePoints是一个vector<vector<Point2f>>,包含这些点在标定图像中的二维坐标。imageSize是标定图像的尺寸。cameraMatrixdistCoeffs是输出的相机内部参数和畸变系数。rms是根据标定结果计算出的标定误差。

2. 姿态估计

姿态估计是将相机从其初始位置移动到新位置并确定相机在该位置的旋转和平移。在这里,我们可以使用OpenCV的solvePnP函数进行姿态估计。以下是一个示例代码:

cv::Mat rvec, tvec;
std::vector<cv::Point3f> objectPoints3D;
std::vector<cv::Point2f> imagePoints2D;
cv::Mat cameraMatrix, distCoeffs;
cv::fisheye::projectPoints(objectPoints3D, rvec, tvec, cameraMatrix, distCoeffs, imagePoints2D);

其中objectPoints3D是一个vector<Point3f>,包含标定板上的三维点的坐标,imagePoints2D是一个vector<Point2f>,包含这些点在当前图像中的二维坐标。cameraMatrixdistCoeffs是在相机标定中获得的相机内部参数和畸变系数。rvectvec是输出的旋转向量和平移向量。

使用solvePnP函数,我们可以得到旋转向量和平移向量。将它们转换为旋转矩阵和平移矩阵,就可以获得相机的外部参数。以下是一个示例代码:

cv::Mat R;
cv::Rodrigues(rvec, R);
cv::Mat T = tvec;
 

3.计算鱼眼相机的外参可以分为以下几个步骤:

1)标定鱼眼相机内参和畸变参数。这个步骤可以使用OpenCV中的calibrateCamera函数完成。

2)采集鱼眼相机的图像,并使用角点检测算法(如OpenCV中的findChessboardCorners函数)检测出标定板的角点。

3)根据标定板上的已知空间点和对应的图像点,计算鱼眼相机的外参。这个步骤可以使用OpenCV中的solvePnP函数完成。

4)将得到的旋转向量和平移向量转换为旋转矩阵和平移矩阵,得到鱼眼相机的外参矩阵。

下面是用C++代码实现上述步骤的示例:

#include <opencv2/opencv.hpp>
#include <iostream>

using namespace std;
using namespace cv;

int main()
{
    // 读取标定板图像
    Mat boardImg = imread("board.png");
    // 设置标定板尺寸和空间点坐标
    Size boardSize = Size(9, 6);
    vector<Point3f> objectPoints;
    for (int i = 0; i < boardSize.height; i++)
    {
        for (int j = 0; j < boardSize.width; j++)
        {
            objectPoints.push_back(Point3f(i, j, 0));
        }
    }

    // 标定相机内参和畸变参数
    Mat cameraMatrix, distCoeffs;
    vector<vector<Point2f>> imagePoints;
    vector<Mat> rvecs, tvecs;
    vector<float> reprojErrs;
    double rms = calibrateCamera(vector<vector<Point3f>>{objectPoints}, vector<vector<Point2f>>{imagePoints},
        boardImg.size(), cameraMatrix, distCoeffs, rvecs, tvecs);

    // 检测标定板角点
    vector<Point2f> corners;
    bool found = findChessboardCorners(boardImg, boardSize, corners);

    // 计算相机外参
    Mat rvec, tvec;
    solvePnP(objectPoints, corners, cameraMatrix, distCoeffs, rvec, tvec);

    // 将旋转向量和平移向量转换为旋转矩阵和平移矩阵
    Mat R;
    Rodrigues(rvec, R);
    Mat T = tvec.reshape(1, 3);

    // 得到相机的外参矩阵
    Mat extrinsicMat = Mat::eye(4, 4, CV_32F);
    R.copyTo(extrinsicMat(Rect(0, 0, 3, 3)));
    T.copyTo(extrinsicMat(Rect(3, 0, 1, 3)));

    cout << "相机内参:" << endl << cameraMatrix << endl;
    cout << "相机畸变参数:" << endl << distCoeffs << endl;
    cout << "相机外参:" << endl << extrinsicMat << endl;

    return 0;
}

4.计算鱼眼相机的外参可以分为以下几个步骤:

1)采集图像和相应的3D坐标。可以使用标定板和已知的3D坐标来获取多个图像和对应的3D坐标。

2)进行相机标定,得到内参矩阵和畸变系数。可以使用OpenCV的calibrateCamera函数实现。

3)通过多视角几何理论,将3D坐标转换到相机坐标系下。

4)通过求解外参矩阵,将相机坐标系下的3D点转换到世界坐标系下。

以下是一个C++实现的示例代码,用于计算鱼眼相机的外参:

#include <iostream>
#include <opencv2/opencv.hpp>

using namespace std;
using namespace cv;

int main()
{
    // 读取标定板图像和对应的3D坐标
    vector<vector<Point3f>> objectPoints;
    vector<vector<Point2f>> imagePoints;
    // ...

    // 进行相机标定
    Mat cameraMatrix, distCoeffs;
    vector<Mat> rvecs, tvecs;
    calibrateCamera(objectPoints, imagePoints, imageSize, cameraMatrix, distCoeffs, rvecs, tvecs);

    // 定义3D点和2D点
    vector<Point3f> objectPoints3D;
    vector<Point2f> imagePoints2D;
    // ...

    // 将3D点转换到相机坐标系下
    Mat objectPointsMat(objectPoints3D);
    Mat rvec, tvec;
    solvePnP(objectPointsMat, imagePoints2D, cameraMatrix, distCoeffs, rvec, tvec);

    // 将相机坐标系下的3D点转换到世界坐标系下
    Mat R;
    Rodrigues(rvec, R);
    Mat extrinsicMat(3, 4, CV_64FC1);
    hconcat(R, tvec, extrinsicMat);

    // 输出外参矩阵
    cout << extrinsicMat << endl;

    return 0;
}
 

其中,solvePnP函数用于求解外参矩阵,Rodrigues函数用于将旋转向量转换为旋转矩阵,hconcat函数用于将旋转矩阵和平移向量合并成一个3×4的外参矩阵。请根据实际情况修改代码中的变量和参数。

5 计算鱼眼相机的外参需要以下步骤:

1)计算相机的内参矩阵,包括焦距、主点、畸变系数等参数。这些参数通常可以通过相机的厂商提供的文档或者相机标定得到。

2)采集至少4个不同位置的图像,每个位置需要拍摄至少3张不同朝向的图像。这些图像可以用来计算相机的外参。

3)提取每个图像中的特征点,可以使用ORB或者SURF等特征点检测算法。

4)对于每个特征点,通过鱼眼模型将其投影到球面上。具体可以参考OpenCV的fisheye模块。

5)使用RANSAC等算法来估计每个图像的外参。具体可以参考OpenCV的solvePnP函数。

6)将所有图像的外参融合起来,可以使用Bundle Adjustment等算法来优化结果。

下面是一个简单的C++代码示例,可以计算鱼眼相机的外参:

#include <iostream>
#include <vector>
#include <opencv2/opencv.hpp>
#include <opencv2/features2d.hpp>
#include <opencv2/xfeatures2d.hpp>
#include <opencv2/core/types.hpp>
#include <opencv2/calib3d.hpp>
#include <opencv2/core/eigen.hpp>

using namespace std;
using namespace cv;
using namespace cv::xfeatures2d;

void calculateExtrinsics(const vector<vector<Point2f>>& imagePoints,
                         const vector<vector<Point3f>>& objectPoints,
                         const Mat& cameraMatrix,
                         const Mat& distCoeffs,
                         Mat& R,
                         Mat& t)
{
    vector<Mat> rvecs, tvecs;
    solvePnPRansac(objectPoints, imagePoints, cameraMatrix, distCoeffs, rvecs, tvecs);
    Rodrigues(rvecs[0], R);
    t = tvecs[0];
}

int main()
{
    // load images and corresponding object points
    vector<vector<Point2f>> imagePoints;
    vector<vector<Point3f>> objectPoints;
    // TODO: load imagePoints and objectPoints from file or capture them from camera

    // calculate camera matrix and distortion coefficients
    Mat cameraMatrix, distCoeffs;
    // TODO: calculate cameraMatrix and distCoeffs using calibration data

    // calculate extrinsics for each image
    vector<Mat> Rs, ts;
    for (int i = 0; i < imagePoints.size(); i++) {
        Mat R, t;
        calculateExtrinsics(imagePoints[i], objectPoints, cameraMatrix, distCoeffs, R, t);
        Rs.push_back(R);
        ts.push_back(t);
    }

    // bundle adjustment to refine extrinsics
    TermCriteria criteria(TermCriteria::COUNT + TermCriteria::EPS, 100, 1e-5);
    vector<Mat> Rs_opt, ts_opt;
    vector<vector<Point2f>> imagePoints_opt;
    bundleAdjustment(objectPoints, imagePoints, cameraMatrix, distCoeffs, Rs, ts, Rs_opt, ts_opt, imagePoints_opt, criteria);

    // print results
    for (int i = 0; i < Rs_opt.size(); i++) {
       
5.

计算鱼眼相机的外参需要知道相机内参和一些已知的场景信息。下面是用C++实现计算鱼眼相机的外参的步骤:

1)加载图像并提取图像中的特征点。可以使用OpenCV中的cv::KeyPoint和cv::FeatureDetector来提取图像中的特征点。

2)在场景中选择几个已知的三维点,并计算它们在相机坐标系下的坐标。这些三维点应该是静态的,并且相机可以观察到它们。可以使用OpenCV中的cv::solvePnP函数来计算相机坐标系和图像坐标系之间的变换关系,即相机的外参。

3)计算相机的畸变参数。可以使用OpenCV中的cv::calibrateCamera函数来计算相机的内参和畸变参数。需要提供一组已知的三维点和它们在图像中的投影,以及相机的内参。

4)将相机的内参和外参组合起来,得到相机的投影矩阵。

5)使用相机的投影矩阵将场景中的三维点投影到图像中,并与实际提取的特征点进行匹配。可以使用OpenCV中的cv::findHomography函数来计算相机的投影矩阵和特征点之间的变换关系。

下面是一个示例代码,用于计算鱼眼相机的外参:

#include <opencv2/opencv.hpp>

using namespace cv;

int main()
{
    // 加载图像
    Mat image = imread("image.jpg");

    // 提取图像中的特征点
    Ptr<FeatureDetector> detector = FastFeatureDetector::create();
    std::vector<KeyPoint> keypoints;
    detector->detect(image, keypoints);

    // 在场景中选择几个已知的三维点
    std::vector<Point3f> objectPoints;
    objectPoints.push_back(Point3f(0, 0, 0));
    objectPoints.push_back(Point3f(1, 0, 0));
    objectPoints.push_back(Point3f(0, 1, 0));
    objectPoints.push_back(Point3f(0, 0, 1));

    // 计算相机的外参
    Mat cameraMatrix = Mat::eye(3, 3, CV_64F);  // 相机内参
    Mat distCoeffs = Mat::zeros(1, 5, CV_64F);  // 畸变参数
    Mat rvec, tvec;
    solvePnP(objectPoints, keypoints, cameraMatrix, distCoeffs, rvec, tvec);

    // 计算相机的投影矩阵
    Mat R;
    Rodrigues(rvec, R);
    Mat projectionMatrix = Mat::zeros(3, 4, CV_64F);
    hconcat(R, tvec, projectionMatrix.rowRange(0, 3).colRange(0, 4));

    // 投影三维点到图
 

6.

计算鱼眼相机的外参需要先获取相机的内参和畸变系数,这些参数可以通过相机的标定得到。假设已经获取到这些参数,下面就可以使用OpenCV库中的函数计算鱼眼相机的外参了。

首先,你需要准备好至少6组二维点和三维点的对应关系。这些对应关系可以通过手动标记或者使用其他算法(如SIFT、SURF等)检测到的特征点来获取。在这里,我们假设这些对应关系已经准备好了。

下面是一个使用OpenCV库函数计算鱼眼相机的外参的示例代码:

#include <opencv2/opencv.hpp>
#include <iostream>

using namespace std;
using namespace cv;

int main()
{
    // 读取相机内参和畸变系数
    Mat K, D;
    FileStorage fs("calibration.xml", FileStorage::READ);
    fs["K"] >> K;
    fs["D"] >> D;

    // 读取三维点和二维点的对应关系
    vector<Point3f> objectPoints;
    vector<Point2f> imagePoints;
    FileStorage fs2("points.xml", FileStorage::READ);
    fs2["objectPoints"] >> objectPoints;
    fs2["imagePoints"] >> imagePoints;

    // 计算外参
    Mat rvec, tvec;
    solvePnP(objectPoints, imagePoints, K, D, rvec, tvec);

    // 打印旋转向量和平移向量
    cout << "Rotation Vector: " << rvec << endl;
    cout << "Translation Vector: " << tvec << endl;

    return 0;
}

在这个示例代码中,我们首先读取了相机的内参和畸变系数,然后读取了三维点和二维点的对应关系。接下来,使用OpenCV中的solvePnP函数计算相机的外参,最后打印出旋转向量和平移向量。

需要注意的是,在读取相机内参和畸变系数以及三维点和二维点的对应关系时,你需要根据你自己的文件格式进行修改。另外,由于鱼眼相机的畸变比较大,建议使用至少10组对应关系进行计算外参。

总结:

求鱼眼相机的外参之前,需要先确定鱼眼相机的内参+畸变参。可以通过solvePnP接口使用3d坐标、2d坐标、内参+畸变参求鱼眼相机的外参,也可以先通过undistortPoints用内参+畸变参把2d坐标先去畸变,再用去畸变的2d坐标和3d坐标通过solvePnP接口求鱼眼相机的外参。文章来源地址https://www.toymoban.com/news/detail-496862.html

到了这里,关于鱼眼相机外参的计算的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于鱼眼相机的机械臂抓取流程

    相机标定使用ROS中camera_calibration工具进行标定,该工具也可以标定鱼眼相机。标定板黑白格大小为12x8,单个方块大小20mm 标定后即可得到相机内参。后续使用时需要通过参数矫正鱼眼相机的图片 工具标定根据机械臂厂商提供的工具进行 参考手眼标定。 注意事项:image_callba

    2024年02月13日
    浏览(39)
  • 鱼眼相机去畸变 Python/C++实现

    陆辉东之前做了RealSense相机图像的远程传输,但是带畸变的图像 如果更进一步,可以 一只fisheye带畸变 , 一只fisheye去畸变 ,这样放在QT界面里视觉感更好些 下午简单尝试了下,没有成功,还是要完成这项工作的 opencv 鱼眼矫正 【opencv】鱼眼图像畸变校正——透视变换 主要

    2024年02月09日
    浏览(61)
  • Python OpenCV 单目相机标定、坐标转换相关代码(包括鱼眼相机)

      本文不讲原理,只关注代码,有很多博客是讲原理的,但是代码最多到畸变矫正就结束了,实际上就是到 OpenCV 官方示例涉及的部分。   在官方示例中使用黑白棋盘格求解了相机的内外参和畸变系数,并对图像做了畸变矫正,但在实际使用时还缺少很多功能,以下是本

    2024年02月02日
    浏览(36)
  • 从开源项目聊鱼眼相机的“360全景拼接”

    目录 概述 从360全景的背景讲起 跨过参数标定聊透视变化 拼接图片后处理 参考文献         写这篇文章的原因完全源于开源项目(GitHub参阅参考文献1)。该项目涵盖了环视系统的较为全貌的制作过程,包含完整的标定、投影、拼接和实时运行流程。该篇文章主要是梳理全景

    2024年02月04日
    浏览(51)
  • 相机内参、外参、畸变系数简介

    初中物理我们就学过小孔成像问题,这也是我们对相机的最初认识。 仅靠一个小孔进光量太小,拍摄到的照片会很暗,所以实际的相机会使用凸透镜来聚光。但是凸透镜的光学模型过于复杂,通常会简化成针孔相机模型来解释成像过程并进行建模。 这时出现了一个疑问, 小

    2024年02月07日
    浏览(50)
  • 相机校准—外参矩阵

    在本文中,我们将探讨摄影机的外参,并通过Python中的一个实践示例来加强我们的理解。 相机外参 摄像头可以位于世界任何地方,并且可以指向任何方向。我们想从摄像机的角度来观察世界上的物体,这种从世界坐标系到摄像机坐标系的转换被称为摄像机外参。 那么,我们

    2023年04月16日
    浏览(65)
  • 相机标定 >> 坐标系转换@内参、外参

    为了更好的理解标定,首先应熟悉各个坐标系。(坐标系图均取自百度百科) 该坐标系是以图像左上角为原点建立以像素为单位的二维坐标系u-v。(相对坐标系) 图像坐标系是以 O1 (是图像的主点,也即光轴与像平面的交点,一般就是像素坐标系的中点)为原点的二维坐标

    2024年02月12日
    浏览(53)
  • 相机的内参和外参介绍

          注 :以下相机内参与外参介绍除来自网络整理外全部来自于 《视觉SLAM十四讲从理论到实践  第2版》中的第5讲:相机与图像 ,为了方便查看,我将每节合并到了一幅图像中       相机与摄像机区别:相机着重于拍摄静态图像,光学变焦不大;摄像机着重于拍摄动态视

    2024年02月09日
    浏览(57)
  • 相机和雷达外参联合标定

    内容: 关于雷达和相机外参联合标定的踩坑纪录。 Date: 2023/03/19 硬件: 上位机: Jetson ORIN (Ubuntu 20.04, ROS noetic) 雷达: Ouster 32线 相机: Intel D435 一、 标定方案 目前流行的 雷达+相机 标定方案有五种:Autoware, apollo, lidar_camera_calibration, but_velodyne。 Ubuntu20.04安装autoware我看bug比较多,因

    2024年02月11日
    浏览(53)
  • 对图像中边、线、点的检测(支持平面/鱼眼/球面相机)附源码

    前言         图像的线段检测是计算机视觉和遥感技术中的一个基本问题,可广泛应用于三维重建和 SLAM 。虽然许多先进方法在线段检测方面表现出了良好的性能,但对未去畸变原始图像的线         段检测仍然是一个具有挑战性的问题。此外,对于畸变和无畸变的图像都

    2024年02月07日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包