3D激光雷达和相机融合-Toy模板网

这篇具有很好参考价值的文章主要介绍了3D激光雷达和相机融合。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

标定

相机内参标定

主要看重投影误差，cv的标定识别率也太低了。。。原因是找到了，相机给的曝光时间5ms,增大曝光时间成功率大大提升，但曝光时间给打了，影响实时性，头疼。。

livox_lidar_camera_calibration外参标定

主要是3D-2D的标定

采集标定数据

参照以下采集标定数据和处理标定数据，pcd角点选取和图像角点选取：

https://zhaohailong.blog.csdn.net/article/details/125736088?spm=1001.2014.3001.5502

遇到livox_lidar_camera_calibration无法批处理转pcd：

原因查出来是src/pcdTransfer.cpp 60多行不正常，无法运行这个for循环，读不到数据存出来的数据为空，可能是ubuntu20+ros melodic不好使
for (const rosbag::MessageInstance &m : view) { //todo:这句存在问题，无法读取ros数据
最后通过livox_camera_calib里的包使用bag_to_pcd.launch一个个转的，非常不友好。

uptdate:
vector<string> types;

//types.push_back(string("livox_ros_driver/CustomMsg"));

//std::cout << "lidar_topic: " << lidar_topic << std::endl;

types.push_back(string("sensor_msgs/PointCloud2"));

rosbag::View view(bag, rosbag::TypeQuery(types));
最后发现是因为rosbag::TypeQuery输入的是数据类型，而不是话题名。。。

题外话：我使用360度的激光雷达，使用livox_camera_calib这个包会有视角问题（投影三维点到相机），效果不好，果断放弃，还是通过标定板来操作。

遇到livox_lidar_camera_calibration的第二个坑就是src/corner_photo.cpp，看代码是要手动标注选去畸变后的图片像素，但是相片太大，通过resizeWindow或者nameWindow都无法缩小显示对话框，不知道是不是ubuntu 20还是cv4.2版本，是真坑。。。最后在代码里把去畸变后的图片保存下来，放到windows上使用[画图]软件一个像素一个像素描，真心尼吗的坑。。。

遇到 livox_lidar_camera_calibration第三个坑是要求一行大于10，因为我是手动量的图片像素，一行不够10个，所以最后在图片像素加上小数点后几位即可。

标定

getExt1.launch

计算结果

3D激光雷达和相机融合,多传感器融合,自动驾驶,人工智能

标定精度对比

livox_camera_calib

据说要采集多个场景比较好，我在室内采集多个场景，效果比较差，室外没法供电，暂时没测；

推荐用楼梯间这种，可是没有楼梯间。。。

livox_lidar_camera_calibration

误差：2个像素，我自己测出来外参重投影误差3-4个像素，上色结果比较差

livox_lidar_camera_calibration学习--标定外参求解_qq_38650944的博客-CSDN博客

Autoware

我是在尝试livox_lidar_camera_calibration和livox_camera_calib两个标定包后，再使用autoware标定包，使用比之前好很多，精度也高不少，有人给出精度是1cm，我的标定数据如下：

3D激光雷达和相机融合,多传感器融合,自动驾驶,人工智能

附上我改写的开发包和标定中遇到的一些问题和解决办法：

传送门：autoware标定包使用_妄想出头的工业炼药师的博客-CSDN博客

autoware的问题是标着玩可以,但是易用性很低,需要采集很多照片才行,希望是一张图片一个pcd就能解决问题；

lidar_camera_calibration

还不知道精度怎么样，gitlab打星比较多

3D雷达与相机的标定方法详细教程_敢敢のwings的博客-CSDN博客_标定找相机yaw pitch roll

比较自动的标定流程

附录

比较全的标定汇总：

雷达与相机的时空标定工具 - 知乎

静态上色

https://zhaohailong.blog.csdn.net/article/details/125737021?spm=1001.2014.3001.5502

动态上色

GitHub - johannes-graeter/limo: Lidar-Monocular Visual Odometry

使用标定直接使用最新图片着色

Livox Lidar+海康Camera实时生成彩色点云_lucky li的博客-CSDN博客

GitHub - Deephome/Awesome-LiDAR-Camera-Calibration: A Collection of LiDAR-Camera-Calibration Papers, Toolboxes and Notes 文章来源地址https://www.toymoban.com/news/detail-740140.html

到了这里，关于3D激光雷达和相机融合的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！