Autoware1.14-摄像头、激光雷达感知融合-Toy模板网

这篇具有很好参考价值的文章主要介绍了Autoware1.14-摄像头、激光雷达感知融合。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

实现目标： 利用摄像头目标检测结果vision_darknet_yolo3（人、车）、利用激光雷达获得目标的几何信息lidar_euclidean_cluster_detect（大小、距离）、利用感知融合模块融合摄像头和激光雷达信息range_vision_fusion，并在三维地图中可视化。

效果展示：
Autoware1.14-摄像头、激光雷达感知融合

激光雷达-摄像头感知融合展示

数据准备： ROSBAG数据包、激光雷达-摄像头联合矫正文件提取码：1234
操作步骤：

摄像头的视觉检测是基于YOLO-V3，在开始前请确定已下载好yolo3的权重文件，并保证autoware中的vision_darknet_yolo3模块可以正常使用。部署方法可参照Autoware1.14-摄像头目标检测YOLO-V3
加载数据包。数据包内只包含/point_raw 和/image_raw 两个话题。点击Play后，点击Pause暂停。
加载激光雷达-摄像头联合矫正文件（相机外参）。点击Autoware runtime manager 中Sensing选项卡内的Calibration Publisher。在Ref处选择下载的激光雷达-摄像头联合矫正文件，并勾选其他选项，如图所示。
打开Rviz。添加图像界面，左上角Panels界面 > Add new Panel > imageViewerPlugin，然后在image Topic处选择/image_raw
在rviz中，将Global Options中的Fixed Frame选择至velodyne（若选项卡中没有则直接手动输入），此时可出现点云图
开启YOLO。在Autoware runtime manager 的 Computing 选项卡中找到vision_darknet_yolo3,在imageViewerPlugin中Object Rect Topic选择/detection/image_detector/objects,如图
开启激光雷达欧式聚类检测。在Autoware runtime manager 的 Computing 选项卡中找到lidar_euclidean_cluster_detect配置界面如图
开启融合模块。在Autoware runtime manager 的 Computing 选项卡中找到 range_vision_fusion,配置界面如图，detected_objects_range选择激光雷达目标检测的话题，detected_objects_vision选择摄像头目标检测的话题
返回rviz，在Dispaly左下角Add添加融合后的话题。在By topic中找到/detection/fusion_tools/objects_markers/MarkerArray
不出意外，在RVIZ中即可看到融合后的目标。