准备工作:
(1)电脑装有 NVIDIA 显卡
(2)安装 ROS noetic/Installation/Ubuntu - ROS Wiki
(3)安装 cuda Ubuntu安装cuda_GXU_Wang的博客-CSDN博客
(4)安装 ceres 1.14.0 Ubuntu20.04安装Ceres1.14.0_我是你de不死的bug的博客-CSDN博客
一、安装OpenCV 4.6.0
下载 opencv 源码,选择所需要的版本 opencv 4.6.0,相应的扩展opencv_contrib 4.6.0,以及用于桥接 ROS 和 opencv 的 cv_bridge
Release OpenCV 4.6.0 · opencv/opencv · GitHub
Release 4.6.0 · opencv/opencv_contrib · GitHub
https://github.com/ros-perception/vision_opencv/tree/
考虑将 opencv 安装在 /usr/local/opencv-4.6.0下,移动opencv及其扩展模块并进入工作目录
sudo mv ./opencv-4.6.0/ /usr/local/
sudo mv ./opencv_contirb-4.6.0/ /usr/local/
cd /usr/local/opencv-4.6.0/
编译前现确定 opencv 的安装路径,我的安装路径是
CMAKE_INSTALL_PREFIX=/usr/local/opencv-4.6.0
确定自己显卡的算力
CUDA GPUs - Compute Capability | NVIDIA Developer
注意 cuda 要根据自己的需求安装,不要装 cuda 12 编译会报错,可以装稍微低一点,可以参考
不同版本CUDA支持的算力_WenZhaoYang123468的博客-CSDN博客
编译 opencv 4.6.0,
sudo mkdir build && cd build
cmake -D CMAKE_BUILD_TYPE=RELEASE \
-D CMAKE_INSTALL_PREFIX=/usr/local/opencv-4.6.0 \
-D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib-4.6.0/modules \
-D WITH_CUDA=ON \
-D CUDA_ARCH_BIN=7.2 \
-D CUDA_ARCH_PTX="" \
-D ENABLE_FAST_MATH=ON \
-D CUDA_FAST_MATH=ON \
-D WITH_CUBLAS=ON \
-D WITH_LIBV4L=ON \
-D WITH_GSTREAMER=ON \
-D WITH_GSTREAMER_0_10=OFF \
-D WITH_QT=ON \
-D WITH_OPENGL=ON \
-D CUDA_NVCC_FLAGS="--expt-relaxed-constexpr" \
-D WITH_TBB=ON \
..
电脑性能好的话可以多核编译 make -j8,如果出现兼容性错误的花建议用 make,速度慢一点
make -j8
sudo make install
这里编译会很慢,耐心等待,只要一开始没有什么报错后面就不会报错。
二、配置自己的 cv_bridge 功能包
因为 opencv 的数据和 ROS 的数据需要转化,因此需要通过 cv_bridge 这个桥接工具,接下来我们介绍怎么自己下载安装并配置一个自己的 cv_bridge 功能包。
首先,创建一个 ROS 的工作空间
mkdir -r ~/cv_bridge_460/src/
cd ~/cv_bridge_460/src/
然后,下载对应版本的源码,因为是 Ubuntu 20.04 因此下载 noetic 版本
GitHub - ros-perception/vision_opencv at noetic
下载完成后解压到 ~/cv_bridge_460_ws/src/ 目录下,因为我们只需要 cv_bridge,所以只需保留 cv_bridge 文件夹,将其放在 ~/cv_bridge_460_ws/src/,重命名为cv_bridge_460,然后修改一下 cv_bridge_460 的配置文件。
(1)CMakeLists.txt 文件
在 set(_opencv_version 4) 前面添加你的 opencv 安装路径,大概在第 20 行
set(OpenCV_DIR /usr/local/opencv-4.6.0/build/)
set(_opencv_version 4)
find_package(OpenCV 4 QUIET)
另外由于是自己制作的 cv_bridge 对应于 opencv 4.6.0 版本的功能包,因此最好将包名该一下,我这里是改成 cv_bridge_460
# project(cv_bridge)
project(cv_bridge_460)
(2)package.xml
同理在 package.xml 中也改一下报名
<package format="2">
# <name>cv_bridge</name>
<name>cv_bridge_460</name>
然后编译这个功能包
cd ~/cv_bridge_460_ws/
catkin_make
如果编译成功,则 cv_bridge_460 功能包制作就完成了,这也说明 opencv 4.6.0 已经正确安装了,并且这个cv_bridge_460 功能包可以正确连接上自己安装的 opencv 版本,最后我们将这个功能包的路径添加到 ~/.bashrc 文件夹中,使得我们在后面编译 vins-fusion-gpu 时可以调用这个 cv_bridge_460 功能包,打开 ~/.bashrc文件夹,在最后加入如下命令
source ~/cv_bridge_460_ws/devel/setup.bash
最后在终端 source 一下当前该路径
source ~/.bashrc
三、编译 vins-fusion-gpu
创建 vins-fusion-gpu 工作空间,
mkdir ~/catkin_ws_gpu/src
cd ~/catkin_ws_gpu/src
然后下载 vins-fusion-gpu 包到 catkin_ws/src 工作目录下
git clone https://github.com/pjrambo/VINS-Fusion-gpu.git
(1)修改 vins_estimator/CMakeLists.txt 文件
将 cv_bridge 改成 cv_bridge_460
find_package(catkin REQUIRED COMPONENTS
roscpp
std_msgs
geometry_msgs
nav_msgs
tf
cv_bridge_460
camera_models
image_transport)
注释一行
#include(/home/dji/opencv/build/OpenCVConfig.cmake)
添加 cv_bridge_460 功能包的路径和 opencv-4.6.0 的路径
set(cv_bridge_460_DIR "/home/lilabws01/cv_bridge_460_ws/devel/share/cv_bridge_460/cmake")
set(OpenCV_DIR "/usr/local/opencv-4.6.0/build/")
(2)修改 loop_fusion/CMakeLists.txt 文件
find_package(catkin REQUIRED COMPONENTS
roscpp
std_msgs
nav_msgs
camera_models
cv_bridge_460
roslib
)
注释一行
#include(/home/dji/opencv/build/OpenCVConfig.cmake)
添加 cv_bridge_460 功能包的路径和 opencv-4.6.0 的路径
set(cv_bridge_460_DIR "/home/lilabws01/cv_bridge_460_ws/devel/share/cv_bridge_460/cmake")
set(OpenCV_DIR "/usr/local/opencv-4.6.0/build/")
保存并退出,最后进入 VINS-Fusion-gpu 文件夹
cd ./VINS-Fusion-gpu/
终端输入下面代码使得 VINS-Fusion-gpu 自动匹配 OpenCV4 版本(变量名发生变化)
sed -i 's/CV_FONT_HERSHEY_SIMPLEX/cv::FONT_HERSHEY_SIMPLEX/g' `grep CV_FONT_HERSHEY_SIMPLEX -rl ./`
sed -i 's/CV_LOAD_IMAGE_GRAYSCALE/cv::IMREAD_GRAYSCALE/g' `grep CV_LOAD_IMAGE_GRAYSCALE -rl ./`
sed -i 's/CV_BGR2GRAY/cv::COLOR_BGR2GRAY/g' `grep CV_BGR2GRAY -rl ./`
sed -i 's/CV_RGB2GRAY/cv::COLOR_RGB2GRAY/g' `grep CV_RGB2GRAY -rl ./`
sed -i 's/CV_GRAY2RGB/cv::COLOR_GRAY2RGB/g' `grep CV_GRAY2RGB -rl ./`
sed -i 's/CV_GRAY2BGR/cv::COLOR_GRAY2BGR/g' `grep CV_GRAY2BGR -rl ./`
sed -i 's/CV_CALIB_CB_ADAPTIVE_THRESH/cv::CALIB_CB_ADAPTIVE_THRESH/g' `grep CV_CALIB_CB_ADAPTIVE_THRESH -rl ./`
sed -i 's/CV_CALIB_CB_NORMALIZE_IMAGE/cv::CALIB_CB_NORMALIZE_IMAGE/g' `grep CV_CALIB_CB_NORMALIZE_IMAGE -rl ./`
sed -i 's/CV_CALIB_CB_FILTER_QUADS/cv::CALIB_CB_FILTER_QUADS/g' `grep CV_CALIB_CB_FILTER_QUADS -rl ./`
sed -i 's/CV_CALIB_CB_FAST_CHECK/cv::CALIB_CB_FAST_CHECK/g' `grep CV_CALIB_CB_FAST_CHECK -rl ./`
sed -i 's/CV_ADAPTIVE_THRESH_MEAN_C/cv::ADAPTIVE_THRESH_MEAN_C/g' `grep CV_ADAPTIVE_THRESH_MEAN_C -rl ./`
sed -i 's/CV_THRESH_BINARY/cv::THRESH_BINARY/g' `grep CV_THRESH_BINARY -rl ./`
sed -i 's/CV_SHAPE_CROSS/cv::MORPH_CROSS/g' `grep CV_SHAPE_CROSS -rl ./`
sed -i 's/CV_SHAPE_RECT/cv::MORPH_RECT/g' `grep CV_SHAPE_RECT -rl ./`
sed -i 's/CV_TERMCRIT_EPS/cv::TermCriteria::EPS/g' `grep CV_TERMCRIT_EPS -rl ./`
sed -i 's/CV_TERMCRIT_ITER/cv::TermCriteria::MAX_ITER/g' `grep CV_TERMCRIT_ITER -rl ./`
sed -i 's/CV_RETR_CCOMP/cv::RETR_CCOMP/g' `grep CV_RETR_CCOMP -rl ./`
sed -i 's/CV_CHAIN_APPROX_SIMPLE/cv::CHAIN_APPROX_SIMPLE/g' `grep CV_CHAIN_APPROX_SIMPLE -rl ./`
sed -i 's/CV_AA/cv::LINE_AA/g' `grep CV_AA -rl ./`
解释参考 Docker 制作各 ROS 版本 VINS-Fusion 镜像_想要个小姑娘的博客-CSDN博客
然后进入 catkin_ws/ 工作目录,进行编译
cd ~/catkin_ws/
catkin_make
编译成功后 VINS-Fusion-gpu 就可以运行啦,运行方式参考
Jetson Orin NX 开发指南(6): VINS-Fusion-gpu 的编译和运行_想要个小姑娘的博客-CSDN博客
最后终端输入nvidia-smi 可以查看 vins-node 使用 GPU 的情况
四、修改 VINS-Fusion-gpu
在 VINS-Fusion-gpu 中,特征追踪的图像是直接显示在外面的,但是在 VINS-Fusion 中,特征追踪的图像是集成在 rviz 中的,下面我们介绍如何修改 VINS-Fusion-gpu 源码使得特征追踪的图像显示在 rviz 中。
首先用 vscode 打开 VINS-Fusion-gpu 目录 进入 feature_tracker.cpp,找到下图所示的两行
这是 VINS-Fusion-gpu 显示特征追踪图像的方式,将其注释
接下来打开 visualization.h,
在上图位置添加(声明发布特征追踪图像的函数)
void pubTrackImage(const cv::Mat &imgTrack, const double t);
然后打开 visualization.cpp,
在上图位置添加(定义发布特征追踪图像的函数)
void pubTrackImage(const cv::Mat &imgTrack, const double t)
{
std_msgs::Header header;
header.frame_id = "world";
header.stamp = ros::Time(t);
sensor_msgs::ImagePtr imgTrackMsg = cv_bridge::CvImage(header, "bgr8", imgTrack).toImageMsg();
pub_image_track.publish(imgTrackMsg);
}
接下来还是在 visualization.cpp 中,
在上图两个位置添加
ros::Publisher pub_image_track;
以及
pub_image_track = n.advertise<sensor_msgs::Image>("image_track", 1000);
最后在 estimator.cpp 中
在上图位置添加一行
pubTrackImage(imgTrack, t);
通过编译后,就可以在 rviz 中找到 /vins_estimator/image_track 话题了!文章来源:https://www.toymoban.com/news/detail-518242.html
至此,VINS-Fusion-gpu 就完全实现了 VINS-Fusion 的效果!文章来源地址https://www.toymoban.com/news/detail-518242.html
到了这里,关于Ubuntu 20.04 配置 VINS-Fusion-gpu + OpenCV 4.6.0的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!