1 资料
从本文开始,我们用四篇文章学习ROS机器视觉处理,本文先学习一些外围的知识,为后面的人脸识别,目标跟踪和yolov5目标检测做准备。
我的笔记本是Thinkpad T14 i7 + Nvidia MX450,系统是ubuntu20.04,ros是noetic。由于很多驱动与硬件强相关,请读者注意这点。
本文的参考资料有:
(1)《ROS机器人开发实践》胡春旭 第7章的前三节
(2)图像编码与 H264 基础知识
(3)ubuntu20.04如何识别到连接的摄像头?
(4)ROS学习 – 摄像头的标定
(5)相机内参标定究竟标了什么?相机内参外参保姆级教程
(6)ROS高效入门第一章 – ROS历史与现状 2.8节
(7)W3Cschool - OpenCV教程
(8)ChatGPT4.0(很多背景知识,问他比较快,但是要小心它忽悠你!)
2 正文
2.1 颜色编码格式,图像格式和视频压缩格式
(1)RGB和BGR:这是两种常见的颜色编码格式,分别代表了红、绿、蓝三原色。不同之处在于,RGB按照红、绿、蓝的顺序存储颜色信息,而BGR按照蓝、绿、红的顺序存储。
rgb8图像格式:常用于显示系统,如电视和计算机屏幕。
RGB值以8 bits表示每种颜色,总共可以表示256×256×256=16777216种颜色。
例如: (255,0,0) 表示红色,(0,255,0) 表示绿色,(0,0,255) 表示蓝色。
bgr8图像格式:由一些特定的硬件制造商采用,
软件方面最著名的就是opencv,其默认使用BGR的颜色格式来处理图像。
与RGB不同, (0,0,255) 在BGR中表示红色,(0,255,0) 仍然表示绿色,(255,0,0) 表示蓝色。
在自动驾驶里,使用rgb8图像格式的图像,一般称为原图,是数据量最大的格式,没有任何压缩。
(2)YUV:这是另一种颜色编码方法,与RGB模型不同的是,它将图像信息分解为亮度(Y)和色度(U和V)两部分。这种方式更接近于人类对颜色的感知方式。
Y:代表亮度信息,也就是灰阶值。
U:从色度信号中减去Y得到的蓝色信号的差异值。
V:从色度信号中减去Y得到的红色信号的差异值。
YUV颜色编码主要用在电视系统以及视频编解码标准中,在这些系统中,Y通道信息可以单独使用,这样黑白电视机也能接收和显示信号。而彩色信息则通过U和V两个通道传输,只有彩色电视机才能处理。这样设计兼容了黑白电视和彩色电视。
YUV色彩空间相比RGB色彩空间,更加符合人眼对亮度和色彩的敏感度,在视频压缩时,可以按照人眼的敏感度对YUV数据进行压缩,以达到更高的压缩比。
由于历史和技术的原因,YUV的标准存在多种,例如YUV 4:4:4、YUV 4:2:2和YUV 4:2:0等,这些主要是针对U和V通道的采样方式不同定义的。采样不同,对应的压缩比也不同。
(3)图像压缩格式:
jpeg:Joint Photographic Experts Group,是一种常见的用于静态图像的损失性压缩格式,
它特别适合于全彩色和灰度图片,被广泛使用。
通常情况下,JPEG可以提供10:1到20:1的有损压缩比,根据图像质量自由调整。
png: Portable Network Graphics,PNG是一种无损压缩格式,主要使用了DEFLATE算法。
由于这是无损压缩,所以解压缩图像可以完全恢复原始数据。
被广泛应用于需要高质量图像的场景,如网页设计、艺术作品等。
bmp:Bitmap,BMP是Windows系统中常用的一种无压缩的位图图像格式,通常会创造出较大的文件。
位图(Bitmap)是一种常见的计算机图形,最小单位是像素,每个像素都包含一定量的信息,如颜色和亮度等。位图图像的一个主要特点就是,在放大查看时,可以看到图像的像素化现象,也就是我们常说的"马赛克"。BMP、JPEG、GIF、PNG等都是常见的位图格式。
(4)H264和H265:这是两个视频压缩格式,也是两种视频编解码标准。以1280*720的摄像头为例,如果是rgb8格式的原图,一帧图像的大小是:
如果是一小时的视频,那将是非常大的数据量,对网络传输,数据存储,都是很大的压力。而H264通过种种帧间操作,可以达到10:1到50:1的压缩比,甚至更高。H265更进一步,压缩比更高,用来解决4K或8K视频的传输。更具体的原理见:图像编码与 H264 基础知识
在自动驾驶领域,图像数据也使用h264格式,主要用于数采和回放,控制数据量。
2.2 usb_cam
(1)linux针对摄像头硬件有一套Video for Linux内核驱动框架,对应提供的有命令行工具 v4l2-ctl (Video for Linux 2),可以查看摄像头硬件信息:
ls /dev/video0 //一般video0是笔记本自带摄像头设备文件
v4l2-ctl -d /dev/video0 --all
这里截取了部分关键信息,下面的usb_cam的launch文件将用到:
(2)usb_cam是ros里usb camera的软件包,一般称为ros摄像头驱动,但这是一个应用程序,其调用v4l2并通过ros topic发出图像数据。搞机器视觉,第一步就是要有图。
安装并启动usb_cam,查看图像:
sudo apt-get install ros-noetic-usb-cam
roslaunch usb_cam usb_cam-test.launch
rqt_image_view
usb_cam-test.launch:
<launch>
<node name="usb_cam" pkg="usb_cam" type="usb_cam_node" output="screen" >
//指定设备文件名,默认是/dev/video0
<param name="video_device" value="/dev/video0" />
// 宽和高分辨率
<param name="image_width" value="640" />
<param name="image_height" value="480" />
// 像素编码,可选值:mjpeg,yuyv,uyvy
<param name="pixel_format" value="yuyv" />
<param name="color_format" value="yuv422p" />
// camera坐标系名
<param name="camera_frame_id" value="usb_cam" />
// IO通道,可选值:mmap,read,userptr,大数据量信息一般用mmap
<param name="io_method" value="mmap"/>
</node>
<node name="image_view" pkg="image_view" type="image_view" respawn="false" output="screen">
// 指定发出的topic名:/usb_cam/image_raw
<remap from="image" to="/usb_cam/image_raw"/>
<param name="autosize" value="true" />
</node>
</launch>
(3)/usb_cam/image_raw的数据结构体:
rostopic info /usb_cam/image_raw
rosmsg show sensor_msgs/Image
//消息头,每个topic都有
std_msgs/Header header
uint32 seq
time stamp
// 坐标系名
string frame_id
// 高和宽分辨率
uint32 height
uint32 width
// 无压缩的图像编码格式,包括rgb8,YUV444
string encoding
// 图像数据的大小端存储模式
uint8 is_bigendian
// 一行图像数据的字节数量,作为步长参数
uint32 step
// 存储图像数据的柔性数组,大小是step*height
uint8[] data
/usb_cam/image_raw内容展示:
(4)/usb_cam/image_raw/compressed的数据结构体:
rostopic info /usb_cam/image_raw/compressed
rosmsg show sensor_msgs/CompressedImage
std_msgs/Header header
uint32 seq
time stamp
string frame_id
// 压缩的图像编码格式,jpeg,png
string format
uint8[] data
/usb_cam/image_raw/compressed内容展示:
(5)踩坑记录
当我拉起来usb_cam时,死活不出图,显示框有,但就是黑的,找了半天资料也没解决。
后来发现,Thinkpad T14的摄像头是有个物理开关的,需要手动打开,不然摄像头就被遮挡了!
2.3 摄像头标定
2.3.1 标定引入
(1)Calibration:翻译过来就是校准和标定。
(2)摄像头标定:Camera Calibration是计算机视觉中的一种关键技术,其目的是确定摄像头的内部参数(Intrinsic Parameters)和外部参数(Extrinsic Parameters)。
内部参数:包括焦距、主点坐标以及镜头畸变等因素。
这些参数与相机本身的硬件有关,如镜头和图像传感器等,一般由厂家提供。
外部参数:摄像头相对于环境的位置和方向。
例如,它可能描述了一个固定摄像头相对于周围环境的姿态或者安装位置。
以汽车为例,外参包括各个摄像头之间的关系,摄像头与radar,摄像头与lidar的关系。
(3)汽车各种传感器的之间的相对位置和朝向,用3自由度的旋转矩阵和3自由度的平移向量表示,这些外参由整车厂自己标。
一般整车下线之后,进入特定的房间,使用静态标靶、定位器的等高精度设备,完成Camera、radar、Lidar等传感器的标定,称之为产线标定,也叫做下线标定。
2.3.2 笔记本摄像头内参标定
这里我们使用标定常用的标靶图形,完成笔记本摄像头的内参标定。usb_cam可以使用内参标定,避免图像畸变。
(1)安装标定功能包(ubuntu20.04+noetic)
sudo apt-get install ros-noetic-camera-calibration
(2)创建 robot_vision 软件包,并标定相关文件
cd ~/catkin_ws/src
catkin_create_pkg robot_vision cv_bridge image_transport sensor_msgs std_msgs geometry_msgs message_generation roscpp rospy
cd robot_vision
mkdir doc launch
touch launch/cameta_calibration.launch
图片链接:标定靶图片:
cameta_calibration.launch:
<launch>
// 使用usb_cam包,发出/usb_cam/image_raw图像数据
<node name="usb_cam" pkg="usb_cam" type="usb_cam_node" output="screen" >
<param name="video_device" value="/dev/video0" />
<param name="image_width" value="640" />
<param name="image_height" value="480" />
<param name="pixel_format" value="yuyv" />
<param name="camera_frame_id" value="usb_cam" />
<param name="io_method" value="mmap"/>
</node>
// 使用标定功能包,完成标定。
// 参数中,8x6表示横向8个内部角点,竖向有6个
// square 是每个棋盘格的边长
// /usb_cam/image_raw是监听的图像topic
<node
pkg="camera_calibration"
type="cameracalibrator.py"
name="camera_calibration"
output="screen"
args="--size 8x6 --square 0.024 image:=/usb_cam/image_raw camera:=/usb_cam"
/>
</launch>
(3)编译并运行
cd ~/catkin_ws/
catkin_make --source src/robot_vision
source devel/setup.bash
roslaunch robot_vision cameta_calibration.launch
不断晃动,直到COMMIT按键亮起,然后点击,即可生成标定文件,本人的路径为:/home/mm/.ros/camera_info/head_camera.yaml。具体的生成原理和文件内容,这里暂不深究,可以参考链接:相机内参标定究竟标了什么?相机内参外参保姆级教程
2.4 opencv和cv_bridge引入
(1)opencv和cv_bridge的简介可以看本人之前的博客:ROS高效入门第一章 – ROS历史与现状 2.8节
安装opencv(ubuntu20.04+noetic):
sudo apt-get install ros-noetic-vision-opencv libopencv-dev python3-opencv
(2)opencv和cv_bridge的简单架构图如下:
根据这个图,在ros里,处理图像的流程一般是:
# 第一步:使用cv_bridge将ROS的图像数据转换成OpenCV的图像格式
cv_image = cv_bridge.imgmsg_to_cv2(msg, "bgr8")
# 第二步:使用opencv进行图像处理
。。。
# 第三步,再将opencv格式额数据转换成ros image格式的数据
ros_image = cv_bridge.cv2_to_imgmsg(cv_image, "bgr8")
本文不深入讲解opencv,推荐一个资料:W3Cschool - OpenCV教程
(3)在 上节的robot_vision包里,我们新增一个cv_bridge的小样例,主要功能是在捕捉到的图像上打个蓝色的圆标。
cd ~/catkin_ws/src/robot_vision
mkdir scripts
touch scripts/cv_bridge_test.py launch/cv_bridge_test.launch
cv_bridge_test.py:
#! /usr/bin/env python3
# -*- coding: utf-8 -*-
import rospy
import cv2
from functools import partial
from cv_bridge import CvBridge, CvBridgeError
from sensor_msgs.msg import Image
def image_cb(msg, cv_bridge, image_pub):
# 使用cv_bridge将ROS的图像数据转换成OpenCV的图像格式
try:
cv_image = cv_bridge.imgmsg_to_cv2(msg, "bgr8")
except CvBridgeError as e:
print(e)
# 在opencv的显示窗口中绘制一个圆,作为标记
# cv_image.shape返回一个元组,包含图像的行数(高度),列数(宽度)和通道数(通常是3个通道:BGR)
(rows, cols, channels) = cv_image.shape
# 当图像的宽度和高度都大于60时,才执行画圆标动作
if cols > 60 and rows > 60:
# 在计算机图像处理中,图像的原点(0,0)通常定义为图像的左上角。(60,60)是圆心的坐标。
# 30是圆的半径。
# (255,0,0)定义了圆的颜色。在OpenCV中,默认的颜色空间是BGR,所以这其实是绘制了一个蓝色的圆。
# -1表示填充圆。如果这个值是正数,则代表绘制的圆的线宽;如果是负数,则代表填充该圆。
cv2.circle(cv_image, (60,60), 30, (255,0,0), -1)
# 使用Opencv的接口,显示Opencv格式的图像
cv2.imshow("ycao: opencv image window", cv_image)
cv2.waitKey(3)
# 再将opencv格式额数据转换成ros image格式的数据发布
try:
image_pub.publish(cv_bridge.cv2_to_imgmsg(cv_image, "bgr8"))
except CvBridgeError as e:
print(e)
def main():
rospy.init_node("cv_bridge_test")
rospy.loginfo("starting cv_bridge_test node")
bridge = CvBridge()
image_pub = rospy.Publisher("/cv_bridge_image", Image, queue_size=1)
bind_image_cb = partial(image_cb, cv_bridge=bridge, image_pub=image_pub)
// 订阅/usb_cam/image_raw,然后再回调函数里处理图像,并发布出来
rospy.Subscriber("/usb_cam/image_raw", Image, bind_image_cb)
rospy.spin()
cv2.destroyAllWindows()
if __name__ == "__main__":
main()
cv_bridge_test.launch
<launch>
<node name="usb_cam" pkg="usb_cam" type="usb_cam_node" output="screen" >
<param name="video_device" value="/dev/video0" />
<param name="image_width" value="640" />
<param name="image_height" value="480" />
<param name="pixel_format" value="yuyv" />
<param name="camera_frame_id" value="usb_cam" />
<param name="io_method" value="mmap"/>
</node>
<node
pkg="robot_vision"
type="cv_bridge_test.py"
name="cv_bridge_test"
output="screen"
/>
<node
pkg="rqt_image_view"
type="rqt_image_view"
name="rqt_image_view"
output="screen"
/>
</launch>
(4)编译并运行
cd ~/catkin_ws/
catkin_make --source src/robot_vision
source devel/setup.bash
roslaunch robot_vision cv_bridge_test.launch
文章来源:https://www.toymoban.com/news/detail-758164.html
3 总结
本文主要系统介绍了机器视觉处理的外围知识,引入了opencv和cv_bridge,后面几篇文章,我们将用它们继续丰富 robot_vision 软件包。
本文的样例托管在本人的github上:robot_vision文章来源地址https://www.toymoban.com/news/detail-758164.html
到了这里,关于ROS高效进阶第四章 -- 机器视觉处理之图像格式,usb_cam,摄像头标定,opencv和cv_bridge引入的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!