AutoCV第八课:3D基础

这篇具有很好参考价值的文章主要介绍了AutoCV第八课:3D基础。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

3D基础

注意事项

一、2023/5/11更新

新增工具可视化点云,即第 4 节内容

二、2023/5/15更新

经杜老师指正,之前实现的 3D 可视化的效果并不是不好,而是输入数据存在问题!!!这边看了下,利用 mayavi.malb 库重新来可视化点云数据,新增第 5 小节内容

前言

手写 AI 推出的全新保姆级从零手写自动驾驶 CV 课程,链接。记录下个人学习笔记,仅供自己参考。

本次课程主要学习点云数据的可视化。

课程大纲可看下面的思维导图。

AutoCV第八课:3D基础

1. nuScenes数据集

nuScenes 数据集是一种用于自动驾驶研究的大规模开放式数据集,其中包含了从多个传感器收集的高清三维激光雷达数据、高清摄像头数据、GPS 和 IMU 数据以及其它传感器等多种数据类型,总数据量达到了超过 1000 小时的行驶数据。各个传感器在车辆的具体位置可参考 图1-1(from chatGPT)

nuScenes 数据集由 nuTonomy 公司于 2019 年发布,后被 Aptiv 收购并维护。数据集中包含了超过 1000 个行驶场景,每个场景长度约为 20 秒,包括了各种驾驶情况,如城市、高速公路和居住区等场景

nuScenes 数据集中的传感器数据可以用于多种自动驾驶研究任务,如目标检测、语义分割、行为预测等。

关于 nuScenes 数据集更多的描述可见官网

nuScenes 官网:https://www.nuscenes.org/nuscenes?sceneId=scene-0100&frame=0&view=lidar

nuScenes 教程:https://www.nuscenes.org/nuimages#tutorial

nuScenes mini 数据集下载网盘链接:https://pan.baidu.com/s/1BNuDTDCN37rkWRYBdF8C7Q?pwd=yolo

AutoCV第八课:3D基础

图1-1 车辆传感器位置

2. nuScenes数据格式

本次我们使用 v1.0-mini 数据集来进行后续的学习工作,它是 nuScenes 数据集的一个子集,解压后包含以下五个文件:

1.maps

  • 包含有关城市街道的地图数据,包括道路、车道、交叉口、建筑物和树木等信息

2.samples

  • 包含有关车辆传感器数据的信息,如激光雷达、相机和毫米波雷达等一些样本数据
  • 相机数据是以图片的格式存储的,LiDAR 数据是以二进制的格式存储的,Radar 数据则是以 PCD 的格式进行存储的
  • PCD 全称 Point Cloud Data,是一种用于存储三维点云数据的文件格式。每个 .pcd 文件包含了 x、y、z 的三维坐标以及反射强度等信息
  • 后续点云数据的可视化是读取的 LiDAR_TOP 中的某一个二进制文件

3.sweeps

  • 包含了一系列车辆传感器数据的信息

4.v1.0-mini

  • 包含有关数据集中每个样本的元数据信息,如时间戳、旋转矩阵等。元数据以 JSON 格式存储

5.v1.0-mini.txt

  • 说明文档

3. 点云可视化

我们来对 LiDAR 的点云数据来进行可视化,其点云数据格式是一个二进制文件,其 shape 为 [n,5]

  • n 代表点云的数量
  • 5 分别代表 x、y、z、intensity、ring index
  • x、y、z 代表基于激光雷达的 3D 坐标
  • intensity 是反射强度,指的是激光接收器接受的反射次数,通常用于区分物体或地面
  • ring index:点所在激光雷达扫描线的编号,比如 32 线激光雷达,其值就为 1-32

示例代码如下:

import numpy as np
import cv2

file = "./data/n015-2018-11-21-19-38-26+0800__LIDAR_TOP__1542800855949460.pcd.bin"

# [x, y, z, intensity, ring index]
pc = np.frombuffer(open(file, "rb").read(), dtype=np.float32)
pc = pc.reshape(-1, 5)[:, :4]

x, y, z, intensity = pc.T

# 设置图像的尺寸1024x1024
image_size = 1024

# 数据归一化
# 点的坐标范围大概是100
pc_range = 100
x = x / pc_range    # [-1,1]
y = y / pc_range

# 缩放到图像大小,并平移到图像中心
half_image_size = image_size / 2
x = x * half_image_size + half_image_size
y = y * half_image_size + half_image_size

# opencv的图像,可以用numpy进行创建
image = np.zeros((image_size, image_size, 3), np.uint8)

for ix, iy, iz in zip(x, y, z):
    ix = int(ix)
    iy = int(iy)
    
    # 判断是否在图像范围内
    if ix >= 0 and ix < image_size and iy >= 0 and iy < image_size:
        
        image[iy, ix] = 255, 255, 255

cv2.imwrite("pointcloud.jpg", image)
cv2.imshow("image", image)
cv2.waitKey(0)

该示例代码主要是对 nuScenes 数据集中的激光雷达点云数据进行了可视化,具体流程如下:

  • 读取 nuScenes 数据集中的一个 .pcd.bin 文件,该文件中存储了激光雷达采集的点云数据。
  • 读取文件中的点云数据,并将其转换为 numpy 数组。
  • 解析 numpy 数组,得到点云数据中的 x, y, z, intensity 四个维度。
  • 由于点云数据的坐标值范围比较大,需要进行归一化操作。本代码采用将点云数据的范围缩放到 [-1, 1] 的方法进行归一化。
  • 缩放点云数据,并将其平移至图像中心。
  • 创建一个黑色的 1024x1024 的图像,并遍历所有点云数据中的点,将其所在位置的像素点设为白色。
  • 将生成的图像保存并显示

可视化图如下:

AutoCV第八课:3D基础

图3-1 激光雷达数据的二维可视化

我们可以考虑高度信息,绘制一张 3D 的点云图

  • 参考自:https://blog.csdn.net/Fzc_Ztt/article/details/116668330

示例代码如下:

import numpy as np
import mayavi.mlab

# pip install mayavi
# pip install pyqt5

# lidar_path换成自己的.bin文件路径
pointcloud2 = np.fromfile("./data/n015-2018-11-21-19-38-26+0800__LIDAR_TOP__1542800855949460.pcd.bin", dtype=np.float32, count=-1).reshape([-1, 4])
 
# 提取点云坐标和反射强度
x = pointcloud2[:, 0]  # x position of point
y = pointcloud2[:, 1]  # y position of point
z = pointcloud2[:, 2]  # z position of point
r = pointcloud2[:, 3]  # reflectance value of point

# 计算点云距离和高度角
d = np.sqrt(x ** 2 + y ** 2)  # Map Distance from sensor 
degr = np.degrees(np.arctan(z / d))

# 设置颜色
vals = 'height'
if vals == "height":
    col = z
else:
    col = d

# 可视化点云数据
fig = mayavi.mlab.figure(bgcolor=(0,0,0),size=(640, 500))
mayavi.mlab.points3d(x, y, z,
                     col,  # Values used for Color
                     mode="point",
                     colormap='spectral',  # 'bone', 'copper', 'gnuplot'
                     # color=(0, 1, 0),   # Used a fixed (r,g,b) instead
                     figure=fig,
                     )
 
mayavi.mlab.show()

上述示例代码使用了 numpy 和 mayavi 库,用于读取并解析激光雷达二进制数据,然后将点云数据可视化为 3D 效果图。首先从二进制数据中提取点的 x、y、z 坐标和反射强度,然后计算出每个点到传感器的距离,最后根据距离或高度值对点进行着色,并使用 mayavi 的 point3d() 函数将点云可视化出来。通过设置不同的参数,可以调整点云的颜色、大小和透明度等属性。最后使用 mayavi 的 show() 函数显示 3D 效果图

可视化图如下:

AutoCV第八课:3D基础

图3-2 激光雷达数据的三维可视化

我们还可以将不同视角的图片进行保存,然后利用 imageio 模块绘制动态图

示例代码如下:(from chatGPT)

import numpy as np
import mayavi.mlab as mlab
import os
import imageio


# 读取点云数据
pointcloud = np.fromfile('./data/n015-2018-11-21-19-38-26+0800__LIDAR_TOP__1542800855949460.pcd.bin', dtype=np.float32, count=-1).reshape([-1, 4])

# 提取点云坐标和反射强度
x = pointcloud[:, 0]
y = pointcloud[:, 1]
z = pointcloud[:, 2]
r = pointcloud[:, 3]

# 创建 mayavi 场景
fig = mlab.figure(bgcolor=(0,0,0), size=(800, 600))

# 绘制点云
points = mlab.points3d(x, y, z, r, mode='point', colormap='spectral')

# 设置相机位置和视角
mlab.view(azimuth=0, elevation=90, distance=500, focalpoint=[0,0,0])
mlab.move(forward=-100)

# 创建保存点云数据的文件夹
if not os.path.exists('./lidar_images'):
    os.makedirs('./lidar_images')

# 保存不同视角的点云数据到文件夹
for i in range(36):
    mlab.view(azimuth=i*10, focalpoint=[0,0,0])
    mlab.move(forward=-20)
    mlab.savefig('./lidar_images/lidar_view_{}.png'.format(i))

# # 文件夹路径
folder_path = './lidar_images/'

# 获取文件夹下的所有图片路径
image_paths = sorted([os.path.join(folder_path, f) for f in os.listdir(folder_path) if f.endswith('.png')])

# 读取所有图片并保存到列表中
images = []
for image_path in image_paths:
    images.append(imageio.imread(image_path))

# 将所有图片合成为一张动态图
imageio.mimsave('./lidar.gif', images, fps=9)

可视化图如下所示,效果并不是很好,凑合看吧😂

AutoCV第八课:3D基础

图3-3 激光雷达数据的不同视角图

顺便想看看毫米波雷达的点云数据,但是其数据格式不是很清楚,就没去折腾解析工作了,主要是通过工具 pcl-tools 来查看的

首先安装 pcl-tools 库

sudo apt-get install pcl-tools

然后运行对应的毫米波雷达的 pcd 数据就行

pcl_viewer xxx.pcd

可视化效果如下:

AutoCV第八课:3D基础

图3-4 毫米波雷达数据的可视化

好像没啥好看的,就一堆点,而且相比于激光雷达来说点云非常稀疏

毫米波雷达是通过发送一束毫米波,利用物体对毫米波的反射来确定物体的位置。它可以探测物体的反射并测量反射的时间和强度,从而确定物体的距离、角度和速度等信息。毫米波雷达的点云密度相对较低,需要更多的数据处理和算法优化来进行点云重建和应用。

4. 点云可视化工具

我们在 vscode 中利用插件 vscode-pc-viewer 可以将点云数据进行可视化

启动 vscode 按照以下操作

  • 点击扩展商店
  • 输入插件名称 vscode-pc-viewer
  • 选择插件
  • 点击安装

流程如下图所示:

AutoCV第八课:3D基础

图4-1 点云可视化工具安装流程

安装完成之后,可以任意点击一个激光雷达的 .pcd.bin 文件查看点云可视化结果如下图所示:

AutoCV第八课:3D基础

图4-2 vscode-pc-viewer直接可视化点云数据

似乎和我之前 3D 可视化的结果差不多呀,不过看不出啥玩意,格式存在问题,我们来看看关于 vscode-pc-viewer 插件的相关描述

AutoCV第八课:3D基础

图4-3 vscode-pc-viewer插件描述

可以看到它支持 ply、pcd、xyz、obj、bin 等格式,但是二进制文件只支持 KITTI 数据集,那么需要将 nuScenes 数据集中激光雷达的二进制点云数据转换为 KITTI 数据集格式。

转换示例代码如下:

import numpy as np

file = "./data/n015-2018-11-21-19-38-26+0800__LIDAR_TOP__1542800855949460.pcd.bin"

pc = np.frombuffer(open(file, "rb").read(), dtype=np.float32)
pc = pc.reshape(-1, 5)[:, :4]

x, y, z, intensity = pc.T

arr = np.zeros(x.shape[0] + y.shape[0] + z.shape[0] + intensity.shape[0], dtype=np.float32)
arr[::4] = x
arr[1::4] = y
arr[2::4] = z
arr[3::4] = intensity
arr.astype('float32').tofile('kitti.bin')

参考自:https://github.com/PRBonn/lidar-bonnetal/issues/78

转换完成后在当前文件夹下会生成对应的 kitti.bin 文件,再次通过 vscode-pc-viewer 插件打开,就是我们想看到的样子了,如下图所示:

AutoCV第八课:3D基础

图4-4 vscode-pc-viewer可视化KiTTI格式

当然你也可以查看 .pcd 格式结尾的毫米波雷达数据,如下图所示:

AutoCV第八课:3D基础

图4-5 vscode-pc-viewer可视化Radar数据

5. 点云可视化(补充)

利用 mayavi.mlab 实现点云数据的 3D 可视化

参考:读取.bin激光雷达文件格式并可视化的三种方法

示例代码如下:

import numpy as np
import mayavi.mlab

file = "./data/n015-2018-11-21-19-38-26+0800__LIDAR_TOP__1542800855949460.pcd.bin"

pc = np.frombuffer(open(file, "rb").read(), dtype=np.float32)
pc = pc.reshape(-1, 5)[:, :4]

x, y, z, intensity = pc.T

d = np.sqrt(x**2 + y**2)    # Map Distance from sensor

degr = np.degrees(np.arctan(z / d))

fig = mayavi.mlab.figure(bgcolor=(0, 0, 0), size=(1280, 1280))
mayavi.mlab.points3d(x, y, z,
                     z, # Values used for Color
                     mode="point",
                     colormap='spectral',
                     figure=fig)

mayavi.mlab.savefig("pointcloud.png", figure=fig)
mayavi.mlab.show()

可视化后的结果如下:

AutoCV第八课:3D基础

图5-1 激光雷达数据的三维可视化

总结

本次课程为 3D 基础,主要了解了 nuScenes 数据集,并了解了其中的激光雷达传感器采集到的数据格式,其 shape 为 [n,5],其中 n 为采集到的点云数量,5 个维度分别代表 x、y、z、intensity、ring index,利用 numpy 数据库对激光雷达的数据进行了解析,并利用 opencv、mayavi、imageio 等库对点云进行了可视化,整体效果还是比较 OK 的。
之后利用工具 vscode-pc-viewer 对激光雷达点云进行了相关可视化文章来源地址https://www.toymoban.com/news/detail-451336.html

到了这里,关于AutoCV第八课:3D基础的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 复习第八课 C语言-结构体,其他

    目录 【1】结构体 【2】typedef 【3】结构体数组 【4】结构体指针 【5】结构体大小 【6】共用体 【7】枚举 【8】存储类型 1. 定义: 结构体就是一种用户自定义的新数据类型,在结构体中可以包含若干个相同数据类型或不同数据类型的成员变量,组合在一起进行描述 2. 格式:

    2024年02月16日
    浏览(35)
  • STM32第八课:PWM控制直流电机

            TB6612FNG是一款新型驱动器件,能独立双向控制2个直流电机,它具有很高的集成度,同时能提供足够的输出能力,运行性能和能耗方面也具有优势因此在集成化、小型化的电机控制系统中,它可以作为理想的电机驱动器件。                           

    2024年03月24日
    浏览(53)
  • 【SQL 必知必会】- 第八课 使用函数处理数据

    目录 函数         函数带来的问题         可移植(portable)         是否应该使用函数? 使用函数         文本处理函数         SOUNDEX 支持         日期和时间处理函数         数值处理函数         函数带来的问题         与几乎所有

    2023年04月10日
    浏览(52)
  • C语言第八课-----函数定义和使用的延续

    作者前言                                                   个人主页::小小页面                  gitee页面:秦大大                 一个爱分享的小博主 欢迎小可爱们前来借鉴 __________________________________________________________          1.复习                 库函

    2024年02月15日
    浏览(49)
  • 孩子都能学会的FPGA:第八课——状态机

    (原创声明:该文是 作者的原创 ,面向对象是 FPGA入门者 ,后续会有进阶的高级教程。宗旨是 让每个想做FPGA的人轻松入门 , 作者不光让大家知其然,还要让大家知其所以然 !每个工程作者都搭建了全自动化的仿真环境,只需要双击 top_tb.bat 文件就可以完成整个的仿真(前

    2024年01月21日
    浏览(52)
  • 【代码随想录python笔记整理】第八课 · 奇怪的信

    前言: 本笔记仅仅只是对内容的整理和自行消化,并不是完整内容,如有侵权,联系立删。        在之前的算术运算中,我们遇到了一种曾经不常见的运算——取模。接下来,我们就通过这道题目来理解一下取模的作用。        对于这道题目我们其实有两种角度。第一种

    2024年02月22日
    浏览(56)
  • MySQl数据库第八课-------SQL命令查询-------主要命脉

     欢迎小可爱们前来借鉴我的gtiee秦老大大 (qin-laoda) - Gitee.com —————————————————————————————— 查询数据         条件         逻辑运算符         模糊查询         范围查询 in         判断空 UNION  排序 聚合 分组:gro

    2024年02月16日
    浏览(53)
  • 从零实战SLAM-第八课(非特征点的视觉里程计)

     在七月算法报的班,老师讲的蛮好。好记性不如烂笔头,关键内容还是记录一下吧,课程入口,感兴趣的同学可以学习一下。 ------------------------------------------------------------------------------------------------------------------------------- 特征点法流程: 1.在图像中提取特征点并计算特征

    2024年02月12日
    浏览(34)
  • 【小黑嵌入式系统第八课】初识PSoC Creator™开发——关于PSoC Creator&下载、创建项目、单片机中的hello world(点亮一个led)

    上一课: 【小黑嵌入式系统第七课】PSoC® 5LP 开发套件(CY8CKIT-050B )——PSoC® 5LP主芯片、I/O系统、GPIO控制LED流水灯的实现 下一课: 【小黑嵌入式系统第九课】PSoC 5LP第一个实验——LED、字符型LCD显示实验 本课程主要介绍了 PSoC® 5LP, 一个基于 ARM® Cortex®-M3 的可编程片上系

    2024年02月03日
    浏览(62)
  • 第八十七天学习记录:Linux基础:基础指令Ⅱ

    可以通过touch命令创建文件 语法:touch Linux路径 1、touch命令无选项,参数必填,表示要创建的文件路径,相对、绝对、特殊路径符均可以使用 首先用Vim编辑器在刚刚新建的tanktest.txt中编辑些内容。 语法:cat Linux路径 cat同样没有选项,只有必填的参数,参数表示:被查看的文

    2024年02月11日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包