一、简介
我第一个接触的数据集,不用挂梯子也可以直接上,国内用亚洲线下载数据集也非常快(科学上网下kitti真的是一种折磨)。nuscenes里面包含了RGB图片、激光雷达点云和毫米波雷达的数据,具体介绍的话可以看官网:nuScenes官网。
一个小提醒
特别注意:使用想要读取数据请一定按照官网对应的Tutorials里给的方式操作,即用token访问对应的传感器数据,不要直接读json里的,否则无法读到你想要的!!
tutorial有两种获取方式:
- 第一种是来自官网对应界面:
- 另一种是见
nuscenes-devkit/python-sdk/tutorials/
下的.ipynb文件。开发者工具包的Github有,可直接找。
二、数据集下载及排布方式
1.数据集下载
先放一个下载链接:nuscenes下载。要先登录才能下载,没有账号直接注册。
nuscenes官网一共放出了很多数据集,有:
(1)NuScenes
组合拳,传感器含6 个摄像头、1 个激光雷达、5 个雷达、GPS、IMU,里面有RGB图,radar/LiDAR点云图,标注(3D),map等等。数据集用数据库的方式管理,靠token查询对应数据,具体依赖关系看官网给的图:
想要得到对应数据最快的办法就是用nuscenes-devkit,在调用API的时候对应这张图用有奇效。
Full dataset (v1.0)
完整的数据集,看命名似乎以后还会继续更新的样子。
A. 下载
该数据集包含:
- Mini:缩减过的数据集,里面只有10个scenes,不可分传感器下载。
- Trainval:完整的数据集,被分成了10份,一共有850个scenes(700个训练的,100个检验的)。总共差不多有300多GB的样子,可分传感器下载
- Test:150个scene的无标注样本,可分传感器下载
注意:Trainval 和 Test 要单独下载metadata,Mini 不用(已经包含在压缩包内)
具体每一个里包含哪几个scenes,参见nuscenes-devkit/python-sdk/nuscenes/utils/splits.py或根据tutorial调用工具包输出查看
B. 排布
解压到/data/sets/nuscenes,对于多个part的注意不要将原本的覆盖。解压后的文件结构(来自nuscenes-devkit):
/data/sets/nuscenes
samples - Sensor data for keyframes.
sweeps - Sensor data for intermediate frames.
maps - Folder for all map files: rasterized .png images and vectorized .json files.
v1.0-* - JSON tables that include all the meta data and annotations. Each split (trainval, test, mini) is provided in a separate folder.
Map expansion
针对地图的,根据需要照常下载即可
CAN bus expansion
汽车的一些底层数据,比如轮速、油门什么的,根据需要照常下载即可
nuScenes-lidarseg
针对LiDAR的,根据需要照常下载即可
nuScenes-panoptic
nuScenes + nuScenes-lidarseg,用来做panoptic任务(不太了解),根据需要照常下载即可
以上所有数据集下载连接背后都有md5码可供验证文件完整性。
(2)nuImages
纯图片数据集,2D标注,但是样本量比nuscenes大。依赖关系图如下:
数据集只分了mini和all,all可分传感器下载。按需要正常下载即可。
(3)数据集完整性检查
如图,每个数据集都提供了md5码验证完整性。
在终端运行以下命令,能得到一串数字,把这串数字和官网提供的对应包的md5码对比,相同就代表包是完整的。文章来源:https://www.toymoban.com/news/detail-412389.html
% ubuntu下:
md5sum [选项] 文件
% windows下(cmd内):
certutil -hashfile 文件名的绝对地址 MD5
三、各个挑战赛道和SOTA查看
在Task内可以看到各个赛道的SOTA,有的是开源的,需要的py可以按照赛道看自己做的东西的最好的模型怎么处理的。
现在有赛道:
另外,每一个Task最下面有一些额外的规则说明,还有每年开赛道的通知。但是我之前发现不科学上网经常会加载不出来,有条件或者想挑战一下赛道的py还是科学上网一下了(因为每年都有新挑战)。
举几个栗子,科学上网以后,Leaderboard下面应该有这种东西:
文章来源地址https://www.toymoban.com/news/detail-412389.html
到了这里,关于nuScenes的使用(一)——简介和下载的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!