机器人技能学习--数据集剖析

这篇具有很好参考价值的文章主要介绍了机器人技能学习--数据集剖析。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

   一切为了能自己构建属于自己的数据集,所以,从现有数据集剖析入手。
   目前,基于 MimicGen 官方提供的数据集,初始数据集有11组,其中,每组数据中,包含10个demo,每个 demo 的数据构成是一样的,只是轨迹和物体的姿态不一样。
机器人技能学习--数据集剖析,机器人,学习

数据总览

为简化工作流程,在本文中,若无特殊标记,均为针对 stack.hdf5 数据集的解析:

        -data
    		--  attr: env_args
		    --  attr: total
			--  demo_0 # 10 组
	   			--- attr: model_file
			    --- arrt: num_samples
				--- actions
				--- dones
				--- rewards
		  	    --- states
				--- obs
					---- agentview_image
					---- object
   					---- robot0_eef_pos
   					---- robot0_eef_quat
   					---- robot0_eef_vel_ang
   					---- robot0_eef_vel_lin
   					---- robot0_eye_in_hand_image
   					---- robot0_gripper_qpos
   					---- robot0_gripper_qvel
   					---- robot0_joint_pos
   					---- robot0_joint_pos_cos
   					---- robot0_joint_pos_sin
   					---- robot0_joint_vel
			-- demo_1
			-- ......
			-- demo_9
		-mask
			-- first_10

针对不同关键词及对应数据的解释,其中 / 表示未知:

Key Description Dim Get Robomimic使用方法 Note
env_args(attr) 基础配置信息 string 人工定义 / 包含场景名称、控制器(OSC_POSE)等信息
total(attr) / 1001 / / /
model_file(attr) 场景信息 string 人工定义 / 详细配置参数,包括机器人位置,物体位姿、属性等
num_samples(attr) 轨迹点数量 87 计算 / /
actions 动作 87 * 7 示教 / 与控制器类型对应,表示(x, y, z, r, p, y, -1/1),前6位表姿态,最后一位表示夹具状态,-1表示打开状态,1表示闭合状态
dones 是否完成任务 87 / / 前82位为0,后5位为1
rewards 奖励参数 87 / / 前82位为0.0,后5位为1.0
states 状态 87 * 45 / / Mujoco表示状态的方式 *
object 物体表示 87 * 23 / / /
robot0_eef_pos 机器人末端位置 87 * 3 示教 / x, y, z
robot0_eef_quat 末端姿态 87 * 4 示教 / qw, qx, qy, qz
robot0_eef_vel_ang 末端角速度 87 * 3 / /
robot0_eef_vel_lin 末端线速度 87 * 3 / /
robot0_gripper_qpos 夹具(关节)位置 87 * 2
robot0_gripper_qvel 夹具速度 87 * 2
robot0_joint_pos 7Dof关节位置 87 * 7
robot0_joint_pos_cos / 87 * 7
robot0_joint_pos_sin / 87 * 7
robot0_joint_vel 关节速度 87 * 7

数据介绍

actions

10 组数据为:

[0.11900000000000001, -0.027, -0.163, -0.0027573707047849894, 0.09558416903018951, 0.018667636439204216, -1.0]
[0.22200000000000003, -0.004, -0.247, -0.001246497966349125, 0.09782034158706665, 0.02653670310974121, -1.0]
[0.35500000000000004, -0.158, -0.35200000000000004, 0.01000046357512474, 0.08761297911405563, 0.04865993559360504, -1.0]
[0.398, -0.08, -0.515, 0.008693302050232887, 0.07150734215974808, 0.08536489307880402, -1.0]
[0.45799999999999996, -0.056999999999999995, -0.545, 0.006539663765579462, 0.05647878348827362, 0.11847471445798874, -1.0]
[0.439, 0.076, -0.594, -0.00130382867064327, 0.04076612368226051, 0.14484722912311554, -1.0]
[0.439, 0.11199999999999999, -0.599, -0.009466821327805519, 0.025265417993068695, 0.16476278007030487, -1.0]
[0.384, 0.181, -0.542, -0.00946812517940998, 0.02268858812749386, 0.1813860535621643, -1.0]
[0.344, 0.13699999999999998, -0.543, -0.010094424709677696, 0.01842835173010826, 0.19724716246128082, -1.0]
[0.303, 0.131, -0.553, -0.008746521547436714, 0.00791255198419094, 0.21429434418678284, -1.0]

robot0_eef_pose

10 组数据为:

[-0.10677228640382701, -0.007912818970765859, 0.9978511242350278]
[-0.10621354303360744, -0.006935816058219822, 0.9979395750460012]
[-0.10536093958873115, -0.006315994512394012, 0.9957368956011524]
[-0.10292113662390937, -0.006428708338244041, 0.9913538586666457]
[-0.09888318372052782, -0.006433863197485929, 0.985309696980578]
[-0.09367487660808188, -0.006261336940084016, 0.9782275947352779]
[-0.08798568739163559, -0.005638058018654422, 0.9705599359873655]
[-0.08209873483921205, -0.004743362303315956, 0.962652752983167]
[-0.07657093954923748, -0.003287089779160534, 0.9550401634889241]
[-0.07158081623646902, -0.001681889698740893, 0.9477366260562331]

robot0_eef_quat

10 组数据为:

[0.9987497020281128, -0.005340784012888566, 0.04969201885270823, 0.0011009029139912377]
[0.998764328193982, -0.0037890852616592205, 0.049544501455921285, 0.0008955085639633759]
[0.9989091769069497, -0.0020599392656113213, 0.04664085209166352, 0.0009186171488014434]
[0.999086829166481, -0.0004595555938569085, 0.04271319705277585, 0.0009377591661813914]
[0.9992429301494844, 0.0028395374951761805, 0.038795429035699124, 0.0006467294813540437]
[0.9993372250884551, 0.008313254230825684, 0.0354395485249257, 0.00019686784783459234]
[0.9993433766030909, 0.015947470957228708, 0.03253290289028111, -0.0003225509772582462]
[0.9992261832040216, 0.025115127092460332, 0.030262966085433277, -0.0006465867030544439]
[0.9989703212844835, 0.03539576655809851, 0.028364696315765554, -0.0009385656368913736]
[0.9985707083451394, 0.04633552838823607, 0.02661470086373277, -0.0011031509432972032]

states

ipdb> f['data']['demo_0']['states'][0]
array([ 0.        ,  0.00566507,  0.23094458, -0.01965714, -2.60890608,
        0.01534579,  2.93922448,  0.7684602 ,  0.020833  , -0.020833  ,
       -0.07533379,  0.00950491,  0.83      , -0.89364334,  0.        ,
        0.        ,  0.44877787, -0.02757463,  0.07990465,  0.835     ,
        0.59937795,  0.        ,  0.        ,  0.80046616,  0.        ,
        0.        ,  0.        ,  0.        ,  0.        ,  0.        ,
        0.        ,  0.        ,  0.        ,  0.        ,  0.        ,
        0.        ,  0.        ,  0.        ,  0.        ,  0.        ,
        0.        ,  0.        ,  0.        ,  0.        ,  0.        ])
ipdb> f['data']['demo_0']['states'][-1]
array([ 4.30000000e+00,  5.59799918e-02,  7.21294844e-01,  7.20511426e-02,
       -2.15581180e+00, -1.09002756e-01,  2.89116760e+00,  6.91851452e-01,
        3.40614251e-02, -3.39791898e-02, -1.38892392e-02,  8.35409363e-02,
        8.69026681e-01, -8.13647281e-01,  1.67608256e-03,  2.73918668e-03,
        5.81349971e-01, -2.75145818e-02,  7.99156301e-02,  8.24690121e-01,
        5.99382437e-01,  8.13167534e-04,  8.85709985e-04,  8.00461897e-01,
        5.07794596e-02, -3.80039429e-03, -2.87840718e-02, -5.71935216e-02,
       -4.75354677e-02,  1.49040575e-01,  9.27308822e-02,  5.80022004e-02,
       -5.79495064e-02,  2.90350009e-03, -1.17890268e-03,  4.38212894e-03,
       -1.20456301e-01,  1.09043320e-01,  2.78845797e-04, -2.27485074e-05,
        4.12241415e-05, -1.23992816e-04, -4.21637708e-04,  1.86013180e-03,
       -6.15372096e-06])

object

ipdb> f['data']['demo_0']['obs']['object'][0]
array([-0.07533379,  0.00950491,  0.83      ,  0.        ,  0.        ,
        0.44877787, -0.89364334, -0.02757463,  0.07990465,  0.835     ,
        0.        ,  0.        ,  0.80046616,  0.59937795,  0.03143849,
        0.01741772, -0.16785112,  0.07919765,  0.08781747, -0.16285112,
        0.04775916,  0.07039975,  0.005     ])
ipdb> f['data']['demo_0']['obs']['object'][-1]
array([-1.38892392e-02,  8.35409363e-02,  8.69026681e-01,  1.67608256e-03,
        2.73918668e-03,  5.81349971e-01, -8.13647281e-01, -2.75145818e-02,
        7.99156301e-02,  8.24690121e-01,  8.13167534e-04,  8.85709985e-04,
        8.00461897e-01,  5.99382437e-01,  9.96283912e-03,  2.85510509e-03,
       -8.71079446e-03, -3.66250354e-03, -7.70201109e-04, -5.30473545e-02,
       -1.36253427e-02, -3.62530620e-03, -4.43365600e-02])

参考资料

robomimic-study文章来源地址https://www.toymoban.com/news/detail-783620.html

到了这里,关于机器人技能学习--数据集剖析的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 2018年安徽省机器人大赛单片机与嵌入式系统应用技能竞赛试题(1)

    目录 一、试题描述 1、任务 2、基本功能要求 3、发挥要求 4、说明 二、开发板介绍  三、所用器件: 1一个超声波测距传感器 2eeprom 3电位器 4 4*4矩阵键盘 5蜂鸣器 6led灯 7步进电机 8RTC 实时时钟 9所用芯片  四、主要思路         设计并制作汽车倒车防撞报警器。开机后,

    2023年04月22日
    浏览(53)
  • 2019年安徽省机器人大赛单片机与嵌入式系统应用技能竞赛试题(2)

    目录 一、赛题展示 二、具体分析 1、任务 2、基本功能 3、发挥要求 总思路:根据第一个按键先判断方向(利用一个变量存储),该方向所有楼层经过后,反向运动。当最后一个楼层到达后,判断是否有新按键按下,判断时间大于三秒,返回默认楼层。         开机后,

    2024年02月04日
    浏览(47)
  • 通用操作接口UMI:如何快速简单地给机器人提供更多学习数据?

    论文标题: Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots 论文作者: Cheng Chi , Zhenjia Xu , Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, Shuran Song 项目地址: https://umi-gripper.github.io/ 导读: 斯坦福团队提出通用操纵接口(UMI)通用框架,可以直接

    2024年04月12日
    浏览(36)
  • 文献学习-21-DaFoEs:混合数据集以推广微创机器人手术中的视觉状态深度学习力估计

    DaFoEs: Mixing Datasets Towards the Generalization of Vision-State Deep-Learning Force Estimation in Minimally Invasive Robotic Surgery Authors:  Mikel De Iturrate Reyzabal, Graduate Student Member, IEEE, Mingcong Chen, Wei Huang, Sebastien Ourselin, and Hongbin Liu Key words:  Deep learning in grasping and manipulation, surgical robotics: Laparoscopy, com

    2024年03月21日
    浏览(58)
  • 人工智能与机器人|机器学习

    原文链接: https://mp.weixin.qq.com/s/PB_n8woxdsWPtrmL8BbehA 机器学习下包含神经网络、深度学习等,他们之间的关系表示如图2-7所示。 图2-7 关系图 那么什么是机器学习、深度学习、他们的区别又是什么呢? 2.7.1 什么是机器学习? 机器学习是 人工智能 (AI) 和计算机科学的一个分支,

    2024年02月06日
    浏览(79)
  • 机器学习-搭建轻量级机器人模型

    在自己的机器上部署一个机器人简直太酷啦,因为模型数据缘故,可能有时候回复会有一点点怪,不过不影响我们探索机器模型的学习,搭建安装完毕,大家就可自行学习源码啦。 这是启动后台的图片。  需要安装环境:python3.7 、Transformers==4.2.0、pytorch==1.7.0、nginx(映射网页

    2024年02月11日
    浏览(45)
  • 大象机器人人工智能套装2023版深度学习协作机器人、先进机器视觉与应用场景

    介绍当前的版本 今天我们要介绍的是aikit2023,aikit2023是aikit的全新升级版。 AIkit 2023 是一套集视觉,定位抓取、自动分拣模块为一体的入门级人工智能套装。 该套装基于python平台,可通过开发软件实现机械臂的控制,简单易学,能够快速入门学习人工智能基础知识,启发创新

    2024年02月13日
    浏览(65)
  • 机器人动力学与控制学习笔记(十七)——基于名义模型的机器人滑模控制

            滑模运动包括趋近运动和滑模运动两个过程。系统从任意初始状态趋向切换面,直到到达切换面的运动称为趋近运动,即趋近运动为的过程。根据滑模变结构原理,滑模可达性条件仅保证由状态空间任意位置运动点在有限时间内到达切换面的要求,而对于趋近运动的

    2024年02月12日
    浏览(48)
  • 动态规划学习——机器人运动

    问题: 一共有N个位置,机器人从start开始,走K步到end 机器人到1后只能向2运动,到N后只能向N-1运动,即不能越界,只能在1-N的位置运动 求总的路线的个数 例: N=4,startp=1,endp=3,K=4 则路线如下: 1-2-3-4-3 1-2-3-2-3 1-2-1-2-3 总共有3条路线 参考资料: bilibili 马士兵教育——左程云

    2024年01月22日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包