MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving

这篇具有很好参考价值的文章主要介绍了MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

  • MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving(基于神经辐射场的自动驾驶仿真器)
  • https://github.com/OPEN-AIR-SUN/mars
  • https://arxiv.org/pdf/2307.15058.pdf
  • https://mp.weixin.qq.com/s/6Ion_DZGJwzs8JOoWMMbPw

1. 摘要

  • 逼真的传感器仿真解决剩余corner case
  • 3个工作
    • 1.实例意识。作者的仿真器用独立的网络分别仿真前台实例和后台环境,以便可以分别控制实例的静态(例如大小和外观)和动态(例如轨迹)属性
    • 2.模块化。作者的仿真器允许在不同的现代NeRF相关主干、采样策略、输入模式等之间灵活切换。希望这种模块化设计能促进给予NeRF的自动驾驶方针的学术进步和工业部署
    • 3.现实。作者的仿真器设置了新的最先进的照片现实主义的结果给出了最佳的模块选择。

2. Nerf最新进展

2.1. Nerf:将场景表达为3D空间的场

  • (https://arxiv.org/pdf/2003.08934.pdf)

  • 基本思想:3维空间,3D点都向外发射,并且具有一定的体积,可以阻挡其他方向的射线传播
    MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving,Nerf,Nerf,仿真,自动驾驶

  • 将位置和观察角度 ( x , y , z , θ , ϕ ) (x,y,z,\theta,\phi) (x,y,z,θ,ϕ)转化为 ( R , G , B , δ ) (R,G,B,\delta) (R,G,B,δ),RGB和反射率

  • 渲染出每个点的Color(RGB)+Density(阻挡能力),用渲染的颜色和原图颜色做loss
    MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving,Nerf,Nerf,仿真,自动驾驶

  • Blend weights:通过前面所有不透明度的积分得到当前点的积分

  • 体渲染:将所有点从近到远排列到一块,利用Blend weights和积分得到当前点的渲染颜色

  • 真实实现Nerf不用积分,计算量大

  • Nerf缺点:

    • 训练慢:需要2~3天,渲染图要几十秒
    • 渲染结果几何比较差
    • 基于静态场景的假设,不适用动态场景(本文主要解决的问题)

2.2. 续改进论文:

  • instant ngp:https://nvlabs.github.io/instant-ngp/ https://github.com/NVlabs/instant-ngp

    • 主要思想:不需要复杂的网络建模,只需要体素网格;大部分区域空洞,引入哈希表存储信息
    • 达到分割级的训练和实时渲染
  • TenoRF:https://github.com/apchenstu/TensoRF

    • 主要思想:场景稀疏,所以用张量分解方法分解体素(4维),分解低质的tensors,每个compoment可以看作一个vector-matrix
  • SDF:Signed Distance Field

    • 解决Nerf几何不准的问题:计算空间点到最近表面的距离,在表面内SDF<0,表面外面SDF>0
      MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving,Nerf,Nerf,仿真,自动驾驶
  • NeuS:https://arxiv.org/pdf/2106.10689.pdf

    • 主要思想:Nerf和SDF不能天然结合起来

2. 主要内容

本文主要解决“基于静态场景的假设,不适用动态场景”的问题文章来源地址https://www.toymoban.com/news/detail-717040.html

2.1. 之前的工作

  • Deformation-based NeRFs
    • 主要思想:显示建模帧与帧之间点的位移变化
    • 原始论文:
      • 在人体比较复杂的场景,上图方法其实效果并不好MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving,Nerf,Nerf,仿真,自动驾驶
      • Vid2Avatar:https://github.com/MoyGcc/vid2avatar(数字人领域)
  • Modeling Implicit 4D Volume
    • 主要思想:隐式建模4D空间(加上time的4维空间),通过将一个点投影到6个平面上完成
    • Fridovich:https://openaccess.thecvf.com/content/CVPR2023/papers/Fridovich-Keil_K-Planes_Explicit_Radiance_Fields_in_Space_Time_and_Appearance_CVPR_2023_paper.pdf
      • 主要思想:任意两个维度可以组成一个平面,这样就可以重建整个空间
        MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving,Nerf,Nerf,仿真,自动驾驶

2.2. 本文内容:

  • 之前工作在刚体运动的场景比较复杂了,因为通过刚体运动就可以建立

2.3. 其他内容

  • 4D标注:
    • object pose不准,会导致渲染的时候出现汽车跳动的问题
      • 原因:现有的3D目标检测标注不准
        • 1.单目标注的不具有尺度度量(真实世界尺度)
        • 2.不用来做重建,不考虑帧间的一致性
    • 通过mask(车)做仿真
  • 行人和车辆的交换:现在还没考虑分刚体的行人仿真
  • 没有考虑shadow和weather的变化
  • 物理仿真(物理方程)
  • KITTI 10G显存就行了
  • 在waymo数据上做的:标注框不是很准,但是直行还行,转弯不行
    • nuscenes数据集:camera pose /object pose都不是很准,试验很多次效果不好

到了这里,关于MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • terminate called after throwing an instance of ‘stdbad_alloc‘问题原因与解决

    当做一个QT程序调试如下部分代码时,我想将此处部分代码简化,一开始我是用ui界面读取文件并打印出来,为了查看格式是否正确,所以有了如下代码(可以正常运行). 当我不需要从ui界面输出时,我想修改掉此处代码,于是我进行了如下修改: 运行上述代码,会导致出现错误程序不能运

    2024年02月11日
    浏览(43)
  • opencv error : ... terminate called after throwing an instance of ‘cv::Exception‘解决方法

    OpenCV Error: Assertion failed (0 = _colRange.start _colRange.start = _colRange.end _colRange.end = m.cols) in Mat, file  ....../opencv-3.3.1/modules/core/src/matrix.cpp, line 501 terminate called after throwing an instance of \\\'cv::Exception\\\'   what():  ....../opencv-3.3.1/modules/core/src/matrix.cpp:501: error: (-215) 0 = _colRange.start _colRange.start

    2024年02月05日
    浏览(40)
  • 【已解决】terminate called after throwing an instance of ‘cv::Exception‘,已放弃 (核心已转储)

    这是运行高翔slambook2的代码出现的错误 terminate called after throwing an instance of ‘cv::Exception’ what(): OpenCV(3.4.15) /home/diyu/opencv-3.4.15/modules/imgproc/src/resize.cpp:4051: error: (-215:Assertion failed) !ssize.empty() in function ‘resize’ 已放弃 (核心已转储) 问题原因就在于代码中的文件路径找不到,所

    2024年02月09日
    浏览(59)
  • 【视觉SLAM】An Improved ORB-SLAM2 in Dynamic Scene with Instance Segmentation

    Cite: H. Qian and P. Ding.An Improved ORB-SLAM2 in Dynamic Scene with Instance Segmentation[C].2019 Workshop on Research, Education and Development of Unmanned Aerial Systems (RED UAS).Cranfield, UK. 2019:185-191. Keyword: 特征提取,图像运动分析,图像分割,移动机器人,姿势估计,机器人视觉,SLAM (机器人) 为了提高动态

    2024年02月01日
    浏览(37)
  • Java 21 新特性:Unnamed Classes and Instance Main Methods

    Java 21引入了两个语言核心功能: 未命名的Java类你说 新的启动协议:该协议允许更简单地运行Java类,并且无需太多样板 下面一起来看个例子。通常,我们初学Java的时候,都会写类似下面这样的 Hello World 程序: 对于程序的功能来说,这里有太多的混乱的代码、太多的概念、

    2024年02月08日
    浏览(29)
  • 【论文阅读】SuperFusion: A Versatile Image Registration and Fusion Network with Semantic Awareness

    论文链接:SuperFusion: A Versatile Image Registration and Fusion Network with Semantic Awareness | IEEE Journals Magazine | IEEE Xplore 代码: GitHub - Linfeng-Tang/SuperFusion: This is official Pytorch implementation of \\\"SuperFusion: A Versatile Image Registration and Fusion Network with Semantic Awareness\\\" 图像融合的重要性:由于摄影环境

    2024年03月19日
    浏览(51)
  • 使用“Opencv“时遇到terminate called after throwing an instance of ‘cv::Exception‘问题的解决方案

    再跑SLAM14讲里面的例程的时候发现的问题 例如:在ch8中,执行光流法 optical_flow  : vision@ubuntu:~/slambook/slambook2/ch8/build$ ./optical_flow  出现以下问题: 我们一般都是在build文件夹下进行编译的。导致加载图片的路径出现错误。   主要是cpp文件中图片的路径没有识别到。 string

    2024年01月16日
    浏览(53)
  • logstash问题记录:Attempted to resurrect connection to dead ES instance, but got an error

    发现kibana中日志不在更新了,停留在了一个时间点没有继续更新,然后就去检查各个服务,发现es、logstash、kibana均正常,不过发现es里面没有新日志产生,初步怀疑是logstash没有成功推送过来日志。 1.检查logstash日志,logstahs是java开发的,笔者将日志记录到了nohup.out文件中 检查

    2024年02月11日
    浏览(77)
  • 论文简读《3D Equivariant Diffusion For Target-Aware Molecule Generation and Affinity Prediction》

    Targetdiff ICLR 2023 *一个端到端的框架,用于在蛋白靶点条件下生成分子,该框架明确考虑了蛋白质和分子在三维空间中的物理相互作用。 *就我们所知,这是针对靶向药物设计的第一个概率扩散公式,其中训练和采样过程以非自回归和SE(3)-等变的方式对齐,这得益于移位中心操

    2024年04月28日
    浏览(34)
  • class org.apache.kafka.common.serialization.StringSerializer is not an instance of org.apache.kafka.

    当我们运行一个程序报错 class org.apache.kafka.common.serialization.StringSerializer is not an instance of org.apache.kafka.common.serialization.Deserializer class org.apache.kafka.common.serialization.StringSerializer 不是 org.apache.kafka.common.serialization.Deserializer 的实例 从而无法创建消费者 Failed to construct kafka consumer 将

    2024年02月13日
    浏览(105)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包