ISBNet: a 3D Point Cloud Instance Segmentation Network with Instance-aware Sampling 阅读

这篇具有很好参考价值的文章主要介绍了ISBNet: a 3D Point Cloud Instance Segmentation Network with Instance-aware Sampling 阅读。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ISBNet:

isbnet,深度学习,人工智能

 

目前scannet数据集三维实例分割第一

  • isbnet,深度学习,人工智能

这里有一个疑虑就是语义分割的做法如果转移到实例分割会导致的结果和区别需要回头去理解一下

三个贡献,创新点:

1,isbnet的网络无集群范式,利用实例感知的最远距离采样(IA-FPS)和聚合器(aggregation)生成特征

2,提出box-aware动态卷积来解码二进制掩码

3,取得最佳性能

上面是与其他网路进行对比

  • isbnet,深度学习,人工智能

Instance-aware FPS:

关于实例感知召回率跟原先的FPS相比,以及聚类的召回率

  • isbnet,深度学习,人工智能

这样做的原因有三:

1,FPS对K个采样候选中属于背景的类别会比较多

2,大对象往往占据主要计算资源

3,逐点特征无法捕捉上线文来创建实例内核

受pointnet++启发指定我们的实例编码器,其中包含一系列点聚合器(PA)块,其组件是实例感知FPS (IA-FPS),以采样覆盖尽可能多的前景对象的候选点,以及一个局部聚合层来捕获局部上下文。

大于背景过滤的阈值才进行处理的实例感知(0.1)

  • isbnet,深度学习,人工智能
  • isbnet,深度学习,人工智能

Local Aggregation Layer:

使用局部聚合对局部上下文进行编码转换为实例特征

采用球查询搜集局部Q个点,计算相对坐标并用邻域半径进行归一化形成局部坐标,之后通过MLP将实例特征与局部坐标转换为实例特征,添加一个残差连接防止梯度消失。为了获得实例特征 E,我们不是使用单个 PA 块,而是提出了一种渐进式方式,依次应用多个 PA 块,以增加感受野。

  • isbnet,深度学习,人工智能
  • isbnet,深度学习,人工智能

Box-aware Dynamic Convolution:

认为只使用掩码特征以及位置是次优的,当只使用3D中的掩码特征和位置时,类相同的边界附近的点彼此无法区分。

另一方面通过3D边界框描绘了对象的形状和大小,为实例分割的预测提供了重要几何线索,因此使用边界框预测来作为正则化实例分割的辅助任务

如果两个点的预测框相似,则它们将属于同一个对象。

  • isbnet,深度学习,人工智能

几何特征 F(k)geo ∈ RN ×6 可以从第 k 个实例候选者预测的边界框的绝对差和输入点云中的 N 个点计算

  • isbnet,深度学习,人工智能

loss:

采用逐点损失和实例损失。

逐点损失发生在逐点预测,是语义分割的交叉熵损失,用于边界框回归的L1损失和GioU损失。

实例损失用于预测产生,分类,边界框预测和掩码预测,Cmask是两个掩码之间的dice损失

  • isbnet,深度学习,人工智能

实例损失是ground-truth掩码及其匹配的预测掩码之间的损失,定义如下:

  • isbnet,深度学习,人工智能

其中Lcls是交叉熵损失,Lmask是dice损失和BCE损失的组合,Lbox是L1损失和gIoU损失的组合,LMS是Mask-Scoring损失

main results:

在ScannetV2三维实例分割方面优于其他网络

  • isbnet,深度学习,人工智能

以及消融实验结果

  • isbnet,深度学习,人工智能

结论,待优化部分:

实例感知 FPS 不能保证覆盖所有实例,因为它依赖于当前实例预测来为点采样做出决策。提出的轴对齐边界框可能不太适合复杂实例的形状。通过利用对象的几何结构(例如它们的形状和大小)来改进动态卷积的新研究将是一个有趣的研究课题。

当前文档37条主题 共913字文章来源地址https://www.toymoban.com/news/detail-761532.html

到了这里,关于ISBNet: a 3D Point Cloud Instance Segmentation Network with Instance-aware Sampling 阅读的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • OSFormer: One-Stage Camouflaged Instance Segmentation with Transformers

    地址:https://arxiv.org/pdf/2207.02255.pdf 1. 摘要     OSFormer为基于transformer的伪装实例分割(CIS)框架,有两个关键设计,首先是位置敏感transformer(LST),通过【位置引导查询】和【混合卷积前向传播网络】获得定位标签和实例级参数;第二,开发粗糙到精细融合模块(CFF)合并来

    2024年02月12日
    浏览(60)
  • 论文阅读《Hierarchical Aggregation for 3D Instance Segmentation》

    Hierarchical Aggregation for 3D Instance Segmentation是一个用于实例分割的方法,他主要利用了点以及点集之间的空间关系,以此进行实例分割。大概步骤如下: 首先进行低带宽点汇集得到初步的实例以避免过度分割 之后进行动态带宽集合汇集以得到完整的实例 引入实例内网络进行去

    2024年02月04日
    浏览(50)
  • 弱监督实例分割 Box-supervised Instance Segmentation with Level Set Evolution 论文笔记

    写在前面   这是一篇基于 Box 的弱监督实例分割文章,之前也分享过几篇(主页有,欢迎关注一下呗~),采用旧纸堆里面翻出来的能量函数来做弱监督。 论文地址:Box-supervised Instance Segmentation with Level Set Evolution 代码地址:https://github.com/LiWentomng/boxlevelset 收录于:ECCV 202

    2023年04月18日
    浏览(50)
  • 【视觉SLAM】An Improved ORB-SLAM2 in Dynamic Scene with Instance Segmentation

    Cite: H. Qian and P. Ding.An Improved ORB-SLAM2 in Dynamic Scene with Instance Segmentation[C].2019 Workshop on Research, Education and Development of Unmanned Aerial Systems (RED UAS).Cranfield, UK. 2019:185-191. Keyword: 特征提取,图像运动分析,图像分割,移动机器人,姿势估计,机器人视觉,SLAM (机器人) 为了提高动态

    2024年02月01日
    浏览(37)
  • PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation

    论文下载地址:https://arxiv.org/abs/1612.00593 代码开源地址:https://github.com/charlesq34/pointnet 作者以及论文信息如下: 论文作者的公开课链接 :https://www.shenlanxueyuan.com/channel/8hQkB6hqr2/detail(大佬的课必须去感受下啊~~) 最近,开始研究基于3D点云的深度学习算法。 PointNet 作为基于

    2023年04月15日
    浏览(39)
  • 3D点云(3D point cloud)及PointNet、PointNet++

    https://www.youtube.com/watch?v=Ew24Rac8eYE 传统图像数据是2维的 3D点云是3维的,可以表达更多信息 比如对化工厂进行违章识别、安全隐患的识别 城市管理 点云分割 点云补全 点云生成 点云物体检测(3D物体检测) 点云配准(后续任务的基础) 一般点云数据都是基于激光雷达扫描生

    2024年02月02日
    浏览(43)
  • MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving

    MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving(基于神经辐射场的自动驾驶仿真器) https://github.com/OPEN-AIR-SUN/mars https://arxiv.org/pdf/2307.15058.pdf https://mp.weixin.qq.com/s/6Ion_DZGJwzs8JOoWMMbPw 逼真的传感器仿真解决剩余corner case 3个工作 1.实例意识。作者的仿真器用独立的网

    2024年02月08日
    浏览(40)
  • 论文阅读:Offboard 3D Object Detection from Point Cloud Sequences

    目录 概要 Motivation 整体架构流程 技术细节 3D Auto Labeling Pipeline The static object auto labeling model The dynamic object auto labeling model 小结 论文地址: [2103.05073] Offboard 3D Object Detection from Point Cloud Sequences (arxiv.org)     该论文提出了一种利用点云序列数据进行离线三维物体检测的方法,称

    2024年02月06日
    浏览(47)
  • (CVPR 2018) 3D Semantic Segmentation with Submanifold Sparse Convolutional Networks

    卷积网络是分析图像、视频和3D形状等时空数据的事实标准。虽然其中一些数据自然密集(例如照片),但许多其他数据源本质上是稀疏的。示例包括使用LiDAR扫描仪或RGB-D相机获得的3D点云。当应用于此类稀疏数据时,卷积网络的标准“密集”实现非常低效。我们引入了新的

    2023年04月08日
    浏览(49)
  • [点云配准]LCD(2D-3D特征配准算法)例程align_point_cloud.py解析

    跨域描述符LCD可以实现二维图片特征点到三维点云特征点的配准,是个具有通用性的深度学习特征描述子。(图片来源于论文 LCD: Learned Cross-Domain Descriptors for 2D-3D Matching ) 在Github开源的源码里面给出了利用LCD进行 三维点云配准 的例程。align_point_cloud.py,这里对例程如何使用

    2024年02月08日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包