SAM 模型真的是强悍到可以“分割一切”了吗?

这篇具有很好参考价值的文章主要介绍了SAM 模型真的是强悍到可以“分割一切”了吗?。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

关注公众号,发现CV技术之美

SAM 模型真的是强悍到可以“分割一切”了吗?

SAM 模型真的是强悍到可以“分割一切”了吗?

上周,Meta AI发布了 Segment Anything Model(SAM)—— 第一个图像分割基础模型。很多计算机视觉从业者惊呼“这下CV真的不存在了,快跑!”。但是SAM 模型真的是强悍到可以“分割一切”了吗?它在哪些场景或任务中还不能较好地驾驭呢?

研究社区已经有一些相关工作对这一问题进行探索,今天向大家介绍一篇昨天刚出的技术报告:SAM Struggles in Concealed Scenes -- Empirical Study on "Segment Anything"。

         SAM 模型真的是强悍到可以“分割一切”了吗?

论文地址:https://arxiv.org/abs/2304.06022

该技术报告选择了在伪装物体分割任务上进行实验验证,发现SAM模型与当前尖端的伪装物体分割模型依旧有很大的差距,并通过对伪装动物、工业缺陷、医疗病灶中多个案例进行可视化分析,得出一些有趣的结论。

在讨论具体实验之前,我们先借助一张图片来了解一下什么是“伪装物体”,如左图和右图中分别隐藏了七只和六只小鸟,你发现了吗?生物学家把这种现象称为背景匹配伪装,用于表示一个或者多个生物为了防止被发现,尝试将其颜色与周围环境“无缝地”匹配,这种现象在自然界很普遍(答案请参见本文末)。

SAM 模型真的是强悍到可以“分割一切”了吗?图1. 背景匹配伪装示例

伪装目标分割任务是检测出那些与自然栖息地中有着相似模式的物体。更多有关“伪装目标分割”的更多信息,大家可以参考2022年刊表于TPMAI期刊中关于伪装目标分割的论文SINetV2 [1]:

◆论文链接:https://ieeexplore.ieee.org/document/9444794

◆中文介绍:https://cg.cs.tsinghua.edu.cn/jittor/news/2021-06-11-00-00-cod/

◆GitHub项目:https://github.com/GewelsJI/SINet-V2

回归正题!该技术报告首先选取了当前伪装目标分割领域中三个常用的数据集合(COD10K [2]、CAMO [3]、NC4K [4]),并与三个基于Transformer的尖端模型(CamoFormer [5]和HitNet [6])作为对比,在9个二值分割指标上面进行了全面的定量评测。

最后,在无提示的情况下测试了基于三种不同ViT骨架的SAM模型,即:ViT-B、ViT-L和ViT-H。该报告发现,具有最高参数量的SAM依旧与尖端性能有很大的差距,例如在CAMO数据集上,增强匹配指标相差25.6个百分比。

SAM 模型真的是强悍到可以“分割一切”了吗?

此外,该报告还对三个常见的隐蔽场景进行了可视化分析。

首先,在自然场景中,可以看出SAM模型分割隐蔽动物具有一定难度。例如,由于前景目标和背景区域之间具有十分相似的形状和颜色,在下图中螳螂蹲在叶子上(第二列图像)、海马位于橙色珊瑚中(最后一列图像),SAM均无法给出准确定位。

此外,那些动物隐藏在背景中也会给SAM模型的识别带来不小的挑战,例如:猫头鹰(第一列)、鹿(第三列)和蜥蜴(第四列)。

SAM 模型真的是强悍到可以“分割一切”了吗?

图2. SAM模型不能很好的感知场景中的伪装动物

其次,在工业场景中SAM依旧无法做到“分割一切”。可以看出,由于工业场景中通常是短焦距下拍摄的近景图像,所以SAM模型更倾向于去分割整个物体或者是物体的主体部分。例如下图中的螺钉和瓶底。

此外,报告还指出SAM模型很难去区分缺陷区域和纹理背景之间的差异性。例如下图中倒数第二列带有划伤的皮革,SAM会直接检测失败。

SAM 模型真的是强悍到可以“分割一切”了吗?

图3. SAM模型针对于工业场景中缺陷区域检出能力较差

最后,作者还观察到SAM模型在处理具有隐蔽模式的医学数据中表现也不如意,例如下图第一列中的结肠息肉与周围肠壁组织具有相似的颜色。其余样本均是来源自三维 MRI和CT扫描影像中的二维灰度切片,虽然SAM可以粗略地分割器官区域,因为器官具有明显的边界,但在识别无定形病变区域(如癌症、血管和肿瘤)中仍存在一定缺陷。

SAM 模型真的是强悍到可以“分割一切”了吗?

图4. SAM模型针对医疗病灶区域的检测能力不足

由此可见,CV并没有消失,大模型还不能解决所有问题,这篇技术报告也算是让视觉研究者们松了口气SAM 模型真的是强悍到可以“分割一切”了吗?

参考文献:

[1] Fan, Deng-Ping, Ge-Peng Ji, Ming-Ming Cheng, and Ling Shao. "Concealed object detection." IEEE Transactions on Pattern Analysis and Machine Intelligence 44, no. 10 (2021): 6024-6042.

[2] Fan, Deng-Ping, Ge-Peng Ji, Guolei Sun, Ming-Ming Cheng, Jianbing Shen, and Ling Shao. "Camouflaged object detection." In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 2777-2787. 2020.

[3] Le, Trung-Nghia, Tam V. Nguyen, Zhongliang Nie, Minh-Triet Tran, and Akihiro Sugimoto. "Anabranch network for camouflaged object segmentation." Computer vision and image understanding 184 (2019): 45-56.

[4] Lv, Yunqiu, Jing Zhang, Yuchao Dai, Aixuan Li, Bowen Liu, Nick Barnes, and Deng-Ping Fan. "Simultaneously localize, segment and rank the camouflaged objects." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 11591-11601. 2021.

[5] Yin, Bowen, Xuying Zhang, Qibin Hou, Bo-Yuan Sun, Deng-Ping Fan, and Luc Van Gool. "CamoFormer: Masked Separable Attention for Camouflaged Object Detection." arXiv preprint arXiv:2212.06570 (2022).

[6] Hu, Xiaobin, Deng-Ping Fan, Xuebin Qin, Hang Dai, Wenqi Ren, Ying Tai, Chengjie Wang, and Ling Shao. "High-resolution Iterative Feedback Network for Camouflaged Object Detection." arXiv preprint arXiv:2203.11624 (2022).

SAM 模型真的是强悍到可以“分割一切”了吗?

图5. 针对图1中所给出的答案,你猜对了吗?

SAM 模型真的是强悍到可以“分割一切”了吗?

END

欢迎加入「目标检测交流群👇备注:Det文章来源地址https://www.toymoban.com/news/detail-460849.html

到了这里,关于SAM 模型真的是强悍到可以“分割一切”了吗?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【图像分割】Meta分割一切(SAM)模型环境配置和使用教程

    注意: python=3.8 , pytorch=1.7, torchvision=0.8 Feel free to ask any question. 遇到问题欢迎评论区讨论. 官方教程: (1)pip: 有可能出现错误,需要配置好Git。 (2)本地安装: 有可能出现错误,需要配置好Git。 (3)手动下载+手动本地安装:  zip文件: 解压后运行:  matplotlib 3.7.1和

    2023年04月12日
    浏览(52)
  • Meta的分割一切模型SAM( Segment Anything )测试

    Meta不久前开源发布了一款图像处理模型,即分割一切模型:Segment Anything Model,简称 SAM,号称要从任意一张图片中分割万物,源码地址为: 打开后看到目录结构大概这样: 一般一个开源项目中都会有项目介绍和示例代码。本示例中的文件 README.md 即为项目概况介绍,主要说明

    2023年04月27日
    浏览(51)
  • 【论文阅读】Segment Anything(SAM)——可分割一切的CV大模型

    【前言】随着ChatGPT席卷自然语言处理,Facebook凭借着Segment Anything在CV圈也算扳回一城。迄今为止,github的star已经超过3万,火的可谓一塌糊涂。作为AI菜鸟,可不得自己爬到巨人肩膀上瞅一瞅~ 论文地址:https://arxiv.org/abs/2304.02643 代码地址:GitHub - facebookresearch/segment-anything: T

    2024年02月15日
    浏览(44)
  • 计算机视觉:比SAM快50倍的分割一切视觉模型FastSAM

    目录 引言 1 FastSAM介绍 1.1 FastSAM诞生 1.2 模型算法 1.3 实验结果 2 FastSAM运行环境构建 2.1 conda环境构建 2.2 运行环境安装 2.3 模型下载 3 FastSAM运行 3.1 命令行运行 3.1.1 Everything mode  3.1.2 Text prompt 3.1.3 Box prompt (xywh) 3.1.4 Points prompt  3.2 通过代码调用 4 总结 MetaAI提出的能够“分割一切

    2024年02月11日
    浏览(46)
  • 【CV大模型SAM(Segment-Anything)】真是太强大了,分割一切的SAM大模型使用方法:可通过不同的提示得到想要的分割目标

    本文主要介绍SAM模型的使用方法:如何使用不同的提示进行目标分割。而且该模型在CPU的环境下就可以快速运行,真心不错~,赶紧来试试吧 关于Segment-Anything模型的 相关代码、论文PDF、预训练模型、使用方法 等,我都已打包好,供需要的小伙伴交流研究, 获取方式如下 : 关

    2023年04月18日
    浏览(47)
  • 【计算机视觉 | 语义分割】OVSeg:分割一切后,SAM又能分辨类别了,Meta/UTAustin提出全新开放类分割模型

    前几日,Meta 推出了「分割一切」AI 模型 Segment Anything,令网友直呼 CV 不存在了?! 而在另一篇被 CVPR 2023 收录的论文中,Meta、UTAustin 联合提出了新的开放语言风格模型(open-vocabulary segmentation, OVSeg),它能让 Segment Anything 模型知道所要分隔的类别。 论文地址: 从效果上来看

    2024年02月12日
    浏览(60)
  • Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

    最近每天打开微信看到10个公众号里面差不多有11个都在各种玩赚chatGPT,每个都在说是各种大好风口,哎,看得眼睛都是累的。 今天下午无意间看到Meta发布了一款号称能分割一切的CV大模型,CV圈也开始卷起来,今年各种大模型要爆发了感觉。 吃瓜群众满怀好奇,点开了解一

    2023年04月10日
    浏览(51)
  • “分割一切”大模型SAM、超轻量PP-MobileSeg、工业质检工具、全景分割方案,PaddleSeg全新版本等你来体验!

    图像分割是计算机视觉的一项基础技术,其目标是将图像中的像素按内容分成不同的类别。它在许多领域有重要应用,比如自动驾驶、工业质检、医疗图像分析、遥感图像解译等。 PaddleSeg 是飞桨高性能图像分割开发套件 ,在图像分割领域做了大量的开源工作,致力于帮助企

    2023年04月19日
    浏览(48)
  • 【计算机视觉】不仅能分割一切简单物体,而且还能高精度分割一切复杂物体的SAM升级版本HQ-SAM来了

    相信很多朋友都对Facebook开源的Segement Anything(SAM)算法有很深的印象,当前SAM已经被开发出众多的热门应用,至今为止,可能已经有很多朋友用它来提升自己的工作与生产效率。 虽然SAM算法效果很好,但是当碰到复杂的图像分割任务时,SAM输出的效果并不能满足我们的需求。

    2024年02月06日
    浏览(62)
  • 【Meta-AI】Sam-分割一切 测试

    ​ 【什么是 SAM】   近日,Meta AI在官网发布了基础模型 Segment Anything Model(SAM)并开源,其本质是用GPT的方式(基于Transform 模型架构)让计算机具备理解了图像里面的一个个“对象”的通用能力。SAM模型建立了一个可以接受文本提示、基于海量数据(603138)训练而获得泛化能力

    2024年02月12日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包