SegmentAnything 模型 (SAM):万物可分割 AI 模型,11亿+掩码数据集可提取

这篇具有很好参考价值的文章主要介绍了SegmentAnything 模型 (SAM):万物可分割 AI 模型,11亿+掩码数据集可提取。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Meta AI 开源万物可分割 AI 模型,11亿+掩码数据集可提取

SAM Demo:https://segment-anything.com/

开源地址:https://github.com/facebookresearch/segment-anything

论文地址:https://ai.facebook.com/research/publications/segment-anything/

SA-1B数据集:https://ai.facebook.com/datasets/segment-anything/

根据 Meta AI 官方博客,Meta AI 宣布推出了一个名为“分割一切模型”(SAM)的 AI 模型,该模型能够根据文本指令等方式实现图像分割,而且万物皆可识别和一键抠图。

图像分割是计算机视觉领域的一项核心任务,在科学图像分析、照片编辑等各类场景中拥有广泛应用。Meta AI 表示,推出 Segment Anything 项目的目的是为了实现分割技术的大众化。除通用 Segment Anything 模型(SAM)之外,他们还发布了 Segment Anything 1-Billion(SA-1B)掩码数据集。作为有史以来体量最大的分割数据集,Segment Anything 能够支持广泛的应用场景,并助力计算机视觉基础模型的进一步研究。

项目演示

在图像中指定要分割的内容的提示,可以实现各种分割任务,而无需额外的训练。

SegmentAnything 模型 (SAM):万物可分割 AI 模型,11亿+掩码数据集可提取

SAM 可以接受来自其他系统的输入提示,例如,根据 AR / VR 头显传来的用户视觉焦点信息,来选择对应的物体。Meta AI 团队通过发展可以理解现实世界的 AI,为未来元宇宙之路铺平道路。

SegmentAnything 模型 (SAM):万物可分割 AI 模型,11亿+掩码数据集可提取

或者,利用来自物体检测器的边界框提示,实现文本到物体的分割。

SegmentAnything 模型 (SAM):万物可分割 AI 模型,11亿+掩码数据集可提取


 

SAM 的工作原理:提示分割

SAM 是一种基础模型,可以使用“提示”技术对新数据集和任务执行零样本和少样本学习。经过训练,SAM 能够根据任何提示返回有效的分割掩码,包括前景 / 背景点、粗框或掩码、自由格式文本等一切能够指示图像内分割内容的信息。即使提示不够明确且可能指代多个对象,输出也应合理有效。Meta AI 团队通过这项任务对模型进行预训练,引导其通过提示解决常规的下游分割任务。

SAM 模型需要在网络浏览器的 CPU 上实时运行,这样标注者才能与 SAM 实时交互并高效进行标注。在工作原理层面,图像编码器会为图像生成一次性嵌入,而轻量级编码器则将所有提示实时转换为嵌入向量。之后,将这两个信息源组合在一个负责预测分割掩码的轻量级解码器内。在计算图像嵌入之后,SAM 能够在 50 毫秒内根据网络浏览器中的任意提示生成相应分割。

SAM 模型遵循了基础模型的思路,包括三个主要方面:简单且可扩展的架构,可以处理多模态提示:文本、关键点、边界框;直观的标注流程,与模型设计紧密相连;一个数据飞轮,允许模型自举到大量未标记的图像。12SAM 模型已经学会了“物体”的一般概念,即使在未知物体、不熟悉的场景(例如水下和显微镜下)以及模糊的案例中也能表现出色。2SAM 模型是 Meta 发布的史上首个图像分割基础模型,将 NLP 领域的 prompt 范式引进 CV,让模型可以通过 prompt 一键抠图。

此外,SAM 还能够泛化到新任务和新领域,从业者并不需要自己微调模型了。最强大的是,Meta 实现了一个完全不同的 CV 范式,你可以在一个统一框架 prompt encoder 内,指定一个点、一个边界框、一句话,直接一键分割出物体。

对此,腾讯 AI 算法专家金天表示,「NLP 领域的 prompt 范式,已经开始延展到 CV 领域了。而这一次,可能彻底改变 CV 传统的预测思路。这一下你可以真的可以用一个模型,来分割任意物体,并且是动态的!」 英伟达 AI 科学家 Jim Fan 对此更是赞叹道:我们已经来到了计算机视觉领域的「GPT-3 时刻」!文章来源地址https://www.toymoban.com/news/detail-481168.html

到了这里,关于SegmentAnything 模型 (SAM):万物可分割 AI 模型,11亿+掩码数据集可提取的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Segment Anything论文翻译,SAM模型,SAM论文,SAM论文翻译;一个用于图像分割的新任务、模型和数据集;SA-1B数据集

    论文链接: https://arxiv.org/pdf/2304.02643.pdf https://ai.facebook.com/research/publications/segment-anything/ 代码连接:https://github.com/facebookresearch/segment-anything 论文翻译: http://t.csdn.cn/nnqs8 https://blog.csdn.net/leiduifan6944/article/details/130080159 本文提出Segment Anything (SA)项目:一个用于图像分割的新任务

    2023年04月19日
    浏览(46)
  • Meta AI最新出品,全能的分割模型SAM:掀桌子的Segment Anything,CV届的ChatGPT已经到来!

    本来不打算再发关于分割的相关内容的,但是13小时前,2023年4月5号,Meta AI在Arxiv网站发布了文章《Segment Anything》,并将SAM模型代码和数据开源。作为通用的分割网络,SAM或许将成为,甚至是已经成为了CV届的ChatGPT。简简单单的两个词Segment Anything,简单粗暴却不失优雅。 说

    2023年04月15日
    浏览(48)
  • 老师,不干了,被偷家了,SAM分割任何事物模型,0样本分割了我研究一个月的数据

    点击订阅专栏 查看专栏列表和对应知识点,本文为seg SAM系列文章,在持续更新。

    2023年04月20日
    浏览(29)
  • [医学分割大模型系列] (3) SAM-Med3D 分割大模型详解

    论文地址:SAM-Med3D 开源地址:https://github.com/uni-medical/SAM-Med3D 发表日期:2023年10月 参考资料: 王皓宇(上海交通大学)SAM-Med3D基于SAM构建3D医学影像通用分割模型 SAM-Med3D:三维医学图像上的通用分割模型,医疗版三维 SAM 开源了! SAM-Med3D (SJTU 2024) 通用分割能力:在各种3D目

    2024年04月25日
    浏览(28)
  • 语义分割大模型SAM论文阅读(二)

    Segment Anything SAM 我们介绍了分割一切(SA)项目:一个新的图像分割任务,模型和数据集。在数据收集循环中使用我们的高效模型,我们建立了迄今为止(到目前为止)最大的分割数据集,在1100万张许可和尊重隐私的图像上拥有超过10亿个掩模。 该模型被设计和训练为提示 ,因此它

    2024年02月13日
    浏览(43)
  • 【图像分割】Meta分割一切(SAM)模型环境配置和使用教程

    注意: python=3.8 , pytorch=1.7, torchvision=0.8 Feel free to ask any question. 遇到问题欢迎评论区讨论. 官方教程: (1)pip: 有可能出现错误,需要配置好Git。 (2)本地安装: 有可能出现错误,需要配置好Git。 (3)手动下载+手动本地安装:  zip文件: 解压后运行:  matplotlib 3.7.1和

    2023年04月12日
    浏览(47)
  • 【Meta-AI】Sam-分割一切 测试

    ​ 【什么是 SAM】   近日,Meta AI在官网发布了基础模型 Segment Anything Model(SAM)并开源,其本质是用GPT的方式(基于Transform 模型架构)让计算机具备理解了图像里面的一个个“对象”的通用能力。SAM模型建立了一个可以接受文本提示、基于海量数据(603138)训练而获得泛化能力

    2024年02月12日
    浏览(37)
  • SAM 模型真的是强悍到可以“分割一切”了吗?

    关注公众号,发现CV技术之美 上周,Meta AI发布了 Segment Anything Model(SAM)—— 第一个图像分割基础模型。很多计算机视觉从业者惊呼“这下CV真的不存在了,快跑!”。但是SAM 模型真的是强悍到可以“分割一切”了吗?它在哪些场景或任务中还不能较好地驾驭呢? 研究社区

    2024年02月06日
    浏览(51)
  • 【CV大模型SAM(Segment-Anything)】真是太强大了,分割一切的SAM大模型使用方法:可通过不同的提示得到想要的分割目标

    本文主要介绍SAM模型的使用方法:如何使用不同的提示进行目标分割。而且该模型在CPU的环境下就可以快速运行,真心不错~,赶紧来试试吧 关于Segment-Anything模型的 相关代码、论文PDF、预训练模型、使用方法 等,我都已打包好,供需要的小伙伴交流研究, 获取方式如下 : 关

    2023年04月18日
    浏览(40)
  • 【Python&语义分割】Segment Anything(SAM)模型全局语义分割代码+掩膜保存(二)

    我上篇博文分享了Segment Anything(SAM)模型的基本操作,这篇给大家分享下官方的整张图片的语义分割代码(全局),同时我还修改了一部分支持掩膜和叠加影像的保存。 1.1 概况         Meta AI 公司的 Segment Anything 模型是一项革命性的技术,该模型能够根据文本指令或图像

    2024年02月03日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包