Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

这篇具有很好参考价值的文章主要介绍了Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

最近每天打开微信看到10个公众号里面差不多有11个都在各种玩赚chatGPT,每个都在说是各种大好风口,哎,看得眼睛都是累的。

今天下午无意间看到Meta发布了一款号称能分割一切的CV大模型,CV圈也开始卷起来,今年各种大模型要爆发了感觉。

吃瓜群众满怀好奇,点开了解一下。

官方论文在这里,感兴趣可以自行阅读。

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

 官方同时也开源了项目,地址在这里,如下所示:

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

 可以看到:才开源了一天的时间就已经有6k的star量了,后续增长感觉会更猛的!

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

官方也给出来了数据集地址,在这里,如下所示:

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

 有需要的话可以自行下载使用即可。

当然了这么精彩的技术自然不会少的了技术博客的介绍,官方的技术博客在这里。

为了能让大家第一时间上手体验,这里官方也是开放出来了Demo地址,在这里,如下所示:

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

 上传一张我本地的图片,用的就是上一篇博客摔倒检测的数据集,如下:

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

 我添加了一个box,瞬间就给我分割出来了,如下:

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

 随着光标的移动,模型给出来的响应也是很快的:

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

 甚至还可以一键cutout所有的子对象如下:

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

 很强大了已经。

官方这里也提供了很多实例图片,简单看下:

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

 选择小狗试试吧:

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

添加box对指定区域直接分割:

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

 再来一张:

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

 效果如下:

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

 指定区域分割:

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

 最后再来试一下:

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

 效果如下:

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

 感兴趣的话都可以自己玩玩体验一下。

当然了如果想要自己安装使用也是可以的,官方同样给了安装说明如下:

先安装一些基础依赖
pip install opencv-python pycocotools matplotlib onnxruntime onnx


安装SAM
方法一:
pip install git+https://github.com/facebookresearch/segment-anything.git

方法二:
git clone git@github.com:facebookresearch/segment-anything.git
cd segment-anything; pip install -e .

 模型库在这里,需要的自行下载即可。

使用方法也很简单如下:

#from a given prompt:
from segment_anything import build_sam, SamPredictor 
predictor = SamPredictor(build_sam(checkpoint="</path/to/model.pth>"))
predictor.set_image(<your_image>)
masks, _, _ = predictor.predict(<input_prompts>)

或者也可以如下使用:

#generate masks for an entire image:
from segment_anything import build_sam, SamAutomaticMaskGenerator
mask_generator = SamAutomaticMaskGenerator(build_sam(checkpoint="</path/to/model.pth>"))
masks = mask_generator_generate(<your_image>)

当然了,mask也可以通过命令行生成,如下:

python scripts/amg.py --checkpoint <path/to/sam/checkpoint> --input <image_or_folder> --output <output_directory>

关于两种不同的调用计算方式,官方也都给出来了详细的demo样例如下:

predictor_example

automatic_mask_generator_example

想要导出onnx格式的话也是可以的,如下:

python scripts/export_onnx_model.py --checkpoint <path/to/checkpoint> --output <path/to/output>

这里一共提供了H、L、B三种不同size的模型,如下:

ViT-H SAM model
ViT-L SAM model
ViT-B SAM model

 三种不同模型体积如下:

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

 可以根据自己的兴趣自由使用即可。

今天就简单到这里了,后面找时间在仔细看看吧!文章来源地址https://www.toymoban.com/news/detail-409071.html

到了这里,关于Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【多模态】12、Segment Anything | Meta 推出超强悍可分割一切的模型 SAM

    论文:Segment Anything 官网:https://segment-anything.com/ 代码:https://github.com/facebookresearch/segment-anything 出处:Meta、FAIR 时间:2023.04.05 贡献点: 首次提出基于提示的分割任务,并开源了可以分割一切的模型 SAM 开源了一个包含 1100 万张图像(约包含 10 亿 masks)的数据集 SA-1B,是目前

    2024年02月17日
    浏览(48)
  • 【AIGC】6、Segment Anything | Meta 推出超强悍可分割一切的模型 SAM

    论文:Segment Anything 官网:https://segment-anything.com/ 代码:https://github.com/facebookresearch/segment-anything 出处:Meta、FAIR 时间:2023.04.05 贡献点: 首次提出基于提示的分割任务,并开源了可以分割一切的模型 SAM 开源了一个包含 1100 万张图像(约包含 10 亿 masks)的数据集 SA-1B,是目前

    2023年04月23日
    浏览(58)
  • 【多模态】14、Segment Anything | Meta 推出超强悍可分割一切的模型 SAM

    论文:Segment Anything 官网:https://segment-anything.com/ 代码:https://github.com/facebookresearch/segment-anything 出处:Meta、FAIR 时间:2023.04.05 贡献点: 首次提出基于提示的分割任务,并开源了可以分割一切的模型 SAM 开源了一个包含 1100 万张图像(约包含 10 亿 masks)的数据集 SA-1B,是目前

    2024年02月16日
    浏览(45)
  • 【计算机视觉 | 目标检测 | 图像分割】Grounded Segment Anything:Grounding DINO + Segment Anything Model (SAM)介绍

    集成SAM,可以通过文本提示做检测/分割等任务。 我们计划通过结合 Grounding DINO 和 Segment Anything 来创建一个非常有趣的演示,旨在通过文本输入检测和分割任何内容! 并且我们会在此基础上不断完善它,创造出更多有趣的demo。 我们非常愿意帮助大家分享和推广基于Segment-A

    2024年02月04日
    浏览(46)
  • 【CV大模型SAM(Segment-Anything)】真是太强大了,分割一切的SAM大模型使用方法:可通过不同的提示得到想要的分割目标

    本文主要介绍SAM模型的使用方法:如何使用不同的提示进行目标分割。而且该模型在CPU的环境下就可以快速运行,真心不错~,赶紧来试试吧 关于Segment-Anything模型的 相关代码、论文PDF、预训练模型、使用方法 等,我都已打包好,供需要的小伙伴交流研究, 获取方式如下 : 关

    2023年04月18日
    浏览(40)
  • 【计算机视觉 | 目标检测 | 图像分割】Grounding DINO + Segment Anything Model (SAM)源代码分享(含源代码)

    在本教程中,我们将学习如何使用两个突破性的模型自动注释图像 - Grounding DINO 和 Segment Anything Model (SAM)。 然后,我们可以使用此数据集来训练实时对象检测或实例分割模型。 以传统方式使用多边形对图像进行注释极其耗时且昂贵。 借助 Grounding DINO 和 SAM,初始注释仅需几分

    2024年04月15日
    浏览(157)
  • SAM(segment anything model)本地部署复现

    源码位置:https://github.com/facebookresearch/segment-anything 或者 直接下载,解压到当前文件夹,并把解压出的文件夹名字改成segment-anything 1、进入segment-anything文件夹 2、安装 3、安装其他依赖 4、下载模型文件到segment-anything文件夹内 default or vit_h: vit_l: vit_b: 5、下载数据集 或者用自己

    2024年02月11日
    浏览(44)
  • 【模型解读】【代码复现】Segment Anything Model(SAM)

    Segment Anything Model论文 Segment Anything Model官网 Segment Anything Model官网demo网页端 Segment Anything Model模型源码 SAM应用:生成包含语义信息的遥感图像分割结果 We introduce the Segment Anything (SA) project: a new task, model, and dataset for image segmentation. Using our efficient model in a data collection loop, we bu

    2024年02月08日
    浏览(37)
  • Segment Anything Model(SAM)模型解读及代码复现

    Segment Anything Model论文 Segment Anything Model官网 Segment Anything Model官网demo网页端 Segment Anything Model模型源码 SAM应用:生成包含语义信息的遥感图像分割结果 We introduce the Segment Anything (SA) project: a new task, model, and dataset for image segmentation. Using our efficient model in a data collection loop, we bu

    2024年02月06日
    浏览(45)
  • Meta AI Segment Anything Model (SAM)初体验

    最近Meta AI发布了Segment Anything模型,可以直接分割任何图片。我趁热乎体验了一下。 打开Segment Anything官网https://segment-anything.com/: 点击Try the demo,在弹出的对话框中勾选“I have read…”,进入上传界面: 点击“Upload an image”,上传自己的图片: 我上传的图片大小是5.14MB,提

    2024年02月05日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包