引言
- 论文：Segment Anything是Meta出的图像语义分割的算法。这个算法因其强大的zero-shot泛化能力让人惊艳，这不抽空拿来学习了一下。
- 该算法的代码写得很清楚、简洁和规范，读来让人赏心悦目。推荐去看源码，很有意思。
- 本篇文章，将以问答形式来解读阅读过程中遇到的困惑，想来这种方式效率更高一些。
- PDF | Code
整体结构介绍
- 整体分为三大部分：image encoder、prompt encoder和mask decoder。下图看的更加清楚一些，也是来自论文。
论文问答
代码仓库中，模型哪部分转换为了ONNX格式？以及如何转的？
-
mask_decoder部分做了转onnx格式
-
直接采用torch.onnx.export函数接口转的。因为没有采用transformer函数库，因为转换较为简单。
-
先基于torch构建整个部分模型，构建模型输入。
-
调用torch.onnx.export函数来转换
-
Mask decoder部分 Transformer decoder block?
-
该部分采用的动态mask预测头。
-
在两个方向上（prompt-to-image embedding 和相反的）使用了prompt self-attention和cross-attention来达到更新所有embedding的目的。
如何整合image_embedding，image_pe, sparse_prompt_embedding和dense_prompt_embedding的？
- 通过mask decoder这一部分来做的。采用的是修改过的Transformer decoder block.
points, boxes, text和masks四种类型prompt如何嵌入到网络中？
-
points, boxes, text在论文中称为sparse prompt。masks类型被称为dense prompt
-
points和boxes 是以positional encodings（位置编码）和每个提示类型的学习嵌入来表示的。
-
text是来自CLIP的text encoder表示的。从demo中并没有看到text输入的prompt， 从issue #93中验证了这点文章来源：https://www.toymoban.com/news/detail-533997.html
-
mask是使用卷积嵌入，并与图像embedding逐元素求和文章来源地址https://www.toymoban.com/news/detail-533997.html
什么样的任务具有zero-shot泛化能力？
- 模型以promptable的方式训练得到，因此具备zero-shot的泛化能力
到了这里，关于论文阅读：Segment Anything之阅读笔记的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![[自注意力神经网络]Segment Anything(SAM)论文阅读](https://imgs.yssmx.com/Uploads/2024/02/423006-1.png)
