使用SAM进行遥感图像语义分割

这篇具有很好参考价值的文章主要介绍了使用SAM进行遥感图像语义分割。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Scaling-up Remote Sensing Segmentation Dataset with Segment Anything Model论文阅读

Abstract

The success of the Segment Anything Model (SAM) demonstrates the significance of data-centric machine learning. However, due to the difficulties and high costs associated with annotating Remote Sensing (RS) images, a large amount of valuable RS data remains unlabeled, particularly at the pixel level. In this study, we leverage SAM and existing RS object detection datasets to develop an efficient pipeline for generating a large-scale RS segmentation dataset, dubbed SAMRS. SAMRS surpasses existing highresolution RS segmentation datasets in size by several orders of magnitude, and provides object category, location, and instance information that can be used for semantic segmentation, instance segmentation, and object detection, either individually or in combination. We also provide a comprehensive analysis of SAMRS from various aspects. We hope it could facilitate research in RS segmentation, particularly in large model pre-training. The code and dataset will be available at SAMRS1.

摘要

SAM（Segment Anything Model）的成功表明了以数据为中心的机器学习的重要性。然而，由于遥感（RS）图像注释的困难和高成本，大量有价值的RS数据仍然没有被标记，特别是在像素级。在这项研究中，我们利用SAM和现有的RS物体检测数据集，开发了一个高效的管道来生成大规模的RS分割数据集，称为SAMRS。SAMRS在规模上超过了现有的高分辨率RS分割数据集几个数量级，并提供了物体类别、位置和实例信息，可用于语义分割、实例分割和物体检测，无论是单独还是组合。我们还从各方面对SAMRS进行了全面的分析。我们希望它能促进RS分割的研究，特别是大型模型的预训练。代码和数据集将在SAMRS1上提供（暂时并未公布）。

SAM优缺点

使用SAM进行遥感图像语义分割,论文阅读,论文阅读,深度学习,人工智能

优点

SAM可以准确地捕捉物体的位置和轮廓(即以掩模的形式)，从而区分前景中的各种物体和背景
SAM具有令人印象深刻的zero-shot分割能力，即使应用于特殊场景，如显微镜拍摄的细胞图像和医学图像，也表现出高性能
即使使用感知不同波段(如红外和微波)或不同分辨率(如机载或卫星图像)的传感器获得图像，SAM也能很好地识别遥感图像中的不同目标

缺点

并不能检测全部区域
掩码中并不包含类别信息，SAM只是做分割，而不是语义分割

作者动机

Prompt设置

使用SAM进行遥感图像语义分割,论文阅读,论文阅读,深度学习,人工智能

框标记（box prompt）
由于RSI是从头顶角度捕获的，因此其中的对象可以具有任意方向，而不像自然图像对象通常由于重力而向上定向。因此，除了通常的水平边界框(H-Box)外，我们还考虑定向边界框或旋转边界框(R-Box)作为框提示。但是，SAM不直接支持R-Box提示。为了解决这个问题，我们使用R-Box的最小限定水平矩形，表示为RH-Box。
点标记（point prompt）
由于各种RS对象(如飞机)的形状复杂，我们采取了谨慎的方法，只考虑中心点作为前景
掩码标记（mask prompt）
我们将对应框包围的区域定义为掩码提示符
目标检测中的标记框分为水平边界框(H-Box)和定向边界框或旋转边界框(R-Box)，因此对应框内的掩码标记也包含两种
使用SAM进行遥感图像语义分割,论文阅读,论文阅读,深度学习,人工智能