【图像分割】卫星遥感影像道路分割:D-LinkNet算法解读

这篇具有很好参考价值的文章主要介绍了【图像分割】卫星遥感影像道路分割:D-LinkNet算法解读。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

因为毕设中的部分内容涉及到卫星遥感影像道路分割,因此去对相关算法做了一些调研。
本文所使用数据集为DeepGlobe,来自于CVPR2018年的一个挑战赛:DeepGlobe Road Extraction Challenge。
D-LinkNet为该挑战赛的冠军算法。

考虑到D-LinkNet开发版本较老(Python 2.7、Pytorch 0.2.0),我对此项目进行了重构,具体工作如下:

  • 修改相关Python2语法,以满足Python3.8开发环境
  • 移除多卡训练部分(DataParallel),以便让代码变得更加清晰易读
  • 增加模型验证函数(eval.py),增加mIou指标以评估模型效果
  • 增加新算法NL-LinkNet,并提供相关训练结果

目前该仓库支持下列分割算法:

  • UNet
  • D-UNet
  • LinkNet
  • D-LinkNet
  • NL-LinkNet

项目地址:https://github.com/zstar1003/Road-Extraction

DeepGlobe数据集简介

DeepGlobe数据集下载地址:https://pan.baidu.com/s/1chOnMUIzcKUzQr1LpuJohw?pwd=8888

该数据集包含6226张训练图片,每张图片尺寸为1024×1024,图像分辨率为0.5米/像素

数据预览:
d-linknet,图像分割,算法,计算机视觉,深度学习

D-LinkNet网络结构

图像分割在卫星遥感道路分割领域大致有以下一系列算法,算法发布时间线如下:
FCN(2015)->UNet(2015) -> LinkNet(2017)->D-LinkNet(2018)->NL-LinkNet(2019)->…

D-LinkNet的网络结构如下图所示:

d-linknet,图像分割,算法,计算机视觉,深度学习

这个网络整体结构和UNet比较类似,主要在此架构中加了一些小改进,如残差块、空洞卷积等。改进提升比较明显的是该算法引入了TTA(Test Time Augmentation)策略,即测试时加强,后面将对此进行详解。

修改模型结构层名

由于我移除了DataParallel多卡并行训练的结构,直接加载官方提供的模型会报错:

RuntimeError: Error(s) in loading state_dict for DinkNet34:
Missing key(s) in state_dict: “firstconv.weight”, “firstbn.weight”, “firstbn.bias”,
Unexpected key(s) in state_dict: “module.firstconv.weight”, “module.firstbn.weight”, “module.firstbn.bias”

这是由于模型结构层名不一致,模型文件中包含的层名多了module.,因此写了个脚本进行转换utils/turn_model.py

import collections
import torch

if __name__ == '__main__':
    path = '../weights/log01_dink34.th'
    model = torch.load(path)
    new_model = collections.OrderedDict([(k[7:], v) if k[:7] == 'module.' else (k, v) for k, v in model.items()])
    torch.save(new_model, "../weights/dlinknet.pt")

TTA策略

TTA的思想就是在测试时使用数据增强,比如一张图片直接进行分割,得到的效果可能有限,那么将这副图片进行旋转、翻转等数据增强方式,进行分割,最后将所有分割结果进行叠加。

下面来按程序运行逻辑的顺序进行分析:

首先,程序加载完一张图片后,img是原图,img90是将图像逆时针旋转90度,相关代码:

def segment(self, path):
    img = cv2.imread(path)
    img = cv2.resize(img, resize_settings)  # Shape:(1024, 1024, 3)
    img90 = np.array(np.rot90(img))  # Shape:(1024, 1024, 3)
    img1 = np.concatenate([img[None, ...], img90[None, ...]])  # Shape:(2, 1024, 1024, 3) img[None]:增加第一个位置维度

img1是将这两张图片拼接起来,下面直观进行显示查看:

  • show_img(img1[0], img1[1])
    d-linknet,图像分割,算法,计算机视觉,深度学习

之后,构建了一个img2,在img1的第二个维度进行逆序,实现垂直翻转

img2 = np.array(img1)[:, ::-1]  # 垂直翻转

直观显示:

  • show_img(img2[0], img2[1])
    d-linknet,图像分割,算法,计算机视觉,深度学习
    img3同理,在img1的第三个维度进行逆序,实现水平翻转
img3 = np.array(img1)[:, :, ::-1]  # 水平翻转

直观显示:

  • show_img(img3[0], img3[1])
    d-linknet,图像分割,算法,计算机视觉,深度学习

img4是对img2的实现水平翻转,等价于对img1进行水平和垂直翻转

img4 = np.array(img2)[:, :, ::-1]  # 垂直翻转+水平翻转

直观显示:

  • show_img(img4[0], img4[1])
    d-linknet,图像分割,算法,计算机视觉,深度学习

后面就是对每一个部分进行推理,然后最后返回的mask2是叠加后的结果,maska[0]是原始图像的推理结果

maska = self.net.forward(img1).squeeze().cpu().data.numpy()  # img1:Shape:(2, 1, 1024, 1024) -> (2, 1024, 1024)
maskb = self.net.forward(img2).squeeze().cpu().data.numpy()
maskc = self.net.forward(img3).squeeze().cpu().data.numpy()
maskd = self.net.forward(img4).squeeze().cpu().data.numpy()

mask1 = maska + maskb[:, ::-1] + maskc[:, :, ::-1] + maskd[:, ::-1, ::-1]
mask2 = mask1[0] + np.rot90(mask1[1])[::-1, ::-1]

直观进行比较,左侧是原图推理,右侧是TTA后的推理结果:

  • show_img(maska[0], mask2)
    d-linknet,图像分割,算法,计算机视觉,深度学习
    可以看到,使用TTA的效果还是挺明显的。

NL-LinkNet

2019年,NL-LinkNet被提出,据称,它在DeepGlobe数据集上mIOU高于D-LinkNet.
相关仓库:https://github.com/yswang1717/NLLinkNet

d-linknet,图像分割,算法,计算机视觉,深度学习

由于仓库作者提供的模型推理效果很差(可能作者传错了文件),我又在自己的RTX2060上训练了128epoch(实际设置200个epoch,128个epoch之后模型收敛早停)。模型训练起来还是比较慢的,耗费时间约57小时,具体日志信息可参看logs

下面是两个模型对同一幅图片的分割结果比较:
d-linknet,图像分割,算法,计算机视觉,深度学习
可以看到,NL-LinkNet分割结果更加顺滑一些。文章来源地址https://www.toymoban.com/news/detail-567903.html

到了这里,关于【图像分割】卫星遥感影像道路分割:D-LinkNet算法解读的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • PyTorch深度学习遥感影像地物分类与目标检测、分割及遥感影像问题深度学习优化实践技术应用

    我国高分辨率对地观测系统重大专项已全面启动,高空间、高光谱、高时间分辨率和宽地面覆盖于一体的全球天空地一体化立体对地观测网逐步形成,将成为保障国家安全的基础性和战略性资源。未来10年全球每天获取的观测数据将超过10PB,遥感大数据时代已然来临。随着小

    2024年02月10日
    浏览(61)
  • Google earth engine 基于面向对象遥感影像分割 SNIC分割算法

    摘要被导师嫌弃N+1次,又摘要阴影了,懒得写摘要,这篇主要是在GEE上基于面向对象以Sentinel-2数据做的无监督分类算法示例,嗯呢,就是这样,您接着往下看有没有你需要的。 文章目录 一、Google earth engine简介 二、面向对象遥感影像分析方法 三、SNIC分割算法 四、总结    

    2024年01月17日
    浏览(43)
  • 全球各类卫星遥感图像的下载方法汇总

      本文对目前主要的 遥感影像数据 获取网站加以整理与介绍。 目录 1 遥感影像数据 1.1 综合遥感数据 1.1.1 USGS EarthExplore 1.1.2 LAADS DAAC 1.1.3 Copernicus Open Access Hub 1.1.4 GloVis 1.1.5 地理空间数据云 1.2 雷达遥感数据 1.2.1 ASF DAAC 1.3 夜光遥感数据 1.3.1 NOAA EOG 1.3.2 珞珈一号 1.4 海洋卫星

    2024年02月03日
    浏览(151)
  • 卷积神经网络(CNN):基于PyTorch的遥感影像、无人机影像的地物分类、目标检测、语义分割和点云分类

    我国高分辨率对地观测系统重大专项已全面启动,高空间、高光谱、高时间分辨率和宽地面覆盖于一体的全球天空地一体化立体对地观测网逐步形成,将成为保障国家安全的基础性和战略性资源。随着小卫星星座的普及,对地观测已具备多次以上的全球覆盖能力,遥感影像也

    2024年02月04日
    浏览(53)
  • 从CNN到Transformer:基于PyTorch的遥感影像、无人机影像的地物分类、目标检测、语义分割和点云分类

    我国高分辨率对地观测系统重大专项已全面启动,高空间、高光谱、高时间分辨率和宽地面覆盖于一体的全球天空地一体化立体对地观测网逐步形成,将成为保障国家安全的基础性和战略性资源。随着小卫星星座的普及,对地观测已具备多次以上的全球覆盖能力,遥感影像也

    2024年01月22日
    浏览(55)
  • 【毕业设计】深度学习卫星遥感图像检测与识别系统(目标检测)

    🔥 Hi,大家好,这里是丹成学长的毕设系列文章! 🔥 对毕设有任何疑问都可以问学长哦! 这两年开始,各个学校对毕设的要求越来越高,难度也越来越大… 毕业设计耗费时间,耗费精力,甚至有些题目即使是专业的老师或者硕士生也需要很长时间,所以一旦发现问题,一定

    2024年02月08日
    浏览(65)
  • 竞赛 深度学习卫星遥感图像检测与识别 -opencv python 目标检测

    🔥 优质竞赛项目系列,今天要分享的是 🚩 **深度学习卫星遥感图像检测与识别 ** 该项目较为新颖,适合作为竞赛课题方向,学长非常推荐! 🥇学长这里给一个题目综合评分(每项满分5分) 难度系数:3分 工作量:3分 创新点:5分 🧿 更多资料, 项目分享: https://gitee.com/da

    2024年02月06日
    浏览(93)
  • 深度学习卫星遥感图像检测与识别 -opencv python 目标检测 计算机竞赛

    🔥 优质竞赛项目系列,今天要分享的是 🚩 **深度学习卫星遥感图像检测与识别 ** 该项目较为新颖,适合作为竞赛课题方向,学长非常推荐! 🥇学长这里给一个题目综合评分(每项满分5分) 难度系数:3分 工作量:3分 创新点:5分 🧿 更多资料, 项目分享: https://gitee.com/da

    2024年02月03日
    浏览(65)
  • 计算机设计大赛 深度学习卫星遥感图像检测与识别 -opencv python 目标检测

    🔥 优质竞赛项目系列,今天要分享的是 🚩 **深度学习卫星遥感图像检测与识别 ** 该项目较为新颖,适合作为竞赛课题方向,学长非常推荐! 🥇学长这里给一个题目综合评分(每项满分5分) 难度系数:3分 工作量:3分 创新点:5分 🧿 更多资料, 项目分享: https://gitee.com/da

    2024年02月22日
    浏览(75)
  • 计算机毕设 深度学习卫星遥感图像检测与识别 -opencv python 目标检测

    🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升,传统的毕设题目缺少创新和亮点,往往达不到毕业答辩的要求,这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。 为了大家能够顺利以及最少的精力通过毕设,学长分享优质毕业设计项目,今天

    2024年02月14日
    浏览(61)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包