用于跨中心多边形分割的任务相关特征补充-Toy模板网

这篇具有很好参考价值的文章主要介绍了用于跨中心多边形分割的任务相关特征补充。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Task-Relevant Feature Replenishment for Cross-Centre Polyp Segmentation

摘要

用于跨中心多边形分割的任务相关特征补充
a）领域转移示意图
b）（i）原始数据分布；（ii）极端经典特征自适应；（iii）极端域不变特征自适应；（iv）我们的方法中的特征自适应。

来自不同中心的结肠镜检查图像通常表现出外观变化，使得在一个领域训练的模型无法很好地推广到另一个领域。
为了解决这个问题，提出了一种新的基于任务相关特征补充的网络（TRFR-Net），用于跨中心息肉分割，通过检索任务相关知识来获得足够的辨别能力，并减轻风格变化。
首先设计了一个域不变特征分解（DIFD）模块，放置在每个编码块之后，以提取用于分割的域共享信息。
然后，开发了一个任务相关特征补充（TRFR）模块，从每个DIFD模块的残差特征中提取信息上下文，并动态聚合这些任务相关部分，为广义分割学习提供额外信息。
为了利用结构相似性进一步弥合领域差距，我们设计了一个息肉感知对抗性学习（PPAL）模块来对齐预测特征分布，其中更加强调息肉相关的对齐。
代码链接

本文方法

用于跨中心多边形分割的任务相关特征补充

所提出的TRFR-Net的架构如图所示。包含用于对抗性学习的生成器和鉴别器。生成器采用编码器-解码器框架，其中采用包括五个编码块的ResNet-34作为特征提取器，并且解码器分支还具有由两个Conv-BN-ReLu组合和每个上采样操作组成的五个块。鉴别器由两个Conv-LeakyReLu组合组成，然后是上采样操作和卷积分类器。

DIFD模块被放置在每个编码块之后，其将输入特征分解为域不变部分（fdi）和侧出域特定部分（fds）。TRFR模块采用特定领域的功能，并输出组合的任务相关功能（ftrr），用于上下文补充。然后，将补充的域不变特征（f+）传递到解码器子网络用于分割预测（p+）。在PAAL中，鉴别器调整输出空间中的特征，以增强域间空间相似性

Domain-Invariant Feature Decomposition (DIFD)

采用实例标准化
建议在通道注意力的指导下重新校准它们
有重新校准的值μ*以及σ领域不变的特征是fdi：

其中，h（·）和 g（·）是学习独立缩放每个通道的μ和σ以进行域不变特征学习的注意力函数
然后残差，即领域特定特征，可以写成：

Task-Relevant Feature Replenishment

在有效缓解跨领域变化的同时，DIFD不可避免地过滤掉了编码在特定领域特征中的一些任务相关信息，从而导致识别能力下降。因此，我们提出了TRFR模块，从特定领域的特征中自适应地提取有助于息肉分割的信息特征，以进行特征补充。首先，我们结合了挤压和激励（SE）块，以将任务相关特征与DIFD模块过滤的特征区分开来。
领域特定特征被压缩为单个向量，该向量由完全连接的层连续学习。利用通道之间的相互依赖性和单个通道的注意力，这些学习到的通道权重使我们能够增强基本上下文，并在通道级别上抑制非结构化上下文。给定来自第i个DIFD模块fdsi∈RC×H×W的输入域特定特征，解藕特征fds-tri可以公式化为：

用于跨中心多边形分割的任务相关特征补充
然后，利用AdaAvgPool-Conv-ReLU组合块从较浅的语义层提取局部上下文信息。

我们还使用Conv-ReLU组合和非局部块来从底部编码块中提取全局上下文信息，以增强具有长程依赖性的特征。最后，在级联之后，开发了Conv-BN-ReLU-Conv组合的卷积块，以动态聚合这些提取的不同语义级别的任务相关特征，从而获得用于息肉分割的最终有效任务相关内容。
我们认为由任务相关信息f+增强的特征比纯域不变特征fdi更具判别力，从而以较小的熵产生更确定的预测。因此，我们提出了TRFR约束损失（TCLoss）来推进TRFR中的特征解纠缠。为了实现这一点，我们分别将补充的特征f+和域不变特征fdi转发到解码器子网络，并获得相应的分割预测p+和pdi。
TCLoss：
用于跨中心多边形分割的任务相关特征补充

Polyp-Aware Adversarial Learning (PAAL)

由于息肉分割具有具有空间相似性的结构化输出，我们在输出空间中开发PAAL，以进一步弥合域间的差距。
考虑到息肉区域具有更大的意义，但由于我们任务中的类别不平衡问题，通常代表性不足，我们认为应该更多地强调潜在息肉区域的对齐
为了实现这一点，我们首先从分割网络的输出预测p+∈RH×W导出息肉显著性指数掩码Mp∈RH
用于跨中心多边形分割的任务相关特征补充
然后，根据鉴别器D（pt+）的输出，生成器的PAALoss修改为