前言:最近在阅读论文,发现太多机器学习的知识不懂,把最近看的一篇论文有关的知识点汇总了一下。
自监督学习
Pretrain-Finetune(预训练+精调)模式:迁移学习,通过在源域数据上学习知识,再迁移到下游其他目标任务上,提升目标任务上的效果。
Self-supervised Learning(自监督学习):它的目标是更好地利用无监督数据,提升后续监督学习任务的效果。定义一个辅助任务,即从无监督的数据中,通过巧妙地设计自动构造出有监督(伪标签)数据,学习一个预训练模型。
好处:因为有标签的数据集很贵,需要很多人工去打标签,成本高。相反,无标签的数据网上到处都是,便宜。
思路:
- 第一阶段(in a task-agnostic way):设计辅助任务(Pretext Tasks),用无标签数据将参数从没有训练到初步成型。
- 第二阶段(in a task-specific way):根据下游任务(Downstream Tasks),去用带标签的数据集把参数训练到完全成型。
特点:第二阶段需要的数据集就不用太多了,因为参数经过第一阶段就训练的差不多,能够节省标记数据集。
MAE学习策略
MAE学习策略是自监督学习的一种。
Encoder-Decoder(编码器-解码器):是深度学习模型的抽象概念,很多模型都是起源于这个架构,例如CNN。
编码器(Encoder):负责将输入(Input)转化为特征(Feature)。
解码器(Decoder):负责将特征(Feature)转化为目标(Target)。
Masked Autoencoders(MAE,掩码自编码器):随机遮挡(Mask)输入图片部分,然后重建原来的图像。
思路:
- 数据:图像被分割成大小相同的patches,然后随机mask(遮挡)一部分patches。
- Encoder:输入没有被mask的patches就行操作。
- Decoder:输入Encoder处理后的patches和mask的patches就行重建图像。
- 调整:重建后的图像和原始图像作比较,然后调整模型参数。
特点:可以把训练好的Encoder部分结合别的Decoder使用,Encoder部分通过MAE学习策略能够从数据中提取有意义的特征。
消融实验
Ablation study(消融实验):消融实验通常是指删除模型或算法的某些“功能”,并查看其如何影响性能。多个创新方法,或者新型结构模块,或注意力模块等在一起为模型的性能作出了贡献,为了了解每个部分单独能发挥的作用,常常会在论文中提出消融研究。通俗来说,就是控制变量法。
举例:例如某论文提出了方法A,B,C,而该论文是基于某个baseline的改进。因此,在消融实验时候,会进行baseline 、baseline+A、baseline+B、baseline+C、baseline+A+B+C等实验的各个评价指标有多少,从而得出每个部分所能发挥的作用有多大。文章来源:https://www.toymoban.com/news/detail-661496.html
在论文表格中,通常会看到“w/o”和“w”,其实指的是消融实验。“w/o”是without的缩写,而“w”或“w/”是with的缩写,它们的后面跟的是要做消融对比的对象。文章来源地址https://www.toymoban.com/news/detail-661496.html
到了这里,关于深度学习|自监督学习、MAE学习策略、消融实验的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!