深度学习|自监督学习、MAE学习策略、消融实验

这篇具有很好参考价值的文章主要介绍了深度学习|自监督学习、MAE学习策略、消融实验。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言:最近在阅读论文,发现太多机器学习的知识不懂,把最近看的一篇论文有关的知识点汇总了一下。

自监督学习

Pretrain-Finetune(预训练+精调)模式:迁移学习,通过在源域数据上学习知识,再迁移到下游其他目标任务上,提升目标任务上的效果。

Self-supervised Learning(自监督学习):它的目标是更好地利用无监督数据,提升后续监督学习任务的效果。定义一个辅助任务,即从无监督的数据中,通过巧妙地设计自动构造出有监督(伪标签)数据,学习一个预训练模型。

好处:因为有标签的数据集很贵,需要很多人工去打标签,成本高。相反,无标签的数据网上到处都是,便宜。

思路:

  • 第一阶段(in a task-agnostic way):设计辅助任务(Pretext Tasks),用无标签数据将参数从没有训练到初步成型。
  • 第二阶段(in a task-specific way):根据下游任务(Downstream Tasks),去用带标签的数据集把参数训练到完全成型。

特点:第二阶段需要的数据集就不用太多了,因为参数经过第一阶段就训练的差不多,能够节省标记数据集。

MAE学习策略

MAE学习策略是自监督学习的一种。

Encoder-Decoder(编码器-解码器):是深度学习模型的抽象概念,很多模型都是起源于这个架构,例如CNN。
编码器(Encoder):负责将输入(Input)转化为特征(Feature)。
解码器(Decoder):负责将特征(Feature)转化为目标(Target)。

Masked Autoencoders(MAE,掩码自编码器):随机遮挡(Mask)输入图片部分,然后重建原来的图像。

思路:

  • 数据:图像被分割成大小相同的patches,然后随机mask(遮挡)一部分patches。
  • Encoder:输入没有被mask的patches就行操作。
  • Decoder:输入Encoder处理后的patches和mask的patches就行重建图像。
  • 调整:重建后的图像和原始图像作比较,然后调整模型参数。
    深度学习|自监督学习、MAE学习策略、消融实验,人工智能,深度学习,人工智能,机器学习,MAE学习策略,自监督学习,消融实验

特点:可以把训练好的Encoder部分结合别的Decoder使用,Encoder部分通过MAE学习策略能够从数据中提取有意义的特征。

消融实验

Ablation study(消融实验):消融实验通常是指删除模型或算法的某些“功能”,并查看其如何影响性能。多个创新方法,或者新型结构模块,或注意力模块等在一起为模型的性能作出了贡献,为了了解每个部分单独能发挥的作用,常常会在论文中提出消融研究。通俗来说,就是控制变量法。

举例:例如某论文提出了方法A,B,C,而该论文是基于某个baseline的改进。因此,在消融实验时候,会进行baseline 、baseline+A、baseline+B、baseline+C、baseline+A+B+C等实验的各个评价指标有多少,从而得出每个部分所能发挥的作用有多大。

在论文表格中,通常会看到“w/o”和“w”,其实指的是消融实验。“w/o”是without的缩写,而“w”或“w/”是with的缩写,它们的后面跟的是要做消融对比的对象。文章来源地址https://www.toymoban.com/news/detail-661496.html

到了这里,关于深度学习|自监督学习、MAE学习策略、消融实验的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 人工智能基础_机器学习006_有监督机器学习_正规方程的公式推导_最小二乘法_凸函数的判定---人工智能工作笔记0046

    我们来看一下公式的推导这部分比较难一些, 首先要记住公式,这个公式,不用自己理解,知道怎么用就行, 比如这个(mA)T 这个转置的关系要知道 然后我们看这个符号就是求X的导数,X导数的转置除以X的导数,就得到单位矩阵, 可以看到下面也是,各种X的导数,然后计算,得到对应的矩阵

    2024年02月08日
    浏览(58)
  • 人工智能基础_机器学习001_线性回归_多元线性回归_最优解_基本概念_有监督机器学习_jupyter notebook---人工智能工作笔记0040

       线性和回归,就是自然规律,比如人类是身高趋于某个值的概率最大,回归就是通过数学方法找到事物的规律. 机器学习作用: 该专业实际应用于机器视觉、指纹识别、人脸识别、视网膜识别、虹膜识别、掌纹识别、专家系统、自动规划、智能搜索、定理证明、博弈、自动程序

    2024年02月06日
    浏览(55)
  • 人工智能基础_机器学习003_有监督机器学习_sklearn中线性方程和正规方程的计算_使用sklearn解算八元一次方程---人工智能工作笔记0042

    然后我们再来看看,如何使用sklearn,来进行正规方程的运算,当然这里 首先要安装sklearn,这里如何安装sklearn就不说了,自己查一下 首先我们还是来计算前面的八元一次方程的解,但是这次我们不用np.linalg.solve这个 解线性方程的方式,也不用 直接 解正规方程的方式: 也就是上面这种

    2024年02月08日
    浏览(55)
  • 【人工智能】— 无监督学习、K-means聚类(K-means clustering)、K-means损失函数,目标函数

    无监督学习是指在没有标签的数据上进行学习,即没有监督信号的指导下进行模型训练。在无监督学习中,我们主要关注从无标签数据中学习出数据的低维结构和隐藏的模式。 通过无标签数据,我们可以预测以下内容: 低维结构:通过无监督学习算法如主成分分析(PCA),

    2024年02月10日
    浏览(43)
  • 人工智能深度学习

    目录 人工智能 深度学习 机器学习 神经网络 机器学习的范围 模式识别 数据挖掘 统计学习 计算机视觉 语音识别 自然语言处理 机器学习的方法 回归算法 神经网络 SVM(支持向量机) 聚类算法 降维算法 推荐算法 其他 机器学习的分类 机器学习模型的评估 机器学习的应用 机

    2024年02月22日
    浏览(58)
  • 人工智能之深度学习

    第一章 人工智能概述 1.1人工智能的概念和历史 1.2人工智能的发展趋势和挑战 1.3人工智能的伦理和社会问题 第二章 数学基础 1.1线性代数 1.2概率与统计 1.3微积分 第三章 监督学习 1.1无监督学习 1.2半监督学习 1.3增强学习 第四章 深度学习 1.1神经网络的基本原理 1.2深度学习的

    2024年02月09日
    浏览(55)
  • 人工智能、机器学习、深度学习的区别

    人工智能涵盖范围最广,它包含了机器学习;而机器学习是人工智能的重要研究内容,它又包含了深度学习。 人工智能是一门以计算机科学为基础,融合了数学、神经学、心理学、控制学等多个科目的交叉学科。 人工智能是一门致力于使计算机能够模拟、模仿人类智能的学

    2024年02月08日
    浏览(56)
  • 机器学习入门教学——人工智能、机器学习、深度学习

    1、人工智能 人工智能相当于人类的代理人,我们现在所接触到的人工智能基本上都是弱AI,主要作用是正确解释从外部获得的数据,并对这些数据加以学习和利用,以便灵活的实现特定目标和任务。 例如: 阿尔法狗、智能汽车 简单来说: 人工智能使机器像人类一样进行感

    2024年02月09日
    浏览(91)
  • 探索人工智能:深度学习、人工智能安全和人工智能编程(文末送书)

    人工智能知识对于当今的互联网技术人来说已经是刚需。但人工智能的概念、流派、技术纷繁复杂,选择哪本书入门最适合呢? 这部被誉为人工智能“百科全书”的《人工智能(第3版)》,可以作为每个技术人进入 AI 世界的第一本书。 购书链接,限时特惠5折 这本书是美国

    2024年02月03日
    浏览(119)
  • 一探究竟:人工智能、机器学习、深度学习

    1.1 人工智能是什么?          1956年在美国Dartmounth 大学举办的一场研讨会中提出了人工智能这一概念。人工智能(Artificial Intelligence),简称AI,是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的

    2024年02月17日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包