一文看懂预训练和自训练模型

这篇具有很好参考价值的文章主要介绍了一文看懂预训练和自训练模型。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

        说到预训练模型,不得不提迁移学习了,由于很多数据不是标签数据,人工标注非常耗时,神经网络在很多场景下受到了限制。但是迁移学习和自学习的出现,在一定程度上缓解甚至解决了这个问题。我们可以在标签丰富的场景下进行有监督的训练,或者在无标签的场景下,进行神经网络无监督的自学习,然后把训练出来的模型进行迁移学习,到标签很少的场景下,利用这种方式来解决领域标签数据少的问题。

        视觉任务往往具有一定的通用性,例如在某个分类任务数据集上训练的模型,在迁移到别的分类任务上时,只需要重新训练分类层以及对其他层权重进行微调便能获得不错的结果。所以在面对当前任务时,采用经过别的任务训练后的模型叫做预训练技术预训练方法通常分为监督、半监督、无监督法。

        最常用的监督预训练技术是:首先在带有标注的大型数据集上训练模型,之后将该模型当作预训练模型执行当前任务。例如在目标检测任务上通常会采用在Imagenet数据集上经过训练的模型当作特征提取网络。

        半监督方法的代表是自训练,其使用少量的标记数据和大量的未标记数据对模型进行联合训练。自训练可以分为5个步骤:

  1. 使用少量带有标签的数据训练模型
  2. 使用步骤1中得到的模型对未标记数据进行预测,预测结果作为伪标签
  3. 将标记数据和未标记数据结合标签和伪标签一起训练模型
  4. 在测试集上评估模型
  5. 重复1-4步,对模型迭代

        无监督方法在无标签的数据集上训练,通过对比损失、互信息最大化等方法获得对数据的通用表示。

        在当前任务中,绝大多数采用经过预训练方法的骨干网络通常会使结果得到提升。例如在目标检测任务中,通过监督法得到的预训练模型因为其稳定、简单、容易获取而成为多数目标检测的骨干网络模型。但谷歌最新的研究表明,在数据量足够的情况下,至少在目标检测任务上,采用自训练得到的预训练模型对检测结果的提升要显著优于监督预训练与无监督预训练模型。

        说白了,预训练模型就是提前训练好模型参数。有了预训练模型,我们就不需要再从0开始训练所有参数了,但是针对我们当前的这个任务,有些参数可能不合适,我们只需要在当前参数的基础上稍加修改(微调)就可以得到比较好的效果,这样学习时间必然会大大减小。

参考文章安全验证 - 知乎文章来源地址https://www.toymoban.com/news/detail-412577.html

到了这里,关于一文看懂预训练和自训练模型的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 一文看懂SGPIO协议

    目录 1.简介 2.接口列表 3.时序 3.1 Sclok 3.2 Sload 3.3 Sdataout 3.4 Sdatain 4.应用 串行通用输入输出(SGPIO)是一种串行通用IO信号的方法。通常用于发起方(如主机总线适配器)和目标方(如背板)之间的通信。目标方通常将输出的串行信号转换为多个并行信号,并通过GPIO提供输入信

    2024年01月24日
    浏览(70)
  • 一文看懂-纹理/贴图/材质

    纹理(Texture) 应用于网格表面上的标准位图图像,即3D 对象的 2D 贴图。 贴图(Map) 指的是绘制在对象模型表面上的那些图像数据,其所使用的图像文件称为纹理。贴图还包含纹理图在对象表面的坐标(UV坐标)等其他数据信息。 可以说, 纹理是贴图的子集 。 另外。Map也

    2024年02月08日
    浏览(53)
  • 一文看懂EtherCAT总线控制

      大家好,我是华山自控编程的朱老师。今天给大家介绍一种前沿的运动控制技术——EtherCAT 总线控制。作为近年来非常受欢迎的一种运动控制方式, 那么 EtherCAT总线控制究竟有哪些优势呢?我主要列举以下三点:   传输速度特别快。在以太网控制协议中,EtherCAT总线控制协

    2024年02月08日
    浏览(75)
  • 【SBUS】一文看懂SBUS协议

    【STM32】STM32单片机总目录 S.BUS是一个串行通信协议,S.BUS是FUTABA提出的舵机控制总线, S.bus使用RS232C串口的硬件协议作为自己的硬件运行基础。 使用TTL电平,即3.3V。 使用负逻辑,即低电平为“1”,高电平为“0”。 波特率:100000(100k),注意:不兼容波特率115200。 硬件取

    2024年02月14日
    浏览(37)
  • 一文看懂 AIGC 的版权问题

    伴随着 AIGC 技术的强势出圈,大家在惊叹 AI 技术强大的同时,也有越来越多的人开始讨论关于由此带来的版权问题:我们通过 AI 生成的图像属于平台还是个人?目前 AI 作品版权在法律上是如何界定的?又该如何避免引起 AI 版权的纠纷? 今天我想和大家聊聊关于当前 AIGC 作

    2024年02月02日
    浏览(47)
  • 科普|一文看懂虚拟人技术原理

    本文作者来自即构开发者社区@ Daniel 投稿,为我们分享时下热门的数字人技术。IDC 预计,到 2026 年,中国 AI 数字人市场规模将达到 102.4 亿元。开发者有必要对数字人技术有完整的认知和理解。 自从人类探索虚拟现实技术以来,虚拟人技术一直是人工智能和元宇宙技术领域的

    2024年02月09日
    浏览(42)
  • 一文看懂分布式存储架构

    目录 一、集中存储结构 二、分布式存储 1 、分布式存储的兴起 2 、分布式存储的重要性 3 、分布式存储的种类和比较 三、分布式理论浅析 1 、一致性和可用性 2 、数据分布 3 、复制 4 、分布式协议 5、跨机房部署 四、分布式文件系统 1、 Google 文件系统( GFS ) 2、 Taobao 文件

    2023年04月09日
    浏览(41)
  • 一文看懂膨胀(空洞)卷积(含代码)

    前言:本文的个别内容、图片出自各个博客,但是因时间较久目前找不到原作者链接,如有需要,烦请各位原作者联系我。 目录 一、什么是膨胀卷积?为什么要用膨胀卷积 二、膨胀卷积的特点(优点) 三、膨胀卷积特点的理解 1、先看特点②:可以保证输出的特征映射(

    2024年02月02日
    浏览(42)
  • 一文看懂单元测试中的打桩

    目录 一、概念 二、目的 三、方法 编译时打桩 链接时打桩 运行时打桩 函数打桩,就是将一个函数用另一个函数实现(桩代码)进行替换,以达到在原有函数入口的位置执行新的实现。 函数打桩的目的一般是隔离、占位和控制。 隔离是指将测试任务从产品项目中分离出来,使

    2024年02月04日
    浏览(41)
  • 一文看懂python如何执行cmd命令

      “  在进行Python编程时,经常需要使用到操作系统的命令行,这就要求我们学会如何使用Python执行cmd命令。 ”   Python是一种强大而灵活的编程语言,它可以很方便地执行系统命令,与操作系统进行交互。本文将介绍Python执行cmd命令的几种常用方法,以及它们的优缺点和使

    2024年02月16日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包