深度学习笔记：finetune和linear probing的区别

10月前作者：zzz_979 分类：Toy博客阅读(35) 违法举报

这篇具有很好参考价值的文章主要介绍了深度学习笔记：finetune和linear probing的区别。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

背景

finetune和linear probing一般和预训练搭配出现，是预训练模型适配下游任务时可选的训练方式

finetune 微调

finetune是使用预训练模型适配下游任务时，对整个预训练模型全部进行参数更新

微调也可以选择不进行全部更新，只对后面一部分模型进行更新，因为模型前几层一般提取的都是比较公共的特征，保留的底层信息较多，可以不用进行微调

linear probing 线性探测

linear probing 是在适配下游任务时，冻住预训练模型，对其参数不进行更新，只对模型最后一层的线性层进行参数更新

线性探测一般用于检验预训练模型的好坏

一般情况下，线性探测的结果会差于微调文章来源地址https://www.toymoban.com/news/detail-741460.html

到了这里，关于深度学习笔记：finetune和linear probing的区别的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

人工智能课程笔记（7）强化学习（基本概念 Q学习深度强化学习附有大量例题）

强化学习和深度学习都是机器学习的分支，但是两者在方法和应用场景上有所不同。强化学习：强化学习概述：强化学习是一种通过智能体与环境进行交互来学习最优行动策略的算法。在强化学习中，智能体与环境不断交互，观察环境的状态并采取不同的行动，从而获得奖

2024年01月17日
浏览(52)
机器学习笔记：李宏毅ChatGPT Finetune VS Prompt

2.1.1 成为专才的好处 Is ChatGPT A Good Translator? A Preliminary Study 2023 Arxiv 箭头方向指的是从哪个方向往哪个方向翻译表格里面的数值越大表示翻译的越好可以发现专门做翻译的工作会比ChatGPT好一些 How Good Are GPT Models at Machine Translation? A Comprehensive Evaluation 同样地，专项翻译任

2024年02月14日
浏览(44)
【深度学习笔记】彻底理解torch中的tensor与numpy中array区别及用法

刚接触深度学习的同学，很多开源项目代码中，张量tensor 与数组array 都有使用，不清楚两者有什么区别，以及怎么使用，如何相互转换等。博主起初也有类似的疑惑，经过查阅资料以及实践，逐渐有了深入了解，本文将记录并分享自己对两者的理解，可供参考。提示：以下

2023年04月08日
浏览(97)
人工智能_机器学习065_SVM支持向量机KKT条件_深度理解KKT条件下的损失函数求解过程_公式详细推导_---人工智能工作笔记0105

之前我们已经说了KKT条件,其实就是用来解决如何实现对,不等式条件下的,目标函数的求解问题,之前我们说的拉格朗日乘数法,是用来对等式条件下的目标函数进行求解. KKT条件是这样做的,添加了一个阿尔法平方对吧,这个阿尔法平方肯定是大于0的,那么可以结合下面的文章去

2024年02月04日
浏览(43)
人工智能|深度学习——基于数字图像处理和深度学习的车牌定位

车牌识别Vehicle License Plate Recognition VLPR) 是从一张或一系列数字图片中自动定位车牌区域并提取车牌信息的图像识别技术。车牌识别以数字图像处理、模式识别、计算机视觉等技术为基础，是现代智能交通系统的重要组成部分，广泛应用于日常生活中，如停车场收费管理，车

2024年02月21日
浏览(47)
机器学习入门教学——人工智能、机器学习、深度学习

1、人工智能人工智能相当于人类的代理人，我们现在所接触到的人工智能基本上都是弱AI，主要作用是正确解释从外部获得的数据，并对这些数据加以学习和利用，以便灵活的实现特定目标和任务。例如：阿尔法狗、智能汽车简单来说：人工智能使机器像人类一样进行感

2024年02月09日
浏览(91)
一探究竟：人工智能、机器学习、深度学习

1.1 人工智能是什么？ 1956年在美国Dartmounth 大学举办的一场研讨会中提出了人工智能这一概念。人工智能（Artificial Intelligence），简称AI，是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的

2024年02月17日
浏览(53)
12、人工智能、机器学习、深度学习的关系

很多年前听一个机器学习的公开课，在QA环节，一个同学问了老师一个问题“ 机器学习和深度学习是什么关系 ”？老师先没回答，而是反问了在场的同学，结果问了2-3个，没有人可以回答的很到位，我当时也是初学一脸懵，会场准备的小礼品也没有拿到。后来老师解释“机

2024年02月05日
浏览(72)
人工智能深度学习

目录人工智能深度学习机器学习神经网络机器学习的范围模式识别数据挖掘统计学习计算机视觉语音识别自然语言处理机器学习的方法回归算法神经网络 SVM（支持向量机）聚类算法降维算法推荐算法其他机器学习的分类机器学习模型的评估机器学习的应用机

2024年02月22日
浏览(58)
人工智能之深度学习

第一章人工智能概述 1.1人工智能的概念和历史 1.2人工智能的发展趋势和挑战 1.3人工智能的伦理和社会问题第二章数学基础 1.1线性代数 1.2概率与统计 1.3微积分第三章监督学习 1.1无监督学习 1.2半监督学习 1.3增强学习第四章深度学习 1.1神经网络的基本原理 1.2深度学习的

2024年02月09日
浏览(55)