背景
finetune和linear probing一般和预训练搭配出现,是预训练模型适配下游任务时可选的训练方式
finetune 微调
finetune是使用预训练模型适配下游任务时,对整个预训练模型全部进行参数更新
微调也可以选择不进行全部更新,只对后面一部分模型进行更新,因为模型前几层一般提取的都是比较公共的特征,保留的底层信息较多,可以不用进行微调
linear probing 线性探测
linear probing 是在适配下游任务时,冻住预训练模型,对其参数不进行更新,只对模型最后一层的线性层进行参数更新
线性探测一般用于检验预训练模型的好坏文章来源:https://www.toymoban.com/news/detail-741460.html
一般情况下,线性探测的结果会差于微调文章来源地址https://www.toymoban.com/news/detail-741460.html
到了这里,关于深度学习笔记:finetune和linear probing的区别的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!