【深度学习】小概念-Toy模板网

这篇具有很好参考价值的文章主要介绍了【深度学习】小概念。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

好用小工具：

https://lutzroeder.github.io/netron/ 网络架构图可视化工具

liner probe与fine-tune

liner probe
将预训练的模型冻住，只从里面抽特征，就训练最后fc分类头层，做有监督的分类任务。

fine-tune
整个网络都放开，直接做端到端的学习。如果下游数据集比较大，微调比 liner probe 效果好。

- CLIP 是 liner probe，目的就是为了研究这种和数据集无关的预训练方式。

zero shot 与 few shot

zero shot 不训练直接用
few shot 用少量具体任务的样本 fine tune

one shot 每个类别在训练的时候只给模型看一张这种示例图片，two shot 看两张

对比学习和孪生网络的区别

孪生网络要共享权重参数，公用一个网络结构；

但是对比学习两个模型可以一点都不一样，不用共享参数；

伪标签, 自监督都比监督学习利用数据更好

预训练阶段用了对比学习，利用了文本的提示做了 zero shot 的迁移学习，在大规模数据集和大模型的双向加持下，clip的效果不错。
打破了固定种类标签的范式，不论在收集数据、训练模型的时候都不要像 imagenet 那样做1000类，直接搜集这种图片文本配对，用无监督的方式，
要么预测它的相似性，要么去生成它。

数据集大学习率大，数据集小学习率小，否则可能稍一学习模型就过拟合了。文章来源地址https://www.toymoban.com/news/detail-518735.html

https://www.bilibili.com/video/BV1nR4y1N7Vj/  ## 请求的域名
?                                             ## ？后面是请求域名所接收的参数
spm_id_from=333.880.my_history.page.click     ## 参数1
&
vd_source=dc27cbd311ff3ca278726381630036f0    ## 参数2

到了这里，关于【深度学习】小概念的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！