深度学习概念（术语）：Fine-tuning、Knowledge Distillation, etc

7月前作者：猛码Memmat 分类：Toy博客阅读(30) 违法举报

这篇具有很好参考价值的文章主要介绍了深度学习概念（术语）：Fine-tuning、Knowledge Distillation, etc。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

这里的相关概念都是基于已有预训练模型，就是模型本身已经训练好，有一定泛化能力。需要“再加工”满足别的任务需求。

进入后GPT时代，对模型的Fine-tuning也将成为趋势，借此机会，我来科普下相关概念。

1.Fine-tuning (微调)

有些人认为微调和训练没有区别，都是训练模型，但是微调是在原模型训练好的的基础上，做针对性的再训练。微调一般用额外的数据集，降低学习率让模型适应特定任务。

2.Transfer Learning (迁移学习)

迁移学习大意是让模型适应新的任务，这涉及模型的改进和再训练。可以把微调看作是迁移学习的一种。

相比微调，迁移学习很多时候并不需要训练原有模型，可以只训练一部分，或者给模型加1-2层后，用元模型的输出作为迁移学习的输入，训练额外添加部分即可。

3.Knowledge Distillation (知识蒸馏)

KD目标是用一个小模型去学习大模型的能力，在保证基线性能的前提下，降低模型的参数和复杂度。

4.Meta Learning (元学习)

Learning to Learning，就是学会学习，这个概念并不需要预训练模型。元学习是指模型学习各类任务数据，然后学会各类任务的共性，从而适应新的任务。文章来源地址https://www.toymoban.com/news/detail-703488.html

到了这里，关于深度学习概念（术语）：Fine-tuning、Knowledge Distillation, etc的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

Fine-tuning：个性化AI的妙术

一、什么是大模型 ChatGPT大模型今年可谓是大火，在正式介绍大模型微调技术之前，为了方便大家理解，我们先对大模型做一个直观的抽象。本质上，现在的大模型要解决的问题，就是一个序列数据转换的问题：输入序列 X = [x1, x2, ..., xm]，输出序列Y = [y1, y2, …, yn]，X和Y之

2024年01月17日
浏览(36)
对 ChatGLM-6B 做 LoRA Fine-tuning

ChatGLM-6B 是一个支持中英双语的对话语言模型，基于 GLM (General Language Model)。它只有 62 亿个参数，量化后最低 (INT4 量化) 只需要 6GB 的显存，完全可以部署到消费级显卡上。在实际使用这个模型一段时间以后，我们发现模型的对话表现能力确实非常不错。那么，基于这个模型做

2023年04月25日
浏览(25)
ChatGPT进阶：利用Fine-tuning训练自己的模型

ChatGPT是“大力出奇迹”的经典表现，大模型给ChatGPT带来了惊人的智能，但是要训练这样的大模型，可是十分烧钱的，根据OpenAI给出的数据，1700亿参数的Davinci模型从头训练一遍，大概需要耗时3个月，耗资150万美元。那我们普通人或者小公司面对这个高门槛，对自定义模型是

2024年02月17日
浏览(37)
一分钟搞懂微调(fine-tuning)和prompt

大家都是希望让预训练语言模型和下游任务靠的更近，只是实现的方式不一样。Fine-tuning中：是预训练语言模型“迁就“各种下游任务；Prompting中，是各种下游任务“迁就“预训练语言模型。微调（fine-tuning）和prompt是自然语言处理领域中常用的两个术语，它们都是指训练和

2023年04月26日
浏览(38)
openai模型个性化训练Embedding和fine-tuning区别

现在基于自然语言和文档进行对话的背后都是使用的基于嵌入的向量搜索。OpenAI在这方面做的很好，它的Cookbook(github.com/openai/openai-cookbook)上有很多案例，最近他们对文档做了一些更新。 GPT擅长回答问题，但是只能回答它以前被训练过的问题，如果是没有训练过的数据，比如

2024年02月15日
浏览(28)
llamafactory:unified efficient fine-tuning of 100+ lanuage models

1.introduction llamafactory由三个主要模块组成，Model Loader，Data Worker，Trainer。 2.Efficient fine-tuning techniques 2.1 Efficient Optimization 冻结微调：冻结大部分参数，同时只在一小部分解码器层中微调剩余参数，GaLore将梯度投影到低维空间，以内存高效的方法实现全参数学习；相反，Lora冻结

2024年04月14日
浏览(34)
Fine-tuning Large Enterprise Language Models via Ontological Reasoning

本文是LLM系列文章，针对《Fine-tuning Large Enterprise Language Models via Ontological Reasoning》的翻译。大型语言模型（LLM）利用特定任务的训练数据，将微调作为一种适应不同目标的技术。任务特异性应该与领域定向齐头并进，即LLM的专业化，以准确地处理给定感兴趣领域的任务。然

2024年02月09日
浏览(30)
了解大语言模型的参数高效微调（Parameter-Effcient Fine-Tuning）

🍉 CSDN 叶庭云： https://yetingyun.blog.csdn.net/ 大语言模型在众多应用领域实现了突破性的进步，显著提升了各种任务的完成度。然而，其庞大的规模也带来了高昂的计算成本。这些模型往往包含数十亿甚至上千亿参数，需要巨大的计算资源来运行。特别是，当需要为特定的下游

2024年04月14日
浏览(62)
基于ChatYuan-large-v2 语言模型 Fine-tuning 微调训练广告生成任务

ChatYuan-large-v2 是一个开源的支持中英双语的功能型对话语言大模型，与其他 LLM 不同的是模型十分轻量化，并且在轻量化的同时效果相对还不错，仅仅通过 0.7B 参数量就可以实现 10B 模型的基础效果，正是其如此的轻量级，使其可以在普通显卡、 CPU 、甚至手机上进行推理，而

2024年02月13日
浏览(29)
自然语言基础 IMDB下的 MLM (掩码模型) & Bert Fine-tuning (模型微调)

本文是Hugging Face 上 NLP的一篇代码教程，通过imdb数据集， Fine-tuning微调 Bert预训练模型。涉及包括: MLM, Bert, Fine-tuning, IMDB, Huggingface Repo 微调的方式是通过调整训练模型的学习率来重新训练模型，这个来自早期 ACL 2018的一篇paper：《Universal Language Model Fine-tuning for Text

2024年02月15日
浏览(31)