LLaMa和ChatGLM，minichatgpt4
什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？
答：Bert 的模型由多层双向的Transformer编码器组成，由12层组成，768隐藏单元，12个head，总参数量110M，约1.15亿参数量。NLU（自然语言理解）任务效果很好，单卡GPU可以部署，速度快，V100GPU下1秒能处理2千条以上。
ChatGLM-6B, LLaMA-7B模型分别是60亿参数量和70亿参数量的大模型，基本可以处理所有NLP任务，效果好，但大模型部署成本高，需要大显存的GPU，并且预测速度慢，V100都需要1秒一条。
微调方法是啥？如何微调？
答：当前主流微调方法分为：Fine-tune和prompt-tune
fine-tune，也叫全参微调，bert微调模型一直用的这种方法，全部参数权重参与更新以适配领域数据，效果好。文章来源：https://www.toymoban.com/news/detail-851649.html
prompt-tune, 包括p-tuning、lora、prompt-tuning、adaLoRA等delta tuning方法，部分模型参数参与微调，训练快，显存占用少，效果可能跟FT（fine-tune）比会稍有效果损失，但一般效果能打平。文章来源地址https://www.toymoban.com/news/detail-851649.html
到了这里，关于大模型的学习 LLaMa和ChatGLM，minichatgpt4的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
