参考:https://github.com/huggingface/peft
https://github.com/hiyouga/LLaMA-Factory
1、LLaMA-Factory可视化界面微调chatglm2
类似工具还有流萤,注意是做中文微调训练这块;来训练微调的chatglm2需要完整最新文件,不能是量化后的模型;另外测试下来显卡资源要大于20来G才能顺利,这边T4单卡训练中间显存不足,需要开启4bit量化才行
1)下载github代码
2)运行web界面文章来源:https://www.toymoban.com/news/detail-755242.html
CUDA_VISIBLE_DEVICES=0 python src/train_web.py
3)chatglm2代码下载最新的:https://huggingface.co/THUDM/chatglm2-6b/tree/main
4)配置好参数即可点击开始训练
显卡使用:<文章来源地址https://www.toymoban.com/news/detail-755242.html
到了这里,关于LLaMA-Factory可视化界面微调chatglm2;LoRA训练微调模型 简单案例的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!