使用LLaMA-Factory微调ChatGLM3

9月前作者：我在北国不背锅分类：Toy博客阅读(41) 违法举报

这篇具有很好参考价值的文章主要介绍了使用LLaMA-Factory微调ChatGLM3。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1、创建虚拟环境

略

2、部署LLaMA-Factory

（1）下载LLaMA-Factory

https://github.com/hiyouga/LLaMA-Factory

（2）安装依赖

pip3 install -r requirements.txt

（3）启动LLaMA-Factory的web页面

CUDA_VISIBLE_DEVICES=0 python src/train_web.py

得到如下页面：
使用LLaMA-Factory微调ChatGLM3,大模型,llama,chatglm

3、ChatGLM3模型微调

设置如下参数，点击开始即可：
使用LLaMA-Factory微调ChatGLM3,大模型,llama,chatglm
点击“预览命令”，可以看到要执行的python脚本，如下所示：文章来源地址https://www.toymoban.com/news/detail-768203.html

CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
    --stage sft \
    --do_train \
    --model_name_or_path /root/LLaMA-Factory-main/chatglm3\
    --dataset alpaca_gpt4_zh \

到了这里，关于使用LLaMA-Factory微调ChatGLM3的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

【ChatGLM3】（7）：在autodl上，使用A50显卡，使用LLaMa-Factory开源项目对ChatGLM3进行训练，非常方便的，也方便可以使用多个数据集

https://www.bilibili.com/video/BV1GN411j7NP/ 大模型训练利器，使用LLaMa-Factory开源项目，对ChatGLM3进行训练，特别方便，支持多个模型，非常方方便更多ChatGPT技术文章： https://blog.csdn.net/freewebsys/category_12270092.html 项目地址： https://github.com/hiyouga/LLaMA-Factory LLaMA Board: 通过一站式网页界面

2024年02月05日
浏览(36)
小白也能微调大模型：LLaMA-Factory使用心得

大模型火了之后，相信不少人都在尝试将预训练大模型应用到自己的场景上，希望得到一个垂类专家，而不是通用大模型。目前的思路，一是RAG(retrieval augmented generation)，在模型的输入prompt中加入尽可能多的“目标领域”的相关知识，引导模型在生成时尽量靠拢目标领域，运

2024年04月13日
浏览(50)
Python - 深度学习系列30 - 使用LLaMA-Factory微调模型

最实用的一种利用大语言模型的方式是进行微调。预训练模型与我们的使用场景一定会存在一些差异，而我们又不可能重头训练。微调的原理并不复杂，载入模型，灌新的数据，然后运行再训练，保留checkpoints。但是不同项目的代码真的不太一样，每一个都要单独去看的话比

2024年04月12日
浏览(47)
LLaMA-Factory使用V100微调ChatGLM2报错 RuntimeError: “addmm_impl_cpu_“ not implemented for ‘Half‘

微调命令已经从huggingface下载完整的模型并配置正确路径，也对自定义数据集仿照alpaca_gpt4_data_zh.json在dataset_info.json中写入相关配置。但运行如上命令还是有报错如下：命令运行过程中，看上去已经成功加载模型了，应该是训练第1个epoch时的报错。我 --fp16 加到上面的命令中

2024年02月04日
浏览(48)
快速上手！LLaMa-Factory最新微调实践，轻松实现专属大模型

Yuan2.0（https://huggingface.co/IEITYuan）是浪潮信息发布的新一代基础语言大模型，该模型拥有优异的数学、代码能力。自发布以来，Yuan2.0已经受到了业界广泛的关注。当前Yuan2.0已经开源参数量分别是102B、51B和2B的3个基础模型，以供研发人员做进一步的开发。 LLM（大语言模型）微

2024年01月20日
浏览(52)
Llama3-8B+ LLaMA-Factory 中文微调

Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！本教程就以Llama3-8B-Instruct开源模型为模型基座，通过开源程序LLaMA-Factory来进行中文的微调，提高Llama3的中文能力！LLaMA-Factory是一个开源的模型训

2024年04月27日
浏览(47)
llama-factory SFT 系列教程 (四)，lora sft 微调后，使用vllm加速推理

llama-factory SFT系列教程 (一)，大模型 API 部署与使用 llama-factory SFT系列教程 (二)，大模型在自定义数据集 lora 训练与部署 llama-factory SFT系列教程 (三)，chatglm3-6B 命名实体识别实战 llama-factory SFT 系列教程 (四)，lora sft 微调后，使用vllm加速推理 llama-factory 提供了 vllm API 部署，但笔

2024年04月27日
浏览(37)
Llama-Factory的baichuan2微调

Llama-Factory：https://github.com/hiyouga/LLaMA-Factory/tree/main 请使用来启用 QLoRA 训练。（1）奖励模型训练（2）PPO训练（PPO训练需要先进行上一步RM的训练，然后导入微调后模型和RM进行训练输出）大规模无监督语言模型（LMs）虽然可以学习广泛的世界知识和一些推理技能

2024年02月05日
浏览(40)
从零开始的LLaMA-Factory的指令增量微调

大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容从0起步，扬帆起航。大模型应用向开发路径及一点个人思考大模型应用开发实用开源项目汇总大模型问答项目问答性能评估方法大模型数据

2024年04月09日
浏览(58)
llama-factory SFT系列教程 (一)，大模型 API 部署与使用

本来今天没有计划学 llama-factory ，逐步跟着github的文档走，发现这框架确实挺方便，逐渐掌握了一些。最近想使用 SFT 微调大模型，llama-factory 是使用非常广泛的大模型微调框架；基于 llama_factory 微调 qwen/Qwen-7B，qwen/Qwen-7B-Chat 我使用的是 qwen/Qwen-7B ，如果追求对话效果 qwen/

2024年04月16日
浏览(45)