【ChatGLM3】（7）：在autodl上，使用A50显卡，使用LLaMa-Factory开源项目对ChatGLM3进行训练，非常方便的，也方便可以使用多个数据集-Toy模板网

这篇具有很好参考价值的文章主要介绍了【ChatGLM3】（7）：在autodl上，使用A50显卡，使用LLaMa-Factory开源项目对ChatGLM3进行训练，非常方便的，也方便可以使用多个数据集。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1，视频地址

https://www.bilibili.com/video/BV1GN411j7NP/

大模型训练利器，使用LLaMa-Factory开源项目，对ChatGLM3进行训练，特别方便，支持多个模型，非常方方便

更多ChatGPT技术文章：

https://blog.csdn.net/freewebsys/category_12270092.html

1，关于LLaMa-Factory项目

项目地址：
https://github.com/hiyouga/LLaMA-Factory

LLaMA Board: 通过一站式网页界面快速上手 LLaMA Factory
使用 CUDA_VISIBLE_DEVICES=0 python src/train_web.py 启动 LLaMA Board。（该模式目前仅支持单卡训练）

与 ChatGLM 官方的 P-Tuning 微调相比，LLaMA-Factory 的 LoRA 微调提供了 3.7 倍的加速比，同时在广告文案生成任务上取得了更高的 Rouge 分数。结合 4 比特量化技术，LLaMA-Factory 的 QLoRA 微调进一步降低了 GPU 显存消耗。

【ChatGLM3】（7）：在autodl上，使用A50显卡，使用LLaMa-Factory开源项目对ChatGLM3进行训练，非常方便的，也方便可以使用多个数据集,chatgpt,大模型,autodl,llama,chatglm3,大模型

2，安装LLaMa-Factory

先下载git 代码，然后执行安装：

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd /LLaMA-Factory
pip3 install -r requirements.txt

参考文档：
https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md

然后启动项目：

python3 src/train_web.py

可以修改代码中的端口：

from llmtuner import create_ui


def main():
    demo = create_ui()
    demo.queue()
    demo.launch(server_name="0.0.0.0", server_port=6006, share=False, inbrowser=True)


if __name__ == "__main__":
    main()

3，启动成功

就可以看到界面了：

选择完成就可以预览脚本了：
【ChatGLM3】（7）：在autodl上，使用A50显卡，使用LLaMa-Factory开源项目对ChatGLM3进行训练，非常方便的，也方便可以使用多个数据集,chatgpt,大模型,autodl,llama,chatglm3,大模型

然后就可以执行了。
过一会就可以看到过程图了：

可以展示进度百分百，和曲线了。确实非常方便。
【ChatGLM3】（7）：在autodl上，使用A50显卡，使用LLaMa-Factory开源项目对ChatGLM3进行训练，非常方便的，也方便可以使用多个数据集,chatgpt,大模型,autodl,llama,chatglm3,大模型
GPU使用在23G左右：

资源消耗：

4，总结

工具还是非常的简单，可以把机构参数进行设置下。
主要就是把参数可视化，同时把结果也可视化。
非常的方便。进度也可以看到。
支持很多模型：文章来源地址https://www.toymoban.com/news/detail-755666.html

到了这里，关于【ChatGLM3】（7）：在autodl上，使用A50显卡，使用LLaMa-Factory开源项目对ChatGLM3进行训练，非常方便的，也方便可以使用多个数据集的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！