Lora微调的概念：
lora是Low-Rank Adaptation的缩写，是微软的Hu等人于2021年挂在ArXiv上（后又发表在ICLR2022上）的一篇论文《LoRA: Low-Rank Adaptation of Large Language Models》中提出的，通俗来讲，是一种降低模型可训练参数，又尽量不损失模型表现的大模型微调方法。为什么时隔两年，lora又突然火了一把呢？这一切都要感谢ChatGPT。
这里就简单介绍这么多，LORA微调系列(一)：LORA和它的基本原理 - 知乎 (zhihu.com)这篇文章讲解的非常详细，有兴趣的同学可以去看一看。随着大模型的爆火，lora已经成为必不可少的工具之一了。下面就开始讲述如何在UI页面可视化的微调大模型。
step 1 下载源码
ChatGLM的微调
git clone https://github.com/hiyouga/ChatGLM-Efficient-Tuning.gitLlama的微调：
git clone https://github.com/hiyouga/LLaMA-Efficient-Tuning.gitstep 2 准备数据集
准备好数据集（json文件），放入./ChatGLM-Efficient-Tuning-main/data文件夹中
Step 3 查看数据集SHA-1哈希值
sha1sum /path/to/your/file.txtStep 4 添加数据集
将SHA-1哈希值添加到dataset_info.json文件中，例如：
"alpaca_gpt4_zh": {
"file_name": "alpaca_gpt4_data_zh.json",
"file_sha1": "3eaa3bda364ccdd59925d7448a698256c31ef845"
},Step 5 运行程序
安装依赖：
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
运行程序：
python ./ChatGLM-Efficient-Tuning-main/src/train_web.pyStep 6 修改参数&运行
UI页面：
Step 6.1 训练
1.修改Model Path：本地模型的地址
2.修改Fintuning method：微调方式（默认为lora）
3.选择需要训练的数据集
4.修改以下的超参数：
Learning rate：学习率（e-3~e-5），Epochs，Batchsize，Save steps
这里的Save steps是每多少步就保存一次Checkpoint文件。例如有3000个Total steps，Save steps为1000，那么就是每1000个step就保存一次Checkpoint文件，最后一共三个文件。
5.开始训练： 点击start
Step 6.2 测试
点击Evaluate，选择数据集，修改相关的参数，点start
Step 6.3 Chat
点击Load model（可以实时的查看微调结果或者模型结果）
Step 6.4 导出模型
输入导出模型的地址，以及模型最大文件的大小。
Llama的微调方式和ChatGLM的微调方式一样，这里就不多赘述了。文章来源：https://www.toymoban.com/news/detail-777581.html
最后，希望大家都可以炼丹成功！！！文章来源地址https://www.toymoban.com/news/detail-777581.html
到了这里，关于一文带你UI界面玩转ChatGLM以及Llama的微调的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![[玩转AIGC]LLaMA2之如何微调模型](https://imgs.yssmx.com/Uploads/2024/02/772550-1.png)
