基于LLAMA-7B的lora中文指令微调-Toy模板网

这篇具有很好参考价值的文章主要介绍了基于LLAMA-7B的lora中文指令微调。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

前言：

1. 选用工程

咱们还是用lit-llama（环境安装过程见上篇博客）

模型下载
在huggingface上搜索"llama chinese"，我们选以下这个模型，如图所示：
模型转换
切换到lit-llama的工程，修改scripts/convert_hf_checkpoint.py，修改路径，
- checkpoint_dir：从huggingface下载的权重路径
- output_dir：转换之后保存的路径
  如下图所示：
切换到lit-llama项目路径下，运行如下指令，进行模型转换：
```
python scripts/convert_hf_checkpoint.py
```
转换完毕后，在刚才设置的输出路径，会得到lit-llama.pth文件（26G），在上一级目录有tokenizer.model文件

修改vocab_size
由于原始llama-7b指令的vocab_size为32000，而下载的中文llama-7b的词典大小为49953，需要对其进行修改。打开lit-llama/model.py，将padded_vocab_size设置为49953，如下图所示：
打开finetune/lora.py（建议复制一份），修改训练脚本指令路径，包括：
1）data_dir：中文指令文件路径
2）pretrained_path：转换之后的中文lit-llama.pth路径
3）tokenizer_path：中文llama-7b的tokenizer.model路径
4）out_dir：保存lora权重文件的路径
切换到lit-llama项目路径，运行以下指令开始指令微调：
```
python finetune/lora.py
```
训练过程如下所示：

切换到lit-llama项目路径，打开generate/lora.py（建议复制一份），修改对应的权重路径和tokenizer.model路径，如下图所示：
我们设置prompt为"中国的首都是哪里？"，运行如下指令进行测试：
```
python generate/lora-chinese.py --prompt "中国的首都是哪里？"
```
测试结果如下所示：

总结：

注意替换vocab_size，原始llama-7b的词典大小为32000，下载的中文预训练模型vocab_size为49953
原工程中max_seq_length设置为256，下载的中文预训练模型max_seq_length为2048，但是由于受显存限制（穷~），做中文指令微调时也设置为max_seq_length=256，可能会影响效果。
下一步工作尝试使用多卡训练以及使用自己的数据进行指令微调

结束。文章来源地址https://www.toymoban.com/news/detail-525654.html

到了这里，关于基于LLAMA-7B的lora中文指令微调的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！