LLaMA微调记录-Toy模板网

这篇具有很好参考价值的文章主要介绍了LLaMA微调记录。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

本文基于开源代码https://github.com/Lightning-AI/lit-llama/tree/main执行微调

其他参考链接：

Accelerating LLaMA with Fabric: A Comprehensive Guide to Training and Fine-Tuning LLaMA - Lightning AI

结构化数据示例： BelleGroup/train_0.5M_CN · Datasets at Hugging Face

LLaMA微调记录,bug

finetune记录

在Alpaca数据集上finetune

下载代码，配置环境：https://github.com/Lightning-AI/lit-llama/blob/main/README.md

准备模型：https://github.com/Lightning-AI/lit-llama/blob/main/howto/download_weights.md

finetune on Alpaca dataset:https://github.com/Lightning-AI/lit-llama/blob/main/README.md

LLaMA微调记录,bug

在个人数据集finetune

准备数据集：

对于结构化数据集（json结构，包含“instructions”、“output”字段），复制lit-llama-main/scripts/prepare_alpaca.py代码，修改相应的输入文件、训练校验集划分、保存路径等

对于非结构化数据集，复制lit-llama-main/scripts/prepare_any_text.py代码，修改相应内容。可参考以下链接https://github.com/Lightning-AI/lit-llama/blob/main/howto/unstructured_dataset.md

训练：

修改lit-llama-main/finetune/lora.py代码中的数据集路径、输出数据路径，运行代码即开始训练

推理：

修改lit-llama-main/generate/lora.py模型路径，进行推理

LLaMA微调记录,bug

改bug记录

bug:

执行generate.py出错：ValueError: Precision 'bf16-true' is invalid. Allowed precision values: ('16-mixed', 'bf16-mixed', '32-true', '64-true', 64, 32, 16, '64', '32', '16', 'bf16')

解决:

lightning 版本错误

pip uninstall -y lightning; pip install -r requirements.txt

或下载lighning zip,然后 pip install lightning-master.zip -U
GitHub - Lightning-AI/lightning: Deep learning framework to train, deploy, and ship AI products Lightning fast.cc

参考：

ValueError: Precision 'bf16-true' is invalid. Allowed precision values: ('16-mixed', 'bf16-mixed', '32-true', '64-true', 64, 32, 16, '64', '32', '16', 'bf16') · Issue #241 · Lightning-AI/lit-gpt · GitHub

bug：No module named 'torch.utils._device'

解决：No module named 'torch.utils._device' · Issue #135 · Lightning-AI/lit-llama · GitHub

bug:RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1. Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.

解决：bug记录往上翻看到是max_seq_length的问题，定位到对应函数，传入更大的max_seq_length。文章来源地址https://www.toymoban.com/news/detail-615430.html

到了这里，关于LLaMA微调记录的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！