[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）-Toy模板网

这篇具有很好参考价值的文章主要介绍了[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

关键词：大模型，LLaMA，Alpaca，Lora，Belle，模型训练，模型微调，指令微调

最近尝试在领域数据进行生成式大模型的再训练和微调，在调研和实验中整理了一些项目&论文的基本信息，后续会持续完善和补充。

LLaMA大模型及其衍生模型

1. LLaMA

项目地址： https://github.com/facebookresearch/llama

LLaMa语料数据如下，对各类语料又做了「去重、筛选」等，每种数据的处理方式有差别，具体见论文。语料中不包含中文数据。
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）
模型参数：1.4T tokens, 2 epochs, 训练耗时65B模型: 2048 * 80G A100 * 21day，其他参数见下表：

相对于之前的大模型，LLaMa做了三点改进：

GPT3在每层transformer之后做正则化，调整为在每层transformer之前做正则化，正则化采用RMSNorm；
相比PaLM，在激活函数上，使用SwiGLU替换ReLU非线性激活函数；
相比GPTNeo，在位置编码上，使用RoPE替代绝对位置编码；

LLaMA相对其他大模型在零样本常识推理任务上的性能对比：
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）
结论：在其他零样本、小样本任务上与各大模型进行性能对比，结果显示，LLaMA-13B在大多数任务上能够赶上GPT3，但模型大小不足GPT3的十分之一。LLaMA-65B与Chinchilla-70B/PaLM-540B在多个任务也具有一定的竞争力。

更重要的是LLaMA是chatGPT之后首个被广泛用作底座模型的开源大模型，为后续基于llama的衍生模型做出了极大的贡献
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）

2. stanford_alpaca

项目地址：https://github.com/tatsu-lab/stanford_alpaca

以llama做为底座模型，引入新的数据进行指令微调ISF，新数据采用self-instruct的方式有Text-davinci-003进行生成，得到52k新数据进行微调训练。

本项目的贡献在于，提供了用于指令微调的数据生成方式，同时证明了ISF后模型效果的提升，其之后的很多项目均是基于这个思路。
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）

3. ChatDoctor

本项目可以看着是standford-aplaca方法在医疗领域的衍生，其借助chatGPT对结构化知识库生成ISF数据集的方法在后续项目的多被借鉴。

项目地址： https://github.com/Kent0n-Li/ChatDoctor
基础模型：llama-7b
指令样本构造：Standford Alpaca 52k数据，700类疾病知识库借助ChatGPT生成的5k数据
指令样本量：52k + 5k
任务评测：对比ChatGPT在医学内容上进行提问，评估内容输出的准确性，ChatGPT 87%，ChatDocter 91%
模型发布：ChatDocktor，模型在stanford alpaca的基础上进行再训练
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）

4. alpaca-lora

项目地址： https://github.com/tloen/alpaca-lora

Alpaca-Lora (羊驼-Lora)，在stanford-alpaca的基础上，使用 Lora (Low-rank Adaptation) 技术对模型进行指令微调，相当于是对模型进行轻量化训练，使得对显存的占用和训练时长都大幅度降低。在大模型训练高资源高成本的情况下，使用lora技术，牺牲少部分性能却使得大模型训练变得可行，在之后的项目中被广泛用到。

LoRa结构：在模型的Linear层的旁边，增加一个「旁支」，训练更新旁支参数替代模型参数。
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）

5. Chinese-LLaMA-Alpaca

项目地址： https://github.com/ymcui/Chinese-LLaMA-Alpaca

该项目值得被重点推荐和学习，ymcui在Bert时代Chinese-BERT-wwm亦是杰出之作。

该项目在LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练，同时中文Alpaca模型进一步使用了中文指令数据进行精调。保姆级说明文档及量化版本可轻松部署本地PC。

预训练数据：通用中文语料（bert-wwm，macbert，lert，pert等语料）13.6M行

指令微调样本数据：200w数据，中英文翻译500k + pCLUE 300k + Alpaca 100k(中/英)

6. BELLE

项目地址：https://github.com/LianjiaTech/BELLE
基础模型：bloom-7b， llama-7b
指令样本构造：Standford Alpaca方法，chatGPT self-instruct
指令样本量：20万、60万、100万和200万样本
任务评测：在Extract, Classification, Closed QA, 和Summarization任务上，增加数据能持续带来效果的提升，还未达到瓶颈。在Translation, Rewrite, 和Brainstorming任务上，几十万的数据量就能获得较好的效果。在Math, Code, 和COT任务上，模型效果较差，而且增加数据量已经无法带来效果的提升。 https://github.com/ZrrSkywalker/LLaMA-Adapter
模型发布：BLOOMZ-7B1-xx，LLAMA-7B-xx，xx表示不同的指令样本量