Meta 最新发布 LLaMA 2（允许商业化）-Toy模板网

这篇具有很好参考价值的文章主要介绍了Meta 最新发布 LLaMA 2（允许商业化）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Llama 2 模型介绍

2023年7月18日，Meta 发布了Llama 2，包含7B，13B，70B三种参数（34B暂时还未发布）。
官方： https://ai.meta.com/llama/
论文：Llama 2: Open Foundation and Fine-Tuned Chat Models
模型：https://huggingface.co/meta-llama
github：https://github.com/facebookresearch/llama

Llama 2相比Llama最大亮点之一是允许商业化，但需要注意的是如果使用Llama 2的企业月活人数超过7亿，将需要向Meta申请特定的商业许可。

Llama 2的核心点

Llama 2 训练语料相比LLaMA多出40%，接受了 2 万亿个标记的训练；
Llama 2 上下文长度是由之前的2048升级到4096，可以理解和生成更长的文本；
Llama 2 的34B、70B模型采用分组查询注意力（GQA），代替了MQA和MHA，主要是考虑效果和易扩展性的权衡（GQA可以提高大模型的推理扩展性）。
Meta 最新发布 LLaMA 2（允许商业化）,llama

Llama 2的测评结果

公布的测评结果显示，Llama 2 在包括推理、编码、精通性和知识测试等许多外部基准测试中都优于其他开源语言模型。
Meta 最新发布 LLaMA 2（允许商业化）,llama

Llama 2的预训练

Llama 2以 Llama 1 的预训练方法为基础，使用了优化的自回归 transformer，并做了一些改变以提升性能。
Meta 最新发布 LLaMA 2（允许商业化）,llama

预处理数据

Llama 2 的训练语料库包含了来自公开可用资源的混合数据，并且不包括 Meta 产品或服务相关的数据。同时从一些包含大量个人信息的网站上删除了相关数据。

预训练设置和模型架构

Llama 2 采用了 Llama 1 中的大部分预训练设置和模型架构，包括标准 Transformer 架构、使用 RMSNorm 的预归一化、SwiGLU 激活函数和旋转位置嵌入。

与Llama 1的主要区别包括增加的上下文长度（由2048变为4096）和分组查询注意力（GQA）。

在超参数方面，Llama 2 使用 AdamW 优化器进行训练，其中 β_1 = 0.9，β_2 = 0.95，eps = 10^−5。同时使用余弦学习率计划（预热 2000 步），并将最终学习率衰减到了峰值学习率的 10%。使用了用了0.1的权重衰减和1.0的梯度剪切。训练损失如下：
Meta 最新发布 LLaMA 2（允许商业化）,llama
可以看出，对2T的tokens进行预训练后，模型仍然没有出现饱和现象。

分词采用和Llama 1 相同的分词器，即字节对编码（BPE），使用了SentencePiece中的实现，将所有数字分割成单个数字，并使用字节来分解未知的UTF-8字符，总词汇大小是32K tokens。

关于GQA

论文：GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints

GQA是2023年5月谷歌提出来的一种注意力方法。了解GQA前，要先知道 MHA 和 MQA。
MHA就是Transformer中的多头注意力，如果头数是8的话，就会有8个Q，8个K，8个V（Q是查询向量，K是键向量，V是值向量）；
MQA是多查询注意力，是对MHA的一种改进，将K和V都只保留一个，相当于是用8个Q，1个K，1个V进行注意力的计算，这种方式的优点是可以加速解码器的推理速度（因为K和V的计算量少了），缺点就是性能下降；
GQA的提出，则是将K和V的数量设置为大于1，小于Q的一个值（如设置为4，介于1到8之间），这种方式以较小的计算成本将多头注意力模型转换为多查询模型，从而实现快速的多查询和高质量的推理，实现了性能和速度的平衡。
Meta 最新发布 LLaMA 2（允许商业化）,llama
GQA在推理速度上几乎和MQA持平，在效果上几乎和MHA持平。

Llama-2-chat 模型介绍

Llama-2-chat 模型在帮助性和安全性上的表现

Llama-2-chat 模型 接受了超过 100 万个新的人类注释的训练，使用来自人类反馈的强化学习（RLHF）来确保安全性和帮助性。
Llama-2-chat 模型在帮助性和安全性（helpfulness and safety）的表现优于现有的开源模型，甚至和一些闭源模型的效果相当（评估方式为人工评估）

下图为Llama 2-70b-chat 和其他的开源和闭源模型在大约4000个帮助性提示的效果对比，其中Win表示赢，Tie表示持平局，Loss表示失败。

下图为 Llama 2-70b-chat 和其他的开源和闭源模型在大约2000个对抗性提示中判断模型的安全违规情况的效果对比。纵轴表示的是违规率，数值越小，表示越安全。

Llama-2-chat 模型的训练过程

Meta 最新发布 LLaMA 2（允许商业化）,llama
Llama 2-Chat 的训练：首先使用公开的在线资源对Llama 2进行预训练，然后通过监督微调的方式创建一个初始版本的Llama 2-Chat，最后使用具有人类反馈的强化学习（RLHF）方法，特别是通过拒绝采样和近似策略优化（PPO），对模型进行迭代优化。在整个RLHF阶段，迭代奖励建模数据的积累与模型增强并行对于确保奖励模型保持在分布范围内至关重要。