Layer Normalization (LayerNorm) | Root Mean Square Layer Normalization (RMSNorm) | |
原理 | 对特征张量按照某一维度或某几个维度进行0均值,1方差的归一化 操作 LayerNorm 是一种标准化方法,它计算一个样本的均值和方差,然后使用这些来对样本进行归一化。这种方法是独立于批量大小的,使得模型更加稳定。 |
RMSNorm是对LayerNorm的一个改进,没有做re-center操作(移除了其中的均值项),可以看作LayerNorm在均值为0时的一个特例。论文通过实验证明,re-center操作不重要。 RMSNorm 也是一种标准化方法,但与 LayerNorm 不同,它不是使用整个样本的均值和方差,而是使用平方根的均值来归一化,这样做可以降低噪声的影响。 |
公式 | ||
公式解释 | 这里的x可以理解为 张量中具体某一维度的所有元素,比如对于 shape 为 (2,2,4) 的张量 input,若指定归一化的操作为第三个维度,则会对第三个维度中的四个张量(2,2,1),各进行上述的一次计算 | 这里的 ai与Layer Norm中的 x 等价,作者认为这种模式在简化了Layer Norm的同时,可以在各个模型上减少约 7%∼64% 的计算时间 |
文章来源地址https://www.toymoban.com/news/detail-522641.html文章来源:https://www.toymoban.com/news/detail-522641.html
到了这里,关于Llama 美洲鸵(大羊驼)改进之一:均方层归一化RMSNorm的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!