[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models

7月前作者：happyprince 分类：Toy博客阅读(38) 违法举报

这篇具有很好参考价值的文章主要介绍了[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1. 基本信息

题目	论文作者与单位	来源	年份
LoRA: Low-Rank Adaptation of Large Language Models	microsoft	International Conference on Learning Representations	2021

524 Citations

论文链接：https://arxiv.org/pdf/2106.09685.pdf

论文代码：https://github.com/microsoft/LoRA

2. 要点

研究主题	问题背景	核心方法流程	亮点	数据集	结论	论文类型	关键字
微调大模型	对比较大的模型进行全部参数的微调显得不太可行，例如GPT-3 175B,每介任务都部署一个单独的GPT-3，这个显得十分的昂贵。	提出Low-Rank Adaptation，LoRA.	冻结了预先训练的模型权值，并将可训练的秩分解矩阵注入变压器架构的每一层，大大减少了下游任务的可训练参数的数量。		效果与全参微调相当或比全参要好，并且没有推理延迟。		LoRa

目的主要是不想微调模型的所有参数，去满足下游任务，因为这个成本太大的，特别是大模型例如175B的GPT-3；同时，这个方法也有人提出了相关的方法，可是这些方法存在问题，通过扩展模型的深度或减少模型的可用序列长度来实现存在推理延迟。最重要的是质量不太行呀。

启发于：学习到的过度参数化模型实际上存在于一个较低的intrinsic dimension(内在维度)上。即是训练下游任务不需要这么多参数，采用降秩的方法来保留最内在的参数。

Measuring the Intrinsic Dimension of Objective Landscapes, Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning. arXiv:2012.13255 [cs], December 2020.

优点：

只共享一个大模型，对于不同的任务，只训练不同的A,B.

训练更有效，训练参数少；

在推理方面，线性合并，没有推理延迟；

LoRA与许多先前的方法正交，可以与其中许多方法结合，比如前缀调优。

3. 模型(核心内容)

3.1 形式表达

[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models,论文阅读,笔记,语言模型

3.2 模型结构

[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models,论文阅读,笔记,语言模型

W0 + ∆W = W0 + *BA, 其中 *B:d*r, A:r*k, r << min(d, k).

在训练的时候W0的冻结的。

[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models,论文阅读,笔记,语言模型

Transformer中，自关注力有4个矩阵，MLP模块有2个矩阵；

这里实验只关心自关注力相关的权重矩阵。

4. 实验与分析

对比实验

Fine-Tuning (FT)：传统的微调。FT变体，只训练最后两层(FTTop2)；

Bias-only or BitFit：只训练bias vectors；

**Prefifix-embedding tuning (PreEmbed)：**在输入标记中插入特殊的标记；

Prefix-layer tuning (PreLayer)：是对前缀嵌入调优的扩展;

Adapter tuning：在自注意模块（和MLP模块）和后续的剩余连接之间插入适配器层;

Adapter_H:Houlsby et al. (2019) ;

Adapter_L:Lin et al. (2020)

Adapter_P: Pfeiffer et al. (2021),

**Adapter_***D: *AdapterDrop (R¨uckl′e et al., 2020)

所有模型，限制相关的参数大小规模Θ：

[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models,论文阅读,笔记,语言模型

结果：
[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models,论文阅读,笔记,语言模型

[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models,论文阅读,笔记,语言模型

[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models,论文阅读,笔记,语言模型

训练参数量与性能对比实验：

[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models,论文阅读,笔记,语言模型

对于GPT-3随着样本的增加的效果：

[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models,论文阅读,笔记,语言模型

5. 代码

https://github.com/microsoft/LoRA

6. 总结

从效果来看，不论预训练模型的大小，LoRA采用更少的参数，可以达到全参模型的更好的效果。

7. 知识整理（知识点，要读的文献，摘取原文）

通过更少的参数去适应下游任务，主要是两个方向（adapter, soft Prompt）：

adding adapter layers，optimizing some forms of the input layer activations

The major downside of fine-tuning is that the new model contains as many parameters as in the original model.

微调的主要缺点是，新模型包含的参数与原始模型一样多。

8. 参考文献

made by happyprince文章来源地址https://www.toymoban.com/news/detail-740494.html

到了这里，关于[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

【论文精读】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

当下大模型时代最火的低资源微调大模型方法之一，方法简单易懂，道理清晰明了，对未来的工作有很强的启发性。如果想要深入了解LoRA的底层原理，建议仔细看一看这篇文章，如果只是应用，那么简单了解就好了~ 大模型预训练后的全量微调往往由于算力缺口而不可行，因

2024年02月10日
浏览(93)
【DL】《LoRA: Low-Rank Adaptation of Large Language Models》译读笔记

《Low-rank Adaption of Large Language Models: Explaining the Key Concepts Behind LoRA》 LoRA的秩分解矩阵是随机初始化的，然后通过梯度下降法进行训练。文章中提到，这种初始化方法可以保证LoRA的矩阵与预训练模型的权重相互正交，从而避免了对预训练模型的干扰。文章还比较了其他几种初

2024年02月08日
浏览(36)
简单理解大模型参数高效微调中的LoRA(Low-Rank Adaptation)

[论文地址] [代码] [ICLR 22] 阅前须知：本博文可能有描述不准确/过度简化/出错的地方，仅供参考。网络结构其中，原有模型的参数是直接冻结的，可训练参数只有额外引入的LoRA参数(由nn.Parameter实现)。模型微调的本质记网络原有预训练参数为 W 0 ∈ R d × k W_0 in R^{d times

2024年02月15日
浏览(35)
LLM：LoRA: Low-Rank Adaptation of Large Language Models

随着模型规模的不断扩大，微调模型的所有参数（所谓full fine-tuning）的可行性变得越来越低。以GPT-3的175B参数为例，每增加一个新领域就需要完整微调一个新模型，代价和成本很高。为解决微调大规模语言模型到不同领域和任务的挑战，已有多种方案，比如部分微调、使用

2024年02月07日
浏览(32)
LLM微调 | LoRA: Low-Rank Adaptation of Large Language Models

🔥 发表于论文：(2021) LoRA: Low-Rank Adaptation of Large Language Models 😄 目的：大模型预训练+微调范式，微调成本高。LoRA只微调新增的小部分参数。 adapter增加了模型层数，引入了额外的推理延迟； prefix-tuning比较难训练，效果不如直接finetune。 LoRA不会引入额外的延迟，甚至原文中

2024年02月17日
浏览(41)
LORA: LOW-RANK ADAPTATION OF LARGE LAN-GUAGE MODELS

Paper name LORA: LOW-RANK ADAPTATION OF LARGE LAN-GUAGE MODELS Paper Reading Note Paper URL: https://arxiv.org/pdf/2106.09685.pdf Code URL: huggingface 集成： https://github.com/huggingface/peft 官方代码： https://github.com/microsoft/LoRA 本文提出了低秩自适应 (Low-Rank Adaptation, LoRA)，它冻结了预训练的模型权重，并将可训练

2023年04月21日
浏览(31)
2021-arxiv-LoRA Low-Rank Adaptation of Large Language Models

Paper: https://arxiv.org/abs/2106.09685 Code: https://github.com/microsoft/LoRA 自然语言处理的一个重要范式包括对通用领域数据的大规模预训练和对特定任务或领域的适应。当预训练更大的模型时，完全微调（重新训练所有模型参数）变得不那么可行。以 GPT-3 175B 为例，部署微调模型的独立

2024年02月07日
浏览(55)
Raki的读paper小记：LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

研究任务对大模型进行部分微调已有方法和相关工作现有技术通常通过扩展模型深度引入推理延迟（Houlsby 等人，2019；Rebuffi 等人，2017），或通过减少模型可用序列长度（Li 和 Liang，2021；Lester 等人，2021；Ham-bardzumyan 等人，2020；Liu 等人，2021）面临挑战这些方法通常无法

2024年02月15日
浏览(37)
Lora升级！ReLoRa！最新论文 High-Rank Training Through Low-Rank Updates

关注公众号TechLead，分享AI与云服务技术的全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，项目管理专业人士，上亿营收AI产品研发负责人。尽管通过扩展导致具有数千亿参

2024年02月10日
浏览(32)
Lightening Network for Low-Light Image Enhancement 论文阅读笔记

这是2022年TIP期刊的一篇有监督暗图增强的文章网络结构如图所示： LBP的网络结构如下：有点绕，其基于的理论如下。就是说，普通的暗图增强就只是走下图的L1红箭头，从暗图估计一个亮图。但是其实这个亮图和真实的亮图还是有一些差距，怎么弥补呢，可以再进一步学习

2024年02月16日
浏览(35)