【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models-Toy模板网

这篇具有很好参考价值的文章主要介绍了【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

code：GitHub - microsoft/LoRA: Code for loralib, an implementation of "LoRA: Low-Rank Adaptation of Large Language Models"

做法：

把预训练LLMs里面的参数权重给冻结；
向transformer架构中的每一层，注入可训练的 rank decomposition matrices-（低）秩分解矩阵，从而可以显著地减少下游任务所需要的可训练参数的规模。

效果举例：

相比于使用Adam的gpt3 175B，LoRA可以降低可训练参数规模，到原来的1/10000，以及GPU内存的需求是原来的1/3。

【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models,语言模型,人工智能,自然语言处理

本文中的重新参数化（重参数化），只有A和B是可训练的。

上图中，左边的蓝色的部分，冻住了。

右边的橙色部分，是可训练的。注意，r = rank，即矩阵的秩，可以是非常小的一个量。(例如，r=1, 2 在上面图1中）

上面还有个+号，是把左右两个分支，合并起来了。

下面的输入是x，一个d维度（例如，可以是d=12288）的向量；上面的输出是h，也是一个向量。

【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models,语言模型,人工智能,自然语言处理

目前的基于有标签数据集Z={(x, y)}的微调，代价大，容易分裂

容易分裂是说，在一个数据集上微调，可能会拉低微调得到的模型，在其他任务上的效果；无法达到真正的通用性。而且每个任务下的数据集都这么搞，代价（运算成本，使用成本）太高了。

从而引入本文的，数学建模：

【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models,语言模型,人工智能,自然语言处理

保持原来的参数不动，而引入少量的一些可训练参数，从而让这些参数帮忙做针对下游任务的“适应性微调”

下面是一个初步的结果，对比几种baseline和RoLA的微调方法，指标用的是推理延时（milliseconds, ms, 用时，越小越好）。

【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models,语言模型,人工智能,自然语言处理

推理用时的对比，越小越好。

【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models,语言模型,人工智能,自然语言处理

核心方法的描述，数学建模，和图形化表示

公式（3）完整地对应到了图1

不过，如果是每个线性层W，都准备一个这样的B和A，那么对于原来的transformer里面的FFN的两个线性层，一个mhsa中的W_q,k,v,o的四个线性层，都可以按照这个方式改造。

所以，拿一个线性层举例，还是很具有代表性的。毕竟，说到底，transformer里面的基本模块，还是一个个的线性层。】

应用LoRA到transformer中

在后续的论述中，作者们只对attention里面的四个线性层，进行LoRA的处理。对于mlp那边的两个线性层，还是冻结，不用LoRA：

【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models,语言模型,人工智能,自然语言处理

把LoRA应用到transformer中的具体的细节：只改动attention里面的四个线性层。其他的MLP的两个线性层不动。

整体动机，就是为原来的线性层变换，增加了一个low-rank的参数r，以及（r, d)和(d, r)的两个线性层。从而有：h = W_0x + BAx

参考：[速读经典]LoRA-给大语言模型做Low-Rank低秩改造 - 知乎 (zhihu.com)文章来源地址https://www.toymoban.com/news/detail-771115.html

到了这里，关于【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models