[论文笔记]P-tuning

10月前作者：愤怒的可乐分类：Toy博客阅读(40) 违法举报

这篇具有很好参考价值的文章主要介绍了[论文笔记]P-tuning。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

引言

今天带来第四篇大模型微调的论文笔记GPT Understands, Too。

本篇工作提出的方法是P-tuning，使用可训练的连续提示嵌入，使GPT在NLU上表现比传统的全量微调的GPT更好的效果。P-tuning还提高了BERT在少样本和监督设定下的性能，大幅减少了提示工程的需求。

总体介绍

根据训练目标，预训练语言模型可被分为三类：单向语言模型(GPT)用于自然语言生成(NLG)；双向语言模型(BERT)用于自然语言理解(NLU)；以及混合(hybrid)语言模型(XLNet和UniLM)结合了前面两种做法。

一直以来，人们注意到GPT类的模型基于微调的情况下也在NLU上表现不好，因此认为它们本质上并不适合NLU任务。

GPT-3以其在少样本学习和零样本学习上的性能，尤其是在手工设置提示的情况下，已经席卷了机器学习社区。这个模型在使用人工设计的提示时表现出色，引起了广泛的关注和讨论。它表明了大规模单向语言模型集合适合的手工提示可能也能用于NLU任务。然而手工设置提示非常麻烦，需要进行大量的验证。后面有些学者尝试利用离散的提示，但因为神经网络本质上是连续的，离散的提示是次优的。

在这篇工作中，作者提出了新的方法——P-tuning，用于在连续空间自动搜索提示填补了GPT和NLU应用的差距。P-tuning使用少量连续自由的参数用作输入到预训练语言模型的提示。

简单的P-tuning方法为GPTs带来了显著的改进。文章来源地址https://www.toymoban.com/news/detail-731200.html

到了这里，关于[论文笔记]P-tuning的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

Segment Anything论文翻译，SAM模型，SAM论文，SAM论文翻译；一个用于图像分割的新任务、模型和数据集；SA-1B数据集

论文链接： https://arxiv.org/pdf/2304.02643.pdf https://ai.facebook.com/research/publications/segment-anything/ 代码连接：https://github.com/facebookresearch/segment-anything 论文翻译： http://t.csdn.cn/nnqs8 https://blog.csdn.net/leiduifan6944/article/details/130080159 本文提出Segment Anything (SA)项目:一个用于图像分割的新任务

2023年04月19日
浏览(51)
OpenAI 生成视频模型 Sora 论文翻译

视频生成模型作为世界模拟器本技术报告的重点是 (1) 将所有类型的视觉数据转换为统一表示，以便对生成模型进行大规模训练的方法，以及 (2) 对索拉的能力和局限性的定性评估。该报告不包括模型和实现细节。许多先前的工作使用各种方法研究了视频数据的生成建模，包

2024年02月20日
浏览(58)
【YOLO系列】YOLOv3论文超详细解读（翻译＋学习笔记）

YOLOv3（《Yolov3:An incremental improvement》）是Joseph Redmon大佬关于YOLO系列的最后一篇，由于他反对将YOLO用于军事和隐私窥探，2020年2月宣布停止更新YOLO。 YOLOv3在YOLOv2的基础上改良了网络的主干，利用多尺度特征图进行检测，改进了多个独立的Logistic regression分类器来取代softmax来

2024年02月07日
浏览(63)
【YOLO系列】YOLOv7论文超详细解读（翻译＋学习笔记）

终于读到传说中的YOLOv7了~≖‿≖✧ 这篇是在美团的v6出来不到一个月就高调登场，作者还是我们熟悉的AB大神（对，就是v4那个），读起来又是“熟悉”的感觉（贯穿了我的整个五一假期（╯－＿－）╯╧╧）。其实关于YOLOv7的网络结构还有很多细节值得深入研究，以及代码

2024年02月02日
浏览(75)
【YOLO系列】YOLOv1论文超详细解读（翻译＋学习笔记）

从这篇开始，我们将进入YOLO的学习。YOLO是目前比较流行的目标检测算法，速度快且结构简单，其他的目标检测算法如RCNN系列，以后有时间的话再介绍。本文主要介绍的是YOLOV1，这是由以Joseph Redmon为首的大佬们于2015年提出的一种新的目标检测算法。它与之前的目标检测算法

2024年02月04日
浏览(61)
【YOLO系列】YOLOv2论文超详细解读（翻译＋学习笔记）

时隔一年，YOLOv2隆重登场，新的YOLO版本论文叫《YOLO9000: Better, Faster, Stronger》，作者 Joseph Redmon 和 Ali Farhadi 在 YOLOv1 的基础上，进行了大量改进，提出了 YOLOv2 和 YOLO9000，重点解决YOLOv1召回率和定位精度方面的不足。论文原文：[1612.08242] YOLO9000: Better, Faster, Stronger (arxiv.org) 项

2023年04月08日
浏览(54)
经典神经网络论文超详细解读（六）——DenseNet学习笔记（翻译＋精读＋代码复现）

上一篇我们介绍了ResNet：经典神经网络论文超详细解读（五）——ResNet（残差网络）学习笔记（翻译＋精读＋代码复现） ResNet通过短路连接，可以训练出更深的CNN模型，从而实现更高的准确度。今天我们要介绍的是 DenseNet(《Densely connected convolutional networks》) 模型，它的基本

2024年02月03日
浏览(62)
经典神经网络论文超详细解读（八）——ResNeXt学习笔记（翻译＋精读＋代码复现）

今天我们一起来学习何恺明大神的又一经典之作： ResNeXt（《Aggregated Residual Transformations for Deep Neural Networks》）。这个网络可以被解释为 VGG、ResNet 和 Inception 的结合体，它通过重复多个block（如在 VGG 中）块组成，每个block块聚合了多种转换（如 Inception），同时考虑到跨层

2024年02月03日
浏览(55)
经典神经网络论文超详细解读（五）——ResNet（残差网络）学习笔记（翻译＋精读＋代码复现）

《Deep Residual Learning for Image Recognition》这篇论文是何恺明等大佬写的，在深度学习领域相当经典，在2016CVPR获得best paper。今天就让我们一起来学习一下吧！论文原文：https://arxiv.org/abs/1512.03385 前情回顾：经典神经网络论文超详细解读（一）——AlexNet学习笔记（翻译＋精读）

2024年02月08日
浏览(47)
论文翻译：DeepFilterNet

论文题目：DeepFilterNet: A Low Complexity Speech Enhancement Framework for Full-Band Audio based on Deep Filtering 题目译文：DeepFilterNet：基于深度滤波器的全频带音频低复杂度语音增强框架论文地址：https://arxiv.org/abs/2110.05588 论文代码：https://github.com/Rikorose/DeepFilterNet 引用：Schröter H, Rosenkr

2024年02月07日
浏览(63)