1. Toy模板网首页
  2. >Toy博客

ChatGPT1论文解读《Improving Language Understanding by Generative Pre-Training》

1年前作者：响尾大菜鸟分类：Toy博客阅读(12)违法举报

这篇具有很好参考价值的文章主要介绍了ChatGPT1论文解读《Improving Language Understanding by Generative Pre-Training》。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

论文总结

以下是我阅读完整篇论文做的个人总结，基本包含了ChatGPT1设计的完整框架思路，可以仅看【论文总结】章节。

在GPT1实现的核心架构中，包含两个阶段。
第一阶段

在第一阶段基于一个包含7000本书籍内容的海量未标注文本数据集进行无监督预训练，该阶段引入了一种Transformer模型的变形，GPT1增加了Transformer模型的中间层，并调整了部分模型结构和参数。

第二阶段

在第二阶段，实验组引入12个更加具体的标注文本数据集（诸如中学学校问答文本、政府工作报告文档、文本隐含情感标注文档）进行参数微调。基于第一阶段的模型输出，实验组基于标注数据再训练一个二阶段的线性学习模型。一、二两个阶段模型相加，就得到了最终的GPT1模型。

第二阶段的辅助目标学习

对于GPT1模型的架构，还有很重要的一步，就是在第二阶段参数微调的过程中，还要引入特定的辅助目标学习，具体实现方式是将输入文本进行特定的转化，例如修改分类文本输入的数学表示格式（加入特定的分隔符用于标注分词含义）、修改相似语义句型的词汇先后顺序，这种辅助目标学习可以显著提升模型的泛化能力。
文章来源地址https://www.toymoban.com/news/detail-447650.html

到了这里，关于ChatGPT1论文解读《Improving Language Understanding by Generative Pre-Training》的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包赞助服务器费用

相关文章

  • 论文笔记--ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding

    论文笔记--ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding

    标题：ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding 作者：Yu Sun, Shuohuan Wang, Yukun Li, Shikun Feng, Hao Tian, Hua Wu, Haifeng Wang 日期：2020 期刊：AAAI   文章给出了一种新的NLP预训练模型的训练方法，并提出了ERNIE2.0(Enhanced Representation through kNowledge IntErgration)。ERNIE2.0在ERNIE

    2024年02月09日
    浏览(7)
  • 视频理解大模型调研论文《Video Understanding with Large Language Models: A Survey》简要介绍

    视频理解大模型调研论文《Video Understanding with Large Language Models: A Survey》简要介绍

    本文是关于综述论文《Video Understanding with Large Language Models: A Survey》的部分介绍。文章调研了将视频理解和大语言模型结合的最新技术，从任务、方法、评价、应用等方面对视频大语言模型进行介绍。本文写于2024年4月。 有关本专栏的更多内容，请参考大语言模型论文调研专

    2024年04月26日
    浏览(10)
  • 【论文精读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

    【论文精读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

    自然语言处理（Natural Language Processing，NLP）领域内的 预训练语言模型 ，包括基于RNN的ELMo和ULMFiT，基于Transformer的OpenAI GPT及Google BERT等。预训练语言模型的成功，证明了我们可以从海量的无标注文本中学到潜在的语义信息，而无需为每一项下游NLP任务单独标注大量训练数据。

    2024年02月14日
    浏览(13)
  • [arxiv论文阅读] LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding

    [arxiv论文阅读] LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding

    Yang, S., Liu, J., Zhang, R., Pan, M., Guo, Z., Li, X., Chen, Z., Gao, P., Guo, Y., Zhang, S. (2023). LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding. In arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2312.14074 最近，大型语言模型（LLMs）和多模态大型语言模型（MLLMs）在 指令跟随 和 2D图像理解

    2024年02月02日
    浏览(10)
  • 【GPT-2】论文解读：Language Models are Unsupervised Multitask Learners

    【GPT-2】论文解读：Language Models are Unsupervised Multitask Learners

    论文：Language Models are Unsupervised Multitask Learners 作者：Alec Radford, Jeff Wu, Rewon Child, D. Luan, Dario Amodei, I. Sutskever 时间：2019 GPT-2 是一个有15亿参数的模型，GPT-2的想法是转向一个通用的系统，不需要进行数据集的标注就可以执行许多的任务； 因为数据集的创建是很难的，我们很难

    2024年02月22日
    浏览(7)
  • LLaMA(Open and Efficient Foundation Language Models )论文解读(二)

    LLaMA(Open and Efficient Foundation Language Models )论文解读(二)

    此篇博客主题:LLAMA模型数据、训练时长、功耗及碳排放量 LLaMA: Open and Efficient Foundation Language Models paper https://arxiv.org/pdf/2302.13971v1.pdf Overall, our entire training dataset contains roughly 1.4T tokens after tokenization. For most of our training data, each token is used only once during training, with the exception of t

    2024年02月16日
    浏览(9)
  • 论文解读：(UPL)Unsupervised Prompt Learning for Vision-Language Models

    论文解读：(UPL)Unsupervised Prompt Learning for Vision-Language Models

    存在的问题 之前的来自目标数据集的标记数据(有监督学习)可能会限制可伸缩性。 动机 通过无监督提示学习(UPL)方法，以避免提示工程，同时提高类clip视觉语言模型的迁移性能。 主张top-k而不是top-p 注：top-k是指挑选概率最大的k个，top-p是指挑选预测概率大于p的那些数据 看

    2024年04月23日
    浏览(25)
  • 《Training language models to follow instructions》论文解读--训练语言模型遵循人类反馈的指令

    《Training language models to follow instructions》论文解读--训练语言模型遵循人类反馈的指令

    目录 1摘要 2介绍 方法及实验细节 3.1高层次方法论 3.2数据集 3.3任务 3.4人体数据收集  3.5模型 3.6评价 4 结果 4.1 API分布结果 4.2公共NLP数据集的结果 4.3定性结果 问题 1.什么是rm分数 更多资料 使语言模型更大并不能使它们更好地遵循用户的意图。例如，大型语言模型可能生成不

    2024年01月24日
    浏览(10)
  • 论文解读: 2023-Lost in the Middle: How Language Models Use Long Contexts

    论文解读: 2023-Lost in the Middle: How Language Models Use Long Contexts

    大模型使用的关键在于Prompt，然而大模型存在幻觉现象，如何减少这种现象的发生成为迫切解决的问题。外部知识库+LLM的方法可以缓解大模型幻觉，但是如何撰写Prompt才能发挥LLM的性能。下面介绍这篇论文说明上下文信息出现在Prompt什么位置使模型表现最佳，以及上下文文本

    2024年02月17日
    浏览(8)
  • 一个开源的大型语言模型LLaMA论文简单解读，LLaMA: Open and Efficient Foundation Language Models

    一个开源的大型语言模型LLaMA论文简单解读，LLaMA: Open and Efficient Foundation Language Models

    返回论文和资料目录 LLaMA 是 Meta AI 发布的包含 7B、13B、33B 和 65B 四种参数规模的基础语言模型集合，LLaMA-13B 仅以 1/10 规模的参数在多数的 benchmarks 上性能优于 GPT-3(175B)，LLaMA-65B 与业内最好的模型 Chinchilla-70B 和 PaLM-540B 比较也具有竞争力。开源的代码在github上可以很方便获得

    2024年02月09日
    浏览(8)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包