【LLM GPT】大型语言模型 理解和实现

这篇具有很好参考价值的文章主要介绍了【LLM GPT】大型语言模型 理解和实现。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1 概述

怎么学习?——给定输入和输出:
【LLM GPT】大型语言模型 理解和实现
但是这样做不现实,因为这样输入-输出需要成对的资料,而chatgpt 成功解决了这一个难题。

chatgpt不需要成对的资料,只需要一段有用的资料,便可以自己学习内容,如下:
【LLM GPT】大型语言模型 理解和实现

1.1 发展历程

初代和第二代gpt
【LLM GPT】大型语言模型 理解和实现
第二代到第三代
【LLM GPT】大型语言模型 理解和实现
gpt3还会写代码
【LLM GPT】大型语言模型 理解和实现
其性能表现
【LLM GPT】大型语言模型 理解和实现
但是gpt3也有缺点【LLM GPT】大型语言模型 理解和实现

1.2 预训练+监督学习

想要实现chat的功能,就得经过一个监督式学习(问答),就要在预训练后,增加一个监督学习的流程,赋予模型问答能力
【LLM GPT】大型语言模型 理解和实现

预训练的好处

在多种语言上做过多训练以后,某一语言的任务会帮助其他语言学会同样的任务。

【LLM GPT】大型语言模型 理解和实现
【LLM GPT】大型语言模型 理解和实现

实验数据如下:
【LLM GPT】大型语言模型 理解和实现

1.3 增强式学习

chatgpt还引入了增强式学习,给好的回答更多奖赏回馈。
【LLM GPT】大型语言模型 理解和实现

1.4 对训练数据的记忆

其能够记得训练数据的部分信息:
【LLM GPT】大型语言模型 理解和实现

1.5 更新参数

可以通过对话改变其记忆:

【LLM GPT】大型语言模型 理解和实现

1.6 AI内容检测

检测某一段文字是否为AI生成的,最简单的做法是这样:
【LLM GPT】大型语言模型 理解和实现

1.7 保护隐私

有时候模型会泄漏训练数据,需要遗忘学习:
【LLM GPT】大型语言模型 理解和实现

1.8 gpt和bert

一个是做文字接龙,一个是做文字填空:
【LLM GPT】大型语言模型 理解和实现

穷人怎么用gpt

方法1 缩短输入

【LLM GPT】大型语言模型 理解和实现
把多个问题一起丢进去:
【LLM GPT】大型语言模型 理解和实现
方法2 自建模型

方法3 LLM cascade

2 生成式模型

主要分为以下三种,注意英文的token指的不是单个完整的单词,而是要把一个单词拆分成前缀后缀的形式,拆解成更小的单位:

【LLM GPT】大型语言模型 理解和实现

2.1 生成方式

生成式有两种策略——各个击破一次到位,下面先介绍各个击破

2.1.1 各个击破 Autoregressive

每次生成一个(token),然后按照序列形式把全部完整的内容生成:
【LLM GPT】大型语言模型 理解和实现
这种方式生成效果好,但是所需要的时间长。%

2.1.2 一次到位 Non-autoregressive

x需要先设定最大输出长度,由于不需要每次都保证输出的内容一样长,需要一个end标志符表示结束。
【LLM GPT】大型语言模型 理解和实现
两者比较:
【LLM GPT】大型语言模型 理解和实现

2.1.3 两者结合

【LLM GPT】大型语言模型 理解和实现

2.2 预训练和微调

一般都是先训练一个通用模型,然后在某些任务上做微调(finetune)。

【LLM GPT】大型语言模型 理解和实现
【LLM GPT】大型语言模型 理解和实现

【LLM GPT】大型语言模型 理解和实现

2.3 指示学习 instruction learning 和 上下文学习 in-context learning

和chatgpt进行交互的时候,我们的promt可能包可以分为两种情况:指示学习 instruction learning 和 上下文学习 in-context learning。所以在模型训练阶段,我们需要制造一些成对的语料数据加强模型的这两种学习的能力。
【LLM GPT】大型语言模型 理解和实现

前者是给模型一些指示,当模型进行学习和回答,后者是通过一些例子,让模型进行学习和回答。

2.2.1 上下文学习 in-context learning

即让机器在例子中进行学习。为got提供一些例子,比如情感分析中:
【LLM GPT】大型语言模型 理解和实现
但是不同于传统的模型更新(梯度下降),这里gpt的学习,不会更改其模型参数。
通过例子,虽然不会提升多少情感分析的能力,而是为了唤醒gpt的情感分析能力,这个结果来自一篇文献的实验结论。
【LLM GPT】大型语言模型 理解和实现

2.2.2 指示学习 instruction learning

让gpt能够看懂指令:
【LLM GPT】大型语言模型 理解和实现
一个指示学习的例子:判断这句话的情感:给女朋友买了这个项链,她很喜欢。选项:A=好;B=一般;C=差。

训练阶段和测试阶段,可以是不同的任务的指示。
【LLM GPT】大型语言模型 理解和实现
用人类的语言训练:
【LLM GPT】大型语言模型 理解和实现

2.2.3 chain of thought (CoT) prompting

让模型给出推理过程,这样能够让模型做出更正确的答案。
【LLM GPT】大型语言模型 理解和实现
让模型具备这个能力,就得在模型训练阶段给出这样的“带有推理过程”的语料。
【LLM GPT】大型语言模型 理解和实现

让模型自动生成prompt

这里的promt也可以理解为指令。
1。 使用 soft prompt
之前我们讲的都是hard prompt,但其实还有soft prompt,给一堆向量而不是人类语言。
【LLM GPT】大型语言模型 理解和实现
2. 使用强化学习。
【LLM GPT】大型语言模型 理解和实现
3. 让模型自己寻找,下一些特殊指令:
【LLM GPT】大型语言模型 理解和实现
最佳指令可以极大的提升模型的性能:
【LLM GPT】大型语言模型 理解和实现

2.3 训练数据的预处理

数据的收集和处理需要用到以下内容:
【LLM GPT】大型语言模型 理解和实现
去掉重复资料的重要性:假设一段话在训练数据中出现了6w多次,会发现模型很容易说出这些话,因此应该避免这种情况。

在固定运算资源的情况下,如何选择模型规模和数据集规模?有人做了相关实验,一条线表示固定的运算资源情况下的结果,纵轴的越小越好:
【LLM GPT】大型语言模型 理解和实现
所以要找到每个U型曲线的最低点,把这些最低点串起来可以得到如下的图:
【LLM GPT】大型语言模型 理解和实现
模型规模和资料最佳适配比:
【LLM GPT】大型语言模型 理解和实现
除此以外,指示学习(instruction-tuning)也可以大大提升模型的性能。
【LLM GPT】大型语言模型 理解和实现
【LLM GPT】大型语言模型 理解和实现

2.4 Human Teaching (强化学习)

这也是一种辅助模型训练的技术(强化学习),可以有效提高模型的性能,让小模型吊打大模型的性能。
【LLM GPT】大型语言模型 理解和实现

【LLM GPT】大型语言模型 理解和实现

KNN+LM

一般的LM是这样的运作方式:
【LLM GPT】大型语言模型 理解和实现
而KNN+LM是这样的,寻找embedding的相似度
【LLM GPT】大型语言模型 理解和实现
这样做会带来什么神奇的效果?
【LLM GPT】大型语言模型 理解和实现
但是这种语言模型非常的慢

2.5 信心越高,正确率越高

【LLM GPT】大型语言模型 理解和实现

让AI 解释AI

来解读一下这篇文章:
【LLM GPT】大型语言模型 理解和实现
解释什么?——知道每一个神经元的作用、和哪些词关联度最大:
【LLM GPT】大型语言模型 理解和实现
有工作发现了某一个神经元遇到以下词时输出会很大,通过观察发现,下一个会出现“an”:
【LLM GPT】大型语言模型 理解和实现
【LLM GPT】大型语言模型 理解和实现
如何操作?输入以下promt:
【LLM GPT】大型语言模型 理解和实现
能得到以下结果:
【LLM GPT】大型语言模型 理解和实现
其他结果:
【LLM GPT】大型语言模型 理解和实现

如何判断解释的好不好?

【LLM GPT】大型语言模型 理解和实现
然后去gpt2模型找到那个神经元检查一下:
【LLM GPT】大型语言模型 理解和实现

完整的prompt

【LLM GPT】大型语言模型 理解和实现
纵轴表示可解释性的分数,分数越高,可解释性越好,结论是小模型更容易解释、越底层的神经元越容易解释。
【LLM GPT】大型语言模型 理解和实现

大致流程

【LLM GPT】大型语言模型 理解和实现
让模型扮演一个神经元:
【LLM GPT】大型语言模型 理解和实现
寻找神经元在什么时候激活值较大:
【LLM GPT】大型语言模型 理解和实现文章来源地址https://www.toymoban.com/news/detail-483668.html

到了这里,关于【LLM GPT】大型语言模型 理解和实现的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 如何评估大型语言模型(LLM)?

    编者按:近期几乎每隔一段时间,就有新的大语言模型发布,但是当下仍然没有一个通用的标准来评估这些大型语言模型的质量,我们急需一个可靠的、综合的LLM评估框架。 本文说明了为什么我们需要一个全面的大模型评估框架,并介绍了市面上这些现有的评估框架,同时指

    2024年02月10日
    浏览(52)
  • 大型语言模型LLM的基础应用

    ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型,一款人工智能技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本、文案

    2024年02月09日
    浏览(47)
  • 大语言模型(LLM)综述(五):使用大型语言模型的主要方法

    随着人工智能和机器学习领域的迅速发展,语言模型已经从简单的词袋模型(Bag-of-Words)和N-gram模型演变为更为复杂和强大的神经网络模型。在这一进程中,大型语言模型(LLM)尤为引人注目,它们不仅在自然语言处理(NLP)任务中表现出色,而且在各种跨领域应用中也展示

    2024年02月06日
    浏览(50)
  • 【NLP】如何管理大型语言模型 (LLM)

    LLM 编排是管理和控制大型语言模型 (LLM)的过程,以优化其性能和有效性。这包括以下任务: 提示LLM: 生成有效的提示,为LLMs提供适当的背景和信息以产生所需的输出。 链接LLM:  结合多个LLM的输出以获得更复杂或更细致的结果。 管理LLM资源:  有效分配和管理LLM资源以满

    2024年02月05日
    浏览(55)
  • 如何解决LLM(大型语言模型)幻觉问题

    LLM幻觉问题是什么? LLM(大型语言模型)幻觉问题指的是当大型语言模型(如我这样的)在处理请求时产生的不准确或虚构的信息。这些幻觉可能是因为模型的训练数据不足、错误或偏见,或者是因为模型在处理某些特定类型的问题时的局限性。具体来说,这些问题可能包括

    2024年02月02日
    浏览(38)
  • ChatGPT和大型语言模型(LLM)是什么关系?

    什么是语言模型:\\\" 语言模型的本质是一个数学模型,用于捕捉和理解人类语言的结构和规律 。它通过分析大量文本数据中的单词或字符之间的关系,以概率的方式预测在给定上下文情况下下一个可能出现的单词或字符。这种模型允许计算机在生成文本、翻译语言、问答等任

    2024年02月10日
    浏览(45)
  • LangChain大型语言模型(LLM)应用开发(五):评估

    LangChain是一个基于大语言模型(如ChatGPT)用于构建端到端语言模型应用的 Python 框架。它提供了一套工具、组件和接口,可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互,将多个组件链接在一起,以便在不同的

    2024年02月15日
    浏览(45)
  • 【人工智能】LLM 大型语言模型和 Transformer 架构简介

    目录 大型语言模型 (LLM) 一、LLM的起源 二、LLM的发展阶段 三、LLM的应用领域

    2024年02月14日
    浏览(63)
  • LangChain大型语言模型(LLM)应用开发(三):Chains

    LangChain是一个基于大语言模型(如ChatGPT)用于构建端到端语言模型应用的 Python 框架。它提供了一套工具、组件和接口,可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互,将多个组件链接在一起,以便在不同的

    2024年02月12日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包