State of GPT
- 演讲信息：
- 演讲人：Andrej Karpathy (现在OpenAI任职)，之前是特斯拉视觉研发负责人，斯坦福深度学习入门课程 CS231N 讲师
- 演讲主题：受到微软 BUILD2023 邀请，介绍 GPT 的原理及研发现状，介绍大语言模型应用生态
- 第一部分介绍如何训练 ChatGPT （本演讲中有个更通用的名字： GPT Assistant）
- 第二部分介绍如何将 ChatGPT 用于定制化应用程序
演讲视频
- 英文原版：https://www.youtube.com/watch?v=bZQun8Y4L2A
- 中文字幕版：https://www.bilibili.com/video/BV1ts4y1T7UH/?spm_id_from=333.337.search-card.all.click&vd_source=fdb0030f08e2dfd486e197c76c07672b
演讲内容的重点记录
Part1：GPT Assistant 是如何研发的
整体流程
- GPT Assistant 的训练流程，分为 4 个阶段
- Pretraining：整体训练时间的 99%
- Supervised Finetuning
- Reward Modeling
- Reinforcement Learning
Pretraining 阶段
- 预训练训练数据，以 LLaMA 的训练数据集为例，共 1.4T tokens
- 文本数据 tokenization 操作，该操作是无损失的数据变换（将文本片段转换为整数）
- 两个主流大语言模型的参数量介绍，因为 GPT4 的细节不公开，这里主要介绍了 GPT3 (2020) 和 LLaMA (2023)。尽管与 GPT3 的 1750 亿参数量比起来 LLaMA 的 650 亿参数量并没有优势，但是 LLaMA 实际上更强大，因为使用了更多的训练数据（300B -> 1.4T）。所以不能仅通过模型的参数量来定义模型的能力
- 预训练的模型输入，获取 tokenize 处理后的文本，打包成行，用 <|endoftext|>来对不同的文档进行分隔
- 通过预测下一个 token 的方式来对模型进行预训练
- 以莎士比亚的作品数据集训练过程作为示例，模型刚开始训练随机初始化参数，预测的结果也是完全随机的，但是随着一定训练的迭代，模型就能预测连贯和一致的文本
使用预训练模型的方式
- 下游数据集微调，预训练能极大降低微调需要的数据量（类似 GPT1）
- zero-shot prompting (类似 GPT2)，开启了不需要微调的时代，不需要训练模型
- 预训练模型汇总，google 和 openai 占了大半边天
基于 prompt engineering 的 GPT Assistant （效果一般，非 OpenAI 的 ChatGPT 实现方案）
- GPT Assistant 需要模型对人类的指令或问题进行回复，但预训练模型主要用于文本补全，无法直接回答问题，比如这里会出现生成与问题相关的更多问题（左图）。可以通过给预训练模型一些例子来促使模型对问题生成回复（右图）
- 通过上面的方法来使得预训练模型做 GPT Assistant
GPT Assistant 微调方法步骤一：SFT （OpenAI 的 ChatGPT 实现方案）
- 首先进行 SFT (supervised finetuning)，基于少量人工标注的数据进行微调，数据主要是 prompt 和 response 对 (1 万到10 万量级)
- SFT 数据示例，prompt 是人类指令，response 是标注员写得针对人类指令的示例回复。标注文档还是很复杂的（需要满足 helpful、truthful、harmless 等约束）
GPT Assistant 微调方法步骤二：Reward Modeling （OpenAI 的 ChatGPT 实现方案）
- 准备对比数据集（10万 到 100 万量级），进行二分类训练
- RM 数据集示例。给定一个 prompt （写一个判断字符串是否是回文字符串的 python 程序），基于 SFT 模型生成多个回复，比如下面生成了三个回复后让标注员来对生成结果进行排名（排名难度较大，一个 prompt 的答案甚至可能需要几个小时来标注）
- RM 训练，这里的模型实现方法比较有信息量（和大部分开源方案加 linear head 的实现不太一样），通过在 completion token 后增加一个 reward token 来预测 reward，这样 transformer 会根据 prompt 的完成程度预测 reward
GPT Assistant 微调方法步骤三：RL learning （OpenAI 的 ChatGPT 实现方案）
- 该过程是 openai 使用的 RLHF，基于上一步的 RM 模型进行强化学习训练。基于奖励模型指示的奖励来权衡语言建模的目标，比如下面第一行的 reward 高，第一行采样的所有 token 将得到强化，未来将会获得更高的采样概率，第二行的所有 token 之后会获得更低的采样概率
为什么需要 RLHF
-
预训练模型，SFT 模型和 RLHF 模型理论上都可以用于 GPT Assistant 部署。要用 RLHF 的一个简单的原因就是 RLHF 模型效果更好，下面的图来源于 InstructGPT 论文，PPO (RLHF 算法) 后的模型生成的答案更被人类喜欢
-
karpathy 认为 RLHF 有用的原因是判别比生成更容易，让标注员去写一些 SFT 的 QA 数据对是比较难的，如果有一个 SFT 模型生成一些数据让标注员判断哪个更好就简单很多
-
RLHF 模型降低了熵，对输出文本的确定性更强，SFT 模型更善于给出有区分度的回答
-
伯克利做的模型评测榜单 Leaderboard，GPT4 最强，前三个都是 RLHF 模型，其他模型都是 SFT 模型
基于 GPT Assistant 的应用
人类文本生成对比语言模型文本生成
- 人类生成文本的方式，一步接一步思考，甚至借用外部工具（使用计算器做算数），并且会对回答进行正确性验证
- 语言模型生成文本的方法，逐步生成 token，每个 token 计算时间一样，不确定自己回复的正确性（不会对自己的回答进行正确性确认）
Chain of thought
- 需要推理的任务可以使用 CoT，transformer 需要更多的 token 来思考，使用 few-shot prompt 作为示例，让模型以 step-by-step 的方式对问题进行回复。目前也有 zero-shot-CoT，最经典的方式就是使用
Let's think step by step作为提示词
self-consistency
- 多次对一个问题进行回复，进行多数表决。比如 transformer 在采样到一个不好的 token 后就很难恢复，这样能尽量避免错误的发生。
Ask for reflection
- 通过问 “你完成任务了吗？” 这个问题，让 ChatGPT 对不好的问题进行反思并生成更好的回复
Recreat our ‘System 2’
- Tree of Thoughts（思想树）：建议为任何给定的 prompt 多个 completion，然后在整个过程中对它们进行评分，并保留进展顺利的
Chains/Agents
- React：将 prompt 构造成一系列思考、行动、观察、思考、行动、观察的展开，通过思考来进行问题回复，这个过程中模型一般被允许调用其他工具，比如 google 搜索 API；下图左边的 AutoGPT 最近很火热，不过 Karpathy 觉得效果一般，只建议从中汲取灵感
Condition on good performance
- LLM 只想模仿训练集，不想回复正确答案，如果希望 LLM 回复正确答案应该在 prompt 中明确说明，能在 CoT 的基础上进一步涨点
使用外部工具 (ChatGPT Plugins)
- 为 ChatGPT 提供计算器、代码解释器、搜索等工具，协助做 LLM 不擅长的事情。因为模型不知道自己不擅长什么，所以需要调用工具的位置需要人为标注出来
- 基于检索增强 LLM 能力，参考 LlamaIndex:
- 获取相关文档，将文档分为块，提取得到数据的 embedding 向量，将其存储到向量存储中
- 在测试时，对矢量存储进行查询，即能获取到与测试任务相关的文档，然后将文档填充到 prompt 中
约束提示（Constrained prompting）
- 参考微软的 guidance，在 LLM 的输出中强制使用特定模板的技术。以下的例子是让 LLM 填写一个 json 模板中的内容，其中 json 的 key 是写死的，LLM 负责填补一些空白的 key，这些 key 也可以提前进行一些约束，让 LLM 的采样空间收到限制，即能让 LLM 的输出符合预设定的格式
文章来源：https://www.toymoban.com/news/detail-472162.html
模型微调
- 利用 PEFT （如 LoRA） 等技术降低模型的可训练参数
- 低精度推理（比如 bitsandbytes）
- 又又又推荐了一波 LLaMA （怪不得 OpenAI 现在有计划推 GPT3 的开源…）
- SFT 相对容易；RLHF 很难，非常不稳定，很难训练，对初学者不友好，而且可能变化快，不推荐一般人来做
文章来源地址https://www.toymoban.com/news/detail-472162.html
Karpathy 的默认建议
- 针对取得最佳表现的建议
- 使用 GPT4
- 提示词工程
- 考虑 LLM 的心理
- 提供上下文信息，提供一些样例
- 使用外部工具
- 提示词工程已经做到头的话可以尝试 SFT
- RLHF 难度大，但是理论上能优化到比 SFT 好一点
- 针对优化成本的建议
- 使用容量更小的 GPT3.5，更简短的 prompts 等
- 使用容量更小的 GPT3.5，更简短的 prompts 等
应用场景样例
- 【问题】模型可能有偏见，捏造幻觉信息，推理错误，知识截止（只知道 2021 9 月之前的知识）
- 【推荐】在低风险应用程序中使用 LLM，与人工监督结合起来；将 LLM 作为灵感和建议的来源
GPT4
- 推荐 GPT4 的强大能力和丰富的配套
- 使用 GPT4 的 API 问 “你能说些什么来激励 Microsoft BUILD 2023 的观众吗？”，GPT4 回复了如下的话
- 完结撒花
Thoughts
- 很典型的 Karpathy 演讲风格，将目前最高级的人工智能模型（ChatGPT）的研发流程用简单易懂的方式进行讲解。但因为 GPT4 细节不方便公开，整体干货并不太多，前半段看下来甚至感觉在给观众传递一个理念：我们的 GPT4 不方便公开细节，大家要不去用 LLaMA 吧…
- 应用方面主要介绍了一些前沿的公开工作，ChatGPT 具体有什么改良没有过多介绍
到了这里，关于State of GPT (ChatGPT 原理及现状介绍)的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
