李宏毅LLM——ChatGPT原理剖析

9月前作者：李日音分类：Toy博客阅读(30) 违法举报

这篇具有很好参考价值的文章主要介绍了李宏毅LLM——ChatGPT原理剖析。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

ChatGPT原理剖析

Chat-GPT引言

直观感受：结果有模有样、每次输出结果都不同、可以追问、幻想出的答案
误解：罐头回答、答案是网络搜索的结果
真正做的事：文字接龙，function，几率分布 -> 采样

不仅包含现在的输入还有过去的输入，大语言模型 = 文字接龙

训练：寻找函数的过程，使用了网络资料
测试：没有联网

关键技术——预训练

李宏毅LLM——ChatGPT原理剖析,chatgpt
一般的机器学习：
督导式学习

人类提供资料有限，GPT就无法回答
李宏毅LLM——ChatGPT原理剖析,chatgpt
使用网络上的文字来教GPT学习

GPT：2018年 117M模型，1G数据。单纯用网络资料学习
GPT-2：2019年，1542M模型，40G数据。开始像模像样地瞎掰，可以回答问题
GPT-3：2020年，175B模型，45T资料筛选出的570G数据（哈利波特全集的30w倍）。可以写程序了。
参数量越大，正确率越高，但似乎接近极限了

网络资料的缺陷：不受控

解决：督导式学习，微调

预训练的帮助：也许人类不需要教会GPT所有语言。只教会GPT某一个语言的某种任务，自动学会其他语言的相同任务

多种语言预训练，只在某种语言上微调

增强式学习只需要人判断答案好不好就行

研究问题

对NLP领域影响很大，也带来了新的研究方向。

如何精准提升需求？催眠（Prompting）。有没有更好的方式找到prompting
如何更正错误？把某一个答案弄对，弄错了更多答案

李宏毅LLM——ChatGPT原理剖析,chatgpt

侦测AI生成的物件
不小心泄露人类秘密
machine unlearning

李宏毅LLM——ChatGPT原理剖析,chatgpt

玩文字冒险游戏

提供足够的prompting，midjourney生成图片

李宏毅LLM——ChatGPT原理剖析,chatgpt 文章来源地址https://www.toymoban.com/news/detail-795299.html

到了这里，关于李宏毅LLM——ChatGPT原理剖析的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

机器学习笔记：李宏毅ChatGPT Finetune VS Prompt

2.1.1 成为专才的好处 Is ChatGPT A Good Translator? A Preliminary Study 2023 Arxiv 箭头方向指的是从哪个方向往哪个方向翻译表格里面的数值越大表示翻译的越好可以发现专门做翻译的工作会比ChatGPT好一些 How Good Are GPT Models at Machine Translation? A Comprehensive Evaluation 同样地，专项翻译任

2024年02月14日
浏览(41)
李宏毅2023春季机器学习笔记 - 01生成AI（ChatGPT）

预设的知识储备要求：数学（微积分、线性代数、机率）；编程能力（读写python）这门课专注在深度学习领域deep learning，事实上深度学习在今天的整个机器学习（ML）的领域使用非常广泛，可以说是最受重视的一项ML技术。这门课可以作为你的机器学习的第一堂课，修完后

2023年04月19日
浏览(51)
机器学习笔记：李宏毅ChatGPT：生成式学习的两种策略

“各个击破”——一个一个生成出来一步到位，全部生成出来两种策略策略1：始终生成固定长度（比如100），如果出现end，那么end后面的部分直接扔掉策略2：首先输出一个数字n，表示之后我们要输出多长，然后输出n长度的句子一般文字相关的任务考虑“各个击破”

2024年02月13日
浏览(40)
【笔记】ChatGPT是怎样炼成的（李宏毅2023机器学习课程引入部分）

来源：【授权】李宏毅2023春机器学习课程 ChatGPT太火热了，借此简单了解一下 ChatGPT的newbie之处在哪里？同一个问题，它的每次回答都不同；处于同一个chat中，我可以追问多个问题，因为它知道上下文。误解1： ChatGPT的回应是罐头回应。（ie. 比如我让ChatGPT给我讲个笑话，罐

2023年04月17日
浏览(44)
ChatGPT和LLM

ChatGPT和LLM（大型语言模型）之间存在密切的关系。首先，LLM是一个更为抽象的概念，它包含了各种自然语言处理任务中使用的各种深度学习模型结构。这些模型通过建立深层神经网络，根据已有的大量文本数据进行文本自动生成。其核心思想是基于训练数据中的统计规律，

2024年02月20日
浏览(35)
LLM-chatgpt训练过程

主要包含模型预训练和指令微调两个阶段模型预训练：搜集海量的文本数据，无监督的训练自回归decoder； O T = P ( O t T ) O_T=P(O_{tT}) O T = P ( O t T ) ，损失函数CE loss 指令微调：在输入文本中加入任务提示，输入 “翻译文本为英文：无监督训练。译文：”，让模型输出 “

2024年02月11日
浏览(43)
李宏毅LLM——机器学习基础知识

机器学习 = 机器自动找出一种函数根据函数的不同，可以分为回归问题（输出数值）和分类问题（输出类别，选择题）生成有结构的物件，如图片、文句 ChatGPT是生成式学习，只不过是将生成式学习拆成多个分类问题来简化找出函式的三大步骤前置作业：决定需要什么样的

2024年01月20日
浏览(44)
【LLM GPT】李宏毅大型语言模型课程

怎么学习？——给定输入和输出：但是这样做不现实，因为这样输入-输出需要成对的资料，而chatgpt 成功解决了这一个难题。 chatgpt不需要成对的资料，只需要一段有用的资料，便可以自己学习内容，如下：初代和第二代gpt 第二代到第三代 gpt3还会写代码其性能表现但是

2024年02月10日
浏览(45)
ChatGPT和大型语言模型(LLM)是什么关系？

什么是语言模型：\\\" 语言模型的本质是一个数学模型，用于捕捉和理解人类语言的结构和规律。它通过分析大量文本数据中的单词或字符之间的关系，以概率的方式预测在给定上下文情况下下一个可能出现的单词或字符。这种模型允许计算机在生成文本、翻译语言、问答等任

2024年02月10日
浏览(45)
【译】Claude 3, ChatGPT, 和 LLM 的消亡

原作：伊格纳西奥·德格雷戈里奥引言：语言时代的终结？昨天，AI 领域的另一个关键参与者 Anthropic 宣布了生成式 AI 王座的新竞争者，即 Claude 的最新版本 Claude 3。它展示了三种模型Opus、Sonnet 和 Haiku ，每种模型都适用于特定的场景，一些初步结果显示它们是当今最强大

2024年03月09日
浏览(63)