前言
ChatGPT简单原理介绍
一、ChatGPT做的事情
Chatgpt以句子为输入，输出这个句子后面接的词汇的概率分布，给每一个可能的符号一个概率，根据这个分布进行sample，每次sample出来的词汇可能都是不一样的，所以答案每次也都不相同。把输出的词汇加在输入给gpt的句子后面，重复上面的过程，直到最后出现一个符号代表结束。
在一个对话过程中，输入不仅是现在输入的句子，还包含过去所有的互动。
同时GPT在训练时是联网的，但是在测试时，是没有联网的，所以输出的很多结果比如网址、序列号等都是错误的，只是GPT瞎编出来的。
二、ChatGPT基础介绍
ChatGPT关键技术：预训练Pre-train
预训练也可以叫做自监督式学习Self-supervised Learning或基石模型（Foundation Model），成对资料通过无痛生成的叫做自监督式学习。ChatGPT是由GPT微调而来，GPT就是ChatGPT的基石。
G:Generative
P:Pre-train
T:Transformer
人类可以提供的成对资料相对来说是少的，GPT的获取成对资料的方式是通过获取网络上的句子，这些句子拆分成两部分，网络上的所有句子都可以是资料。
透过大量网络学习的过程是预训练，得到GPT，ChatGPT是GPT经过监督式学习的结果。这个继续学习的过程也就是微调（Finetune）
增强式学习适用于某些人类都不知道答案的情况下，只需要人类只需要评价这个答案的好坏就可以。
三、ChatGPT带来的研究问题
1.如何精准提出需求
先要对chatgpt进行催眠（prompting），比如请想象这类的描述。
2.如何更正错误->neural editing
比如发生在2022年的事情，GPT无法得出结果。如果那新的答案再去训练接龙，更新参数，可能会发生弄对一个答案，但是弄错更多答案的情况。
3.侦测AI生成的软件
如何用模型侦测一段文字是否是AI生成的
4.泄露秘密
对chatgpt绕着弯的诱导，是可以获得某些隐私答案，当然这些答案可能是错误的。文章来源：https://www.toymoban.com/news/detail-573798.html
总结
学习视频地址：
1
https://www.bilibili.com/video/BV1TD4y137mP?p=2&vd_source=3a369b537e1d34ff9ba8f8ab23afedec
2
https://www.bilibili.com/video/BV1TD4y137mP?p=3&vd_source=3a369b537e1d34ff9ba8f8ab23afedec
3
https://www.bilibili.com/video/BV1TD4y137mP?p=4&vd_source=3a369b537e1d34ff9ba8f8ab23afedec文章来源地址https://www.toymoban.com/news/detail-573798.html
到了这里，关于机器学习李宏毅学习笔记37的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
