大模型的自我监督

这篇具有很好参考价值的文章主要介绍了大模型的自我监督。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

大家好啊,我是董董灿。

之前有小伙伴私信我,想了解下大模型比如 chatGPT 是如何进行训练的。

和他们聊了一下,发现有一个点一直困惑着大家,那就是:大模型的训练是无监督学习还是有监督学习?在大模型训练过程中,数据的标签是什么?如何计算损失然后进行反向传播的呢?

今天就和大家简单来聊一下这个问题。

1、是有监督还是无监督

事实上,很多自然语言处理(NLP)的模型,尤其是上文提到的大语言模型(如GPT系列),都是通过无监督学习或自监督学习的方式进行训练的。

也就是说它们不需要人工标注的标签来进行训练。

试想一下,训练 GPT 的数据样本大多来自于互联网,如果需要对这些数据进行标注的话,会花费大量的人力,并且很多长文本是没有办法或者很难去标注的。

因此这类模型的训练采用的基本是自监督学习的模式。

自监督学习可以认为是无监督学习的一种特殊方式。

模型通过从输入数据本身生成的伪标签来进行训练,这些伪标签不是由人工标注的,而是由模型根据一定的规则自动生成的。

常见的自监督学习任务模型有以下两种。

第一种是掩码语言模型(Masked Language Model, MLM),这是 BERT 等模型使用的一种训练方法。

它将其中一部分输入词进行随机掩码(替换为一个特殊的掩码符号),模型的任务就是是预测这些被掩码的词。

这样,模型就能学习到词与上下文之间的关系,有点类似于让模型不断进行完形填空的意思。

第二种是因果语言模型(Causal Language Model, CLM),这是 GPT 系列模型使用的一种训练方法。

在这种训练模式下,模型被训练来预测给定前文的下一个词,这样,模型就能学习到文本的顺序结构和语言的生成过程。

说到这你可能还不完全清楚,看下面的例子就明白了。

2、GPT 的训练过程

以因果语言模型的训练为例,假设给模型的输入数据是:The quick brown fox jumps over the lazy" 这句话。

当然实际训练时,输入给模型的数据还会经过 Tokenization、词嵌入和位置编码这些步骤,但是我们这里先绕过,不影响理解。

在 GPT 等模型的训练时,如果给定上述句子作为模型的输入,是希望模型可以预测出下一个词是什么,这是模型的任务。

因此,每给定一个单词(Token),模型都要预测下一个词,然后将预测出来的词加上原来已有的词作为新的输入,继续预测下一个词,如此反复迭代。

将训练过程写出伪代码是如下形式。

# 假设:# - input_tokens 是输入序列# - target_tokens 是目标序列# - transformer_model 是一个Transformer模型# - optimizer 是用于优化模型参数的优化器# - loss_function 是损失函数,例如交叉熵损失
for epoch in range(num_epochs):  # 迭代多个训练周期  for input_tokens, target_tokens in data_loader:    # 1. 模型输入    # 将输入token转换为嵌入向量,进行词嵌入和位置编码    input_embeddings = embedding_layer(input_tokens)    position_embeddings = get_position_embeddings(input_embeddings)     transformer_input = input_embeddings + position_embeddings
    # 2. Transformer模型    # 通过Transformer模型得到输出    transformer_output = transformer_model(transformer_input)  
    # 3. 模型输出和损失计算    # 将Transformer输出转换为logits    logits = output_layer(transformer_output)    loss = loss_function(logits, target_tokens)  # 计算损失
    # 4. 梯度下降和反向传播    optimizer.zero_grad()  # 清除之前的梯度    loss.backward()  # 反向传播,计算梯度    optimizer.step()  # 更新模型参数

上面的 input_tokens 就可以认为是输入的一句话。

可以看到在计算损失的时候,比较的是模型的输出和 target_tokens 的损失。

模型的输出我们好理解,就是模型预测的下一个词,那么target_tokens 是什么呢?

上面说到自监督学习的时候,说到一句话:“自监督学习中的伪标签是模型通过一定的规则生成的”。

target_tokens 就是伪标签,因为模型需要预测下一个词,因此“一定的规则”就是对输入 token 往后移一位来实现的,如下所示。

大模型的自我监督,算法科普,5分钟入门算法,人工智能,算法,自然语言处理

input_tokens 是原始句子中的单词序列,而 target_tokens 是这个序列向右移动一个位置的结果。

在训练过程中,模型会试图根据 input_tokens 中的每个词来预测 target_tokens 中的下一个词。

例如,给定输入 "The",模型应该预测输出 "quick";然后将 "The" 和 "quick "合成新的输入 "The quick" 给模型,模型应该预测出 "brown",以此类推。

这样经过大量甚至是海量的文本数据的自监督学习,模型就可以学到很多自然语言的结构和句式了。

大语言模型也就训练完成了。

当然上面的过程说的很粗糙,仅仅是想让大家先搞清楚自监督学习这个概念,以及实际模型训练时,模型是如何自我监督的。

关于 token 的详细理解,可以参考这篇文章:5分钟了解什么是 token。文章来源地址https://www.toymoban.com/news/detail-853660.html

到了这里,关于大模型的自我监督的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 挑战用ChatGPT进行AIGC,写一个科普专栏《五分钟科普chatgpt》!

    最近ChatGPT很火,让我不得不花点时间关注一下。 我其实不希望人工智能发展到如此境地。虽然,对于人类来说,很多工作都可以用AI来代替了,并且比以前更加主动和智能。 ChatGPT的出现,更是意味着,AI类人化了。一个ChatGPT,可以相当于成千上万、甚至上亿的人的外包。

    2024年02月09日
    浏览(62)
  • 人工智能的自我学习:如何模仿人类知识积累

    人工智能(Artificial Intelligence, AI)是一门研究如何让计算机模拟人类智能的学科。自从1950年代以来,人工智能一直是计算机科学的一个热门研究领域。人工智能的目标是让计算机能够理解自然语言、识别图像、解决问题、学习新知识等,以及模拟人类的智能行为。 自从2012年的

    2024年02月20日
    浏览(49)
  • 使用Anomalib项目的padim无监督算法 进行自制工业缺陷数据集的模型训练和ONNX部署(一)——模型训练篇

    目录 前言  一、无监督学习缺陷检测 Anomalib介绍 二、Anomalib代码结构 三、任务描述和模型训练推理 四、总结与展望         本文专注于padim算法在自制数据集上的训练过程,博主水平有限,对神经网络模型秉持能用就行的态度,所以文中不涉及网络结构和论文细节的解读,

    2024年02月16日
    浏览(37)
  • 【汽车电子】5分钟了解汽车操作系统(科普篇)

    在智能汽车+电动汽车的浪潮下,「软件定义汽车」的理念已经成为很多厂家的共识,未来决定汽车个性化差异的不再是马力大小、座椅材质、底盘软硬等,而应该是人工智能、大数据和云计算技术的综合体。 要想实现这一切,就要给汽车安装一个或者多个操作系统。 操作系

    2024年02月01日
    浏览(54)
  • 【白话科普】10分钟从零看懂AI绘画原理

    👉腾小云导读 计算机如何生成和真实图片相似的图画?模型是如何听懂我们想要它生成什么并给出对应结果?AIGC 热潮中的 Stable Diffusion、NovelAI、Latent upscale、ControlNet、LoRA等等是什么以及有什么亮点?本篇不涉及任何一个数学公式、不涉及晦涩文献解析,而是通过尽可能直

    2024年02月09日
    浏览(53)
  • 全网最详细中英文ChatGPT接口文档(五)30分钟快速入门ChatGPT——手把手示例教程:如何建立一个人工智能回答关于您的网站问题,小白也可学

    This tutorial walks through a simple example of crawling a website (in this example, the OpenAI website), turning the crawled pages into embeddings using the Embeddings API, and then creating a basic search functionality that allows a user to ask questions about the embedded information. This is intended to be a starting point for more sophisticated applicat

    2023年04月17日
    浏览(52)
  • 人类智能与人工智能的融合:自我意识在多领域的应用

    人工智能(Artificial Intelligence, AI)是一门研究如何让计算机模拟人类智能的学科。人类智能包括学习、理解自然语言、认知、推理、计划、视觉、运动等多种能力。人工智能的目标是让计算机具备这些能力,以便在各种应用中与人类相互作用。 自从1950年代以来,人工智能一直是

    2024年02月19日
    浏览(44)
  • 【科普】1分钟帮你搞懂机械硬盘和固态硬盘

    机械硬盘 ,机械硬盘的英文简称为 HDD ,即Hard Disk Drive;使用类似唱片机的 旋转盘 来 存储 数据。数据 被写 入到一个或多个 金属盘片 上,并 通 过一个 机械臂 来 读 取和 写 入数据。机械硬盘通常有 较大的存储容量 ,但 读写 速度较 慢 ,而且在读写过程中会有 机械部件

    2024年02月16日
    浏览(40)
  • 人工智能安全监督软件:让安全监督更加智能化和人性化

    作者:禅与计算机程序设计艺术 随着信息技术的飞速发展,安全监督日益成为行业的一项重要工作。安全监督涉及到对网络安全管理人员进行定期、系统的审计工作。但是,现代社会里的数据量越来越庞大,处理数据的能力也越来越强,传统的逐条审计方法已经不能满足需要

    2024年02月09日
    浏览(54)
  • 【大数据&AI人工智能】意识机器:ChatGPT 能否拥有自我意识?

    2022年11月30日,一个现象级应用程序诞生于互联网,这就是OpenAI开发的ChatGPT。从问答到写程序,从提取摘要到论文写作,ChatGPT展现出了多样化的通用智能。于是,微软、谷歌、百度、阿里、讯飞,互联网大佬们纷纷摩拳擦掌准备入场……但是,请先冷静一下…… 现在 all in

    2023年04月26日
    浏览(70)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包