GPT-4原论文详细解读(GPT-4 Technical Report)

这篇具有很好参考价值的文章主要介绍了GPT-4原论文详细解读(GPT-4 Technical Report)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

GPT-4原论文详细解读(GPT-4 Technical Report)

返回论文和资料目录

1.导读

相比之前的GPT-3.5等大型语言模型(这里可以看我的InstructGPT解读,也方便理解本文内容),GPT-4最大的不同在于变成了多模态,即输出不变的情况下,输入可以为图片或文本。其展现了优于ChatGPT模型并且非常强大的性能。读者可在OpenAI官网体验体验,不过网页端只提供了文本输入,图片输入的方式目前只支持API。

2.摘要和引言

GPT-4是一个多模态的大模型。它的基础结构仍然是Transformer+预测下一个词的目标函数。

GPT-4在摘要中的说法是给出了一个预测模型性能的方法,使得只需要0.1%的训练计算资源,就可以预测模型的性能了。不需要训练到最后才得到模型性能,这有助于早期就调整好模型,减少不必要的训练成本。

GPT-4这篇工作目的是增强理解生成文本的能力,尤其在复杂且存在细微差异的场景。

GPT-4使用了很多人类的考试(例如,律师资格考试)和传统的NLP任务作为测试案例。

GPT-4仍然存在之前工作中的一些问题:1.会瞎编,缺乏可靠性。2.限制25000字。3.无法从经验中学习。

3.论文结构

  • 第3节:本文的内容涉及范围
  • 第4节:预测技术(预测模型性能相关技术,使得用少数的训练就能预测模型的性能),这部分本篇博客跳过
  • 第5节:详细介绍GPT-4的能力,实验
  • 第6节:详细介绍GPT-4的局限性
  • 第7节:风险和因对方法
  • 第8节:结论
  • 参考文献
  • 附录23-98页

4.本文的内容涉及范围

  • 不会给出具体的技术细节,包括模型结构,模型大小,硬件,训练成本,数据集,训练方法。
  • 会给出一些初始的步骤和想法。

5.GPT-4的能力,实验

对于这部分实验,OpenAI在github上开源了评估框架。

模拟人类的考试

值得注意的是,这些考试的问题在模型训练的时候只会看到一部分相关的资料(例如律师考试不会有真题,但可能在训练集中有些相关法律书籍),这部分的实验展开的细节放在了附录C。这些测试的真题都来源于公开的available的材料。题目包括选择题和论述题,OpenAI对于这两种题目分别设计了prompt,这些prompt包括图片。最后这个实验考试的打分方式和人类的考试一样。这部分的实验的细节放在了附录A。

下表是实验结果,第一列是考试名称,包括律师考试、研究生入学考试、生物、化学、计算机。第2列是GPT-4(带vision输入的)、GPT-4(不带vision输入的)、GPT-3.5(应该不是ChatGPT,而是基础GPT-3.5)。分别给出了分数(例如298/400,分别是得分/总分)和排名(例如~90th,100个人超过了90%的人)。
GPT-4原论文详细解读(GPT-4 Technical Report)
下图给出了图示化展示,可以清晰看出GPT-4较不带vision和baseline的GPT3.5的差距。其中横坐标是考试名称,纵坐标是得分占总分的比。蓝色上方的绿色表示GPT-4(不带vision模块)超过GPT3.5的性能部分。如果绿色上方有深绿色,则表示GPT-4(带vision模块)超过GPT-4(不带vision模块)的性能部分。如果蓝色上方无其他(例如最后一列),则表示3者无差异。
GPT-4原论文详细解读(GPT-4 Technical Report)

传统的NLP任务

为了让GPT-4能理解实验问题什么的,OpenAI进行了适当的预处理,包括“问题翻译”和给出few-shot(细节见附录F)。
实验结果如下,第一列是案例(例如MMLU是在57个学术和专业性学科的多项选择题)。最后两列是最先进的模型(有特定任务上的微调)。
GPT-4原论文详细解读(GPT-4 Technical Report)

下图给出了不同语音对GPT-4性能的影响。

GPT-4原论文详细解读(GPT-4 Technical Report)
下图给出了GPT-4图片输入时的例子。

看了下回答,没什么问题,感觉理解了图片内容,并结合了LM中的常识,具备了一定的认知水平,很强!

GPT-4原论文详细解读(GPT-4 Technical Report)

5.GPT-4的局限性

未完待续。文章来源地址https://www.toymoban.com/news/detail-421471.html

到了这里,关于GPT-4原论文详细解读(GPT-4 Technical Report)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • GPT系列论文解读:GPT-2

    GPT(Generative Pre-trained Transformer)是一系列基于Transformer架构的预训练语言模型 ,由OpenAI开发。以下是GPT系列的主要模型: GPT:GPT-1是于2018年发布的第一个版本,它使用了12个Transformer编码器层和1.5亿个参数。GPT-1的训练数据包括了互联网上的大量文本。 GPT-2:GPT-2于2019年发布

    2024年02月07日
    浏览(59)
  • NLP之LLMs:《Zeno Chatbot Report》的翻译与解读—CMU副教授详测七款个类ChatGPT大模型(GPT-2、LLaMa、Alpaca、Vicuna、MPT-Chat、Coher

    NLP之LLMs:《Zeno Chatbot Report》的翻译与解读—CMU副教授详测七款个类ChatGPT大模型(GPT-2、LLaMa、Alpaca、Vicuna、MPT-Chat、Cohere Command和ChatGPT) 目录 《Zeno Chatbot Report》的翻译与解读—CMU副教授详细测评七款个类ChatGPT大模型 Overview概览 Setup设置 Model Settings模型设置 Evaluation Metrics评估指

    2024年02月09日
    浏览(44)
  • 让chatgpt解读自己--(GPT1/2/3/4)论文解读

    用chatgpt解释chagpt自己的实现原理和机制,是一种什么体验? 这篇文章的Abstract部分主要介绍了Generative Pre-Training方法的研究背景、目标和贡献。具体来说,Abstract部分包括以下几个方面: 研究背景:首先,Abstract部分介绍了自然语言理解领域中的一个重要问题,即如何在缺乏

    2024年02月01日
    浏览(61)
  • 学术论文GPT源码解读:从chatpaper、chatwithpaper到gpt_academic

    之前7月中旬,我曾在微博上说准备做“20个LLM大型项目的源码解读” 针对这个事,目前的最新情况是 已经做了的:LLaMA、Alpaca、ChatGLM-6B、deepspeedchat、transformer、langchain、langchain-chatglm知识库 准备做的:chatpaper、deepspeed、Megatron-LM 再往后则:BERT、GPT、pytorch、chatdoctor、baichua

    2024年02月13日
    浏览(48)
  • GPT(Generative Pre-Training)论文解读及实现(一)

    Given an unsupervised corpus of tokens U = {u1, . . . , un}, we use a standard language modeling objective to maximize the following likelihood: 在给定语料上下文环境下,目标时最大化下面的语言模型,即在给定前 i-1个词和参数θ前提下,使第 i 个词出现的概率最大。 we use a multi-layer Transformer decoder [34] for

    2024年02月15日
    浏览(159)
  • 【GPT-2】论文解读:Language Models are Unsupervised Multitask Learners

    论文:Language Models are Unsupervised Multitask Learners 作者:Alec Radford, Jeff Wu, Rewon Child, D. Luan, Dario Amodei, I. Sutskever 时间:2019 GPT-2 是一个有15亿参数的模型,GPT-2的想法是转向一个通用的系统,不需要进行数据集的标注就可以执行许多的任务; 因为数据集的创建是很难的,我们很难

    2024年02月22日
    浏览(45)
  • YOLOV7详细解读(二)论文解读

    继美团发布YOLOV6之后,YOLO系列原作者也发布了YOLOV7。 YOLOV7主要的贡献在于: 1.模型重参数化 YOLOV7将模型重参数化引入到网络架构中,重参数化这一思想最早出现于REPVGG中。 2.标签分配策略 YOLOV7的标签分配策略采用的是YOLOV5的跨网格搜索,以及YOLOX的匹配策略。 3.ELAN高效网络

    2024年02月05日
    浏览(44)
  • VoxPoser:使用大语言模型(GPT-4)来对机器人操作的可组合三维值图【论文解读】

    这是最近斯坦福的李飞飞团队的一篇论文:VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models 主要是通过大语言模型 LLM 和视觉语言模型 VLM 结合,来对机器人做各种日常操作,我们可以先来看下实际效果:大语言模型加视觉模型的通用机器人 可以看到在不同的实际

    2024年02月15日
    浏览(44)
  • 一文读懂Stable Diffusion 论文原理+代码超详细解读

    Stable diffusion是一个基于Latent Diffusion Models(LDMs)实现的的文图生成(text-to-image)模型。 2022年8月,游戏设计师Jason Allen凭借AI绘画作品《太空歌剧院(Théâtre D’opéra Spatial)》获得美国科罗拉多州博览会“数字艺术/数码摄影“竞赛单元一等奖,“AI绘画”引发全球热议。得力

    2024年01月19日
    浏览(58)
  • 【YOLO系列】YOLOv3论文超详细解读(翻译 +学习笔记)

    YOLOv3(《Yolov3:An incremental improvement》)是Joseph Redmon大佬关于YOLO系列的最后一篇,由于他反对将YOLO用于军事和隐私窥探,2020年2月宣布停止更新YOLO。  YOLOv3在YOLOv2的基础上改良了网络的主干,利用多尺度特征图进行检测,改进了多个独立的Logistic regression分类器来取代softmax来

    2024年02月07日
    浏览(63)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包