GPT-4原论文详细解读(GPT-4 Technical Report)
返回论文和资料目录
1.导读
相比之前的GPT-3.5等大型语言模型(这里可以看我的InstructGPT解读,也方便理解本文内容),GPT-4最大的不同在于变成了多模态,即输出不变的情况下,输入可以为图片或文本。其展现了优于ChatGPT模型并且非常强大的性能。读者可在OpenAI官网体验体验,不过网页端只提供了文本输入,图片输入的方式目前只支持API。
2.摘要和引言
GPT-4是一个多模态的大模型。它的基础结构仍然是Transformer+预测下一个词的目标函数。
GPT-4在摘要中的说法是给出了一个预测模型性能的方法,使得只需要0.1%的训练计算资源,就可以预测模型的性能了。不需要训练到最后才得到模型性能,这有助于早期就调整好模型,减少不必要的训练成本。
GPT-4这篇工作目的是增强理解生成文本的能力,尤其在复杂且存在细微差异的场景。
GPT-4使用了很多人类的考试(例如,律师资格考试)和传统的NLP任务作为测试案例。
GPT-4仍然存在之前工作中的一些问题:1.会瞎编,缺乏可靠性。2.限制25000字。3.无法从经验中学习。
3.论文结构
- 第3节:本文的内容涉及范围
- 第4节:预测技术(预测模型性能相关技术,使得用少数的训练就能预测模型的性能),这部分本篇博客跳过
- 第5节:详细介绍GPT-4的能力,实验
- 第6节:详细介绍GPT-4的局限性
- 第7节:风险和因对方法
- 第8节:结论
- 参考文献
- 附录23-98页
4.本文的内容涉及范围
- 不会给出具体的技术细节,包括模型结构,模型大小,硬件,训练成本,数据集,训练方法。
- 会给出一些初始的步骤和想法。
5.GPT-4的能力,实验
对于这部分实验,OpenAI在github上开源了评估框架。
模拟人类的考试
值得注意的是,这些考试的问题在模型训练的时候只会看到一部分相关的资料(例如律师考试不会有真题,但可能在训练集中有些相关法律书籍),这部分的实验展开的细节放在了附录C。这些测试的真题都来源于公开的available的材料。题目包括选择题和论述题,OpenAI对于这两种题目分别设计了prompt,这些prompt包括图片。最后这个实验考试的打分方式和人类的考试一样。这部分的实验的细节放在了附录A。
下表是实验结果,第一列是考试名称,包括律师考试、研究生入学考试、生物、化学、计算机。第2列是GPT-4(带vision输入的)、GPT-4(不带vision输入的)、GPT-3.5(应该不是ChatGPT,而是基础GPT-3.5)。分别给出了分数(例如298/400,分别是得分/总分)和排名(例如~90th,100个人超过了90%的人)。
下图给出了图示化展示,可以清晰看出GPT-4较不带vision和baseline的GPT3.5的差距。其中横坐标是考试名称,纵坐标是得分占总分的比。蓝色上方的绿色表示GPT-4(不带vision模块)超过GPT3.5的性能部分。如果绿色上方有深绿色,则表示GPT-4(带vision模块)超过GPT-4(不带vision模块)的性能部分。如果蓝色上方无其他(例如最后一列),则表示3者无差异。
传统的NLP任务
为了让GPT-4能理解实验问题什么的,OpenAI进行了适当的预处理,包括“问题翻译”和给出few-shot(细节见附录F)。
实验结果如下,第一列是案例(例如MMLU是在57个学术和专业性学科的多项选择题)。最后两列是最先进的模型(有特定任务上的微调)。
下图给出了不同语音对GPT-4性能的影响。
下图给出了GPT-4图片输入时的例子。
看了下回答,没什么问题,感觉理解了图片内容,并结合了LM中的常识,具备了一定的认知水平,很强!
文章来源:https://www.toymoban.com/news/detail-421471.html
5.GPT-4的局限性
未完待续。文章来源地址https://www.toymoban.com/news/detail-421471.html
到了这里,关于GPT-4原论文详细解读(GPT-4 Technical Report)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!