Transformer 的结构如下，主要由编码器-解码器组成，因为其不需要大量标注数据训练和天然支持并行计算的接口，正在全面取代CNN和RNN：
扩展阅读：What Is a Transformer Model?
其中
编码器中包含自注意力层和前馈神经网络层；
解码器包含自注意力层、编码器-解码器注意力层、前馈神经网络层三个部分。
了解Transformer，需要了解什么是超参数，这也与稍后的代码实践相关：
超参数：事先设定的。Transformer典型的超参数有Token数量，词向量，位置向量，解码器层数，自注意力头数、注意力维度数、学习率等。
与超参数对应的还有一个词叫参数，参数是在训练过程中得到的，出厂前的训练叫预训练，会得到基础参数（最开始的参数叫原始参数，随机生成的），但在实际的使用过程中，需要经过Fine-tuning,也就是微调，类似于把一套毛坯房装修为精装房的过程，以后在使用该模型的时候，其实就等于入住了。
通常来说，微调过后的参数与基础参数是不同的，这是由模型最终使用者的应用目的有关的，比如要把一个基础模型训练为安全领域的模型，那么在训练过程中就要使用安全行业的相关语料，同时结合安全专家的经验，不断调节参数，最终使模型能够在安全领域进行推理。微调这件事情主要要关注参数是否更改、在哪一层调整以及作用形式，目前主要的微调技术包括SFT（有监督微调），Prompt（提示词微调）,LORA（低秩矩阵适应微调）、RLHF（人类反馈的强化学习）等。chatGPT是基于GPT3，花了一年多时间采用SFT、RM（奖励模型）、和PPO等微调之后才产生的。【想想要花多少钱）
在GPT中，只采用了解码器，且不是Transformer中标准的解码器层因为没有编码器的输入，所以解码器也去掉了编码器-解码器注意力层，最终结构如下图所示：
其内部的结构如下图所示：
第一层自注意子层：捕捉输入序列之间相互之间的关系，能学习完整的语义依赖；
第二层前馈神经网络子层：能捕捉整改输入序列的隐藏的、复杂的关联信息。
GPT总体结构如下图所示：
下面详细介绍：本介绍主要基于合集·GPT模型详细解释课程中“我是一个人”作为输入。分词为
我 是 一个 ，3个token
1、输入处理：输入处理主要包括分词、向量嵌入、词向量+位置向量三个处理部分，处理完毕之后输出为一个3×12288的矩阵。
2、解码器栈：两部分组成，先看自注意子层
在自注意力子层中，有自注意头，且因为没有输出，其输入主要来自自己，也就是左边的信息，所有叫做自回归自注意力机制。 此部分主要是关于q.,k,v的计算。
自注意力子层最终输出的为一个3×12288的矩阵。
接下来看第二个部分--前馈神经网络子层。
前馈神经网络输入是3×12288的矩阵，经过一系列计算之后，输出一个3×12288的矩阵。
3、输出部分：输出为一个3×50257的概率权重矩阵
附图：GPT、BERT、ELMo三者对比
尤其感谢B站UP主三明2046，其作品《合集GPT模型详细解释》生动精彩，本系列文章充分吸收学习了该课程，并且在文章图片素材多有引用；
本文代码部分主要引用How to build a GPT model；文章来源：https://www.toymoban.com/news/detail-525745.html
如有侵权，请联系笔者删除，感谢，致敬！文章来源地址https://www.toymoban.com/news/detail-525745.html
到了这里，关于GPT模型训练实践(2)-Transformer模型工作机制的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![大语言模型的预训练[2]:GPT、GPT2、GPT3、GPT3.5、GPT4相关理论知识和模型实现、模型应用以及各个版本之间的区别详解](https://imgs.yssmx.com/Uploads/2024/02/587446-1.png)
