Attention 机制
Attention应用在了很多最流行的模型中，Transformer、BERT、GPT等等。
Attention就是计算一个加权平均；通过加权平均的权值来自计算每个隐藏层之间的相关度；
示例
Attention 机制
Attention应用在了很多最流行的模型中，Transformer、BERT、GPT等等。
Attention就是计算一个加权平均；通过加权平均的权值来自计算每个隐藏层之间的相关度；
示例
比如翻译：
我爱2022 北京 冬奥会。
I love the 2022 Beijing Winter Games.
此时，如果我们看到Games这个单词，本意是游戏，
但是，考虑到了北京的权重，那么它的翻译成 比赛；
如果再考虑 2022 和 Winter的权重时候，它就翻译成了 冬奥会。
传统方法的问题
RNN
比如RNN，虽然建立了隐藏层来表示时序的关联，但是，会受到短时节点（前一个节点）的影响，而且不能够关联距离很长距离的内容。
Encoder-Decoder
Encoder-Decoder模型可以看出两个RNN的组合。先编码，通过C把编码传过去，再解码。但是因为不管多长都是由一个C 来表示编码，就导致精度下降。
Attention的改进
通过不同时刻，建立了不同的C，来表示。所以，每个C就是不同时刻的注意力。
但是，这种方式不方便并行计算。所以，就去掉了顺序结构，变成了 Self-attention。
参考资料：
【【Attention 注意力机制】激情告白transformer、Bert、GNN的精髓】文章来源：https://www.toymoban.com/news/detail-721378.html
https://www.bilibili.com/video/BV1xS4y1k7tn/?share_source=copy_web&vd_source=91d02e058149c97e25d239fb93ebef76文章来源地址https://www.toymoban.com/news/detail-721378.html
到了这里，关于关于深度学习中Attention的一些简单理解的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
