基本内容理解的话推荐看一下这篇博客Transformer:注意力机制(attention)和自注意力机制(self-attention)的学习总结,这个博主讲的很细致,比较容易理解。
这里借用一下上述博客的总结:文章来源:https://www.toymoban.com/news/detail-404322.html
- 注意力可以分为两种方式分别是自主提示和非自主提示。其中非自主提示是键,自主提示是查询,物体原始向量是值。键和值是一一对应的。
- 注意力机制的评分函数可以对查询和键进行关系建模,获取查询和键的相似度匹配。其方法分为两种:加性注意力和点积注意力。常用的是点积注意力。
- 如果查询和键是同一组内的特征,并且相互做注意力机制,则称为自注意力机制或内部注意力机制。
- 多头注意力机制的多头表示对每个Query和所有的Key-Value做多次注意力机制。做两次,就是两头,做三次,就是三头。这样做的意义在于获取每个Query和所有的Key-Value的不同的依赖关系。
- 自注意力机制的优缺点简记为【优点:感受野大。缺点:需要大数据。】
我补充一下两种计算注意力的方式:
首先是加性注意力计算:
可以看到是将query与key进行线性相加后,通过tanh函数进行归一化之后得到了注意力系数矩阵。
对于点乘注意力计算
是将query与key进行相乘得到,之后会经过一层softmax进行归一化。文章来源地址https://www.toymoban.com/news/detail-404322.html
到了这里,关于自注意力机制与注意力机制的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!