输出
我们会遇到不同的任务,针对输出的不一样,我们对任务进行划分
给多少输出多少
给一堆向量,输出一个label,比如说情感分析
还有一种任务是由机器决定的要输出多少个label,seq2seq的任务就是这种,翻译也是
Sequence Labeling
如果要考虑时序信息,每次可以选取前后固定长度的信息输入到fc层,但是运算量很大需要的参数也很多
新的方法能考虑整个input sequence
fc专注处理某一个位置的信息,self-attention来考虑整个sequence的信息
模型细节
每个b都是考虑整个sequence来产生的
那么是如何产生的?
我们需要找到一些相关的向量来帮助决定 a 1 a^1 a1,用 α \alpha α来表示相关的重要性
那么怎么决定 α \alpha α呢,有两种方式
用 a 1 a^1 a1分别与其他的向量分别进行计算相关性
一般而言,也会跟自己计算相关性
然后接一个softmax
根据attention的分数,也就是计算出来的每一个 α \alpha α值来抽取重要的信息
转换为矩阵运算形式:
多头注意力
多头注意力是自注意力的一个进阶的版本
多头注意力的关键在于Q是有不同的多个进行询问的,这样带来的好处与卷积也比较类似,我们采用不同的Q来负责不同种类的相关性
计算方式上,与自注意力机制比较类似,每个计算过程中 只关注对应的(比如计算1的时候只把1拿出来)
位置编码
有时位置的距离也比较重要,我们需要存储位置的信息
For Image
横着来看做一个vector,众多vector作为输入,输入进model文章来源:https://www.toymoban.com/news/detail-671656.html
文章来源地址https://www.toymoban.com/news/detail-671656.html
到了这里,关于【李宏毅机器学习】注意力机制的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!