论文标题:Learning Important Features Through Propagating Activation Differences
论文作者:Avanti Shrikumar, Peyton Greenside, Anshul Kundaje
论文发表时间及来源:Oct 2019,ICML
论文链接:http://proceedings.mlr.press/v70/shrikumar17a/shrikumar17a.pdf
DeepLIFT方法
1. DeepLIFT理论
DeepLIFT解释了目标输入、目标输出与“参考(reference)”输入、“参考”输出间的差异。“参考”输入是人为选择的中性的输入。
用表示单层神经元或多层神经元的集合,为对应的“参考”,有。用表示目标输入经过的输出(当为全部神经元的集合时,为目标输出),表示“参考”输出,有 。如(1)式,为各个输入贡献分数的加和。
2. 乘数(Multiplier)与链式法则
乘数与偏导数类似:偏导数是指产生无穷小变化时,的变化率;而乘数是指产生一定量的变化后,的变化率。
这里可理解为中间层的。给定每个神经元与其直接后继的乘数,即可计算任意神经元与目标神经元的乘数。
3. 定义“参考”
MNIST任务中,使用全黑图片作为“参考”。
CIFAR10任务中,使用原始图像的模糊版本能突出目标输入的轮廓,而全黑图片作为参考时产生了一些难以解释的像素。
DNA序列分类任务中,以ATGC的期望频率作为“参考”。即目标输入是四维的one-hot编码,“参考”输入是相同维度的ATGC期望频率。这里还有一种方法没有看懂,见Appendix J。
4. 区分正、负贡献
当应用RevealCancel规则时,区分正、负贡献非常重要。
5. 分配贡献分数的规则
线性规则
用于Dense层,卷积层,不可用于非线性层。定义线性函数,则。
公式有点复杂,举例说明。“参考”输入,目标输入,则由式(6)得,由式(8)得两个特征贡献分数分别为3和8,由式(12)得两个神经元的乘数分别为3和4。乘数的作用是,如果神经网络有两层线性函数,为第一层神经元,为第二层神经元,则第二层的乘数为5,由式(3)得整个神经网络第一个特征的乘数为15,第二个特征的乘数为20,每个位置的输入乘以乘数就是其贡献分数。
Rescale规则
用于非线性层,如ReLU,tanh或sigmoid等。由于非线性函数只有一个输入,则,,和分别为:
当时,可用梯度代替。Rescale规则解决了梯度饱和问题和值域问题,例子见论文。
RevealCancel规则
这里说明为何 和 需分开计算。下图是一个计算最小值的操作,假定,目标输入,,则,。根据线性规则,可知,。根据Rescale规则,,,。则总贡献分数为
, 总贡献分数为。
同样地,梯度,输入*梯度方法也会赋予其中一个特征0的贡献分数,这忽略了特征间的相互依赖性。 和 分开计算的公式为:
文章来源:https://www.toymoban.com/news/detail-510805.html
用这种方法计算出和的贡献分数均为0.5,其过程简单来说是把每一层神经元输出做+、-的区分,两条路径分别计算乘数与贡献分数后再加和。计算过程有点复杂,详见Appendix C 3.4。 文章来源地址https://www.toymoban.com/news/detail-510805.html
到了这里,关于模型可解释性 DeepLIFT 论文解析的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!