【ML算法学习】多核最大均值差异（MK-MMD）与深度适应网络（DAN）

多核最大均值差异（MK-MMD）与深度适应网络（DAN）

1. 理论基础

（1）原点矩、中心矩

1. 引言：当我们描述一个随机变量$x$的时候，最直接的方法就是给出它的概率分布函数$f(x)$。一些简单的分布可以这么干，但是对于一些复杂的、高维的随机变量，我们无法给出它们的分布函数。这时候可以用随机变量的矩来描述一个随机变量，比如一阶原点矩是均值，二至四阶中心矩被定义为方差（variance）、偏度（skewness）和峰度（kurtosis）。如果两个分布的均值和方差都相同的话，它们应该很相似，比如同样均值和方差的高斯分布和拉普拉斯分布。但是很明显，均值和方差并不能完全代表一个分布，这时候就需要更高阶的矩来描述一个分布。
2. 定义：假设$x$和$y$是随机变量，若$E\left(X^k\right),k=1,2,\cdots$存在，则称其为$x$的$k$阶原点矩；若$E\left\{[X-E(X){]}^k\right\},k=2,3,\cdots$存在，则称其为$x$的$k$阶中心矩。易得：均值$E(X)$是$x$的一阶原点矩，描述随机变量以概率为权重的平均值；方差$D(X)$是$x$的二阶中心矩，描述随机变量的离散程度。
3. 对于任意已知矩母函数存在的分布，如果有另一个随机变量的所有n阶矩都与之相等，则这个随机变量服从于这个已知分布。但某些情况下，矩母函数可能并不收敛，则全部的n阶矩不能完全决定分布。
4. 通俗解释：对于随机变量$x$，每一个关于$x$的矩都告诉你一些关于$x$分布的信息，并且在一定情况下全部$n$阶矩可以完全决定$x$的分布。

（2）核函数定义（统计学习方法定义7.6）

• 定义内容：假设有输入空间$\mathcal{X}$（$\mathcal{X}\in R^n$）和特征空间$\mathcal{H}$（希尔伯特空间），若存在一个从$\mathcal{X}$到$\mathcal{H}$的映射$\varphi (x):\mathcal{X}\to \mathcal{H}$，使得对所有样本$x,z\in \mathcal{X}$，有函数$K(x,z)$满足条件$K(x,z)=\varphi (x)\cdot \varphi (z)$（内积），则称$K(x,z)$为核函数，$\varphi (x)$为映射函数。

• 核技巧思路：在学习和预测中只定义核函数$K(x,z)$，而不显式地定义映射函数$\varphi (\cdot )$，因为通常直接计算$K(x,z)$比较容易，而由$\varphi (x)$和$\varphi (z)$来计算$K(x,z)$比较困难（$\varphi (\cdot )$是输入空间$\mathcal{X}$到特征空间$\mathcal{H}$的映射，特征空间一般是高维甚至无穷维的）。此外，对于给定的核函数$K(x,z)$，特征空间$\mathcal{H}$和映射函数$\varphi (\cdot )$的取法不唯一，即便是在同一特征空间内也能取不同的映射。

• 例：假设输入空间$\mathcal{X}\in R^2$，核函数为$K(x,z)=(x\cdot z{)}^2$，试找出其相关的特征空间$\mathcal{H}$和映射$\varphi (\cdot ):R^2\to \mathcal{H}$。

  • 法1：取特征空间$\mathcal{H}=R^3$，记$x={\left(x^{(1)},x^{(2)}\right)}^{\mathrm{T}}$， $z={\left(z^{(1)},z^{(2)}\right)}^{\mathrm{T}}$，核函数为
    $$(x\cdot z{)}^2={\left(x^{(1)}{z}^{(1)}+x^{(2)}{z}^{(2)}\right)}^2={\left(x^{(1)}{z}^{(1)}\right)}^2+2x^{(1)}{z}^{(1)}{x}^{(2)}{z}^{(2)}+{\left(x^{(2)}{z}^{(2)}\right)}^2$$

    所以可以取映射$\varphi (x)={\left({\left(x^{(1)}\right)}^2,\sqrt{2}{x}^{(1)}{x}^{(2)},{\left(x^{(2)}\right)}^2\right)}^{\mathrm{T}}$，易验证$\varphi (x)\cdot \varphi (z)=(x\cdot z{)}^2=K(x,z)$。

  • 法2：取$\mathcal{H}=R^3$以及$\varphi (x)=\frac{1}{\sqrt{2}}{\left({\left(x^{(1)}\right)}^2-{\left(x^{(2)}\right)}^2,2x^{(1)}{x}^{(2)},{\left(x^{(1)}\right)}^2+{\left(x^{(2)}\right)}^2\right)}^{\mathrm{T}}$同样满足条件。

  • 法3：取$\mathcal{H}=R^4$以及$\varphi (x)={\left({\left(x^{(1)}\right)}^2,x^{(1)}{x}^{(2)},x^{(1)}{x}^{(2)},{\left(x^{(2)}\right)}^2\right)}^T$满足条件。

• 通俗理解：核方法将数据映射到更高维的空间，希望在这个更高维的空间中，数据可以变得更容易分离或更好的结构化。

2. 最大均值差异Maximum Mean Discrepancy（MMD）

（1）使用背景

• Maximum Mean Discrepancy（MMD）是迁移学习，尤其是域适应中最常用的一种损失函数。其基本思想是：1）若两个随机变量的任意阶矩都相同，那么这两个分布就是一致的；2）若两个分布不相同，那么使得两个分布之间差距最大的那个矩应该被用来作为度量两个分布的标准。MMD主要被用来度量两个不同但相关的随机变量分布之间的距离。

（2）定义

• 基本定义：
  $$MMD[\mathcal{F},p,q]:=\underset{f\in \mathcal{F}}{\sup }\left(E_p[f(x)]-E_q[f(y)]\right)$$
  其中，$\sup$表示求上界即最大值，$E_p(\cdot )$表示求期望值，$f(\cdot )$表示映射函数，$\mathcal{F}$表示函数域。$x$为源域数据，$y$为目标域数据，假设它们的分布分别为$\mathrm{p}$和$\mathrm{q}$，$f(x)$、$f(y)$分别为源域和目标域数据经过映射$f(\cdot )$后的值。

• 定义式含义：寻找一个映射函数$f(\cdot )$，$f(\cdot )$能够将变量映射到高维空间，之后求两个分布的随机变量在映射后的期望的差，这个差值便是均值差异，然后寻找这个均值差异的上界，这个最大值便是MMD。

（3）数学推导

1. 在实际使用中，函数域$\mathcal{F}$不可以随便定义，因为即使两个随机变量分布一样，当样本有限时，在任意函数域中，总能找到一个函数$f(\cdot )$使得两个随机变量分布的MMD距离无限大。因此，MMD中函数域定义在再生希尔伯特空间中单位球（即$\Vert f{\Vert }_{\mathcal{H}}\le 1$）内的一个任意向量$f$，表示基底向量$f$在再生希尔伯特空间中的范数应该小于等于1。核函数对应的映射函数$\varphi (\cdot )$可以将随机变量$x$映射到无穷维度上（$\varphi (x)$），$f(x)$表示再生希尔伯特空间中基底向量$f$与向量$\varphi (x)$的点积，即
   $$f(x)=⟨f,\varphi (x){⟩}_{\mathcal{H}}$$
   一个随机变量经过映射后，其期望可以表示为：
   $$\begin{array}{rl}{E}_p[f(x)]& ={\int }_{\mathcal{X}}\mathrm{p}(\mathrm{d}x)f(x)\\ & ={\int }_{\mathcal{X}}\mathrm{p}(\mathrm{d}x)⟨\varphi (x),f{⟩}_{\mathcal{H}}\\ & ={⟨{\int }_{\mathcal{X}}\mathrm{p}(\mathrm{d}x)\varphi (x),f⟩}_{\mathcal{H}}\\ & =:{⟨{\mu }_{\mathrm{p}},f⟩}_{\mathcal{H}}\end{array}$$
   该式第一步将期望展开；第二步将希尔伯特空间中的函数$f(x)$写成映射函数$\varphi (x)$和基底向量$f$的内积（即将向量通过函数$\varphi (x)$映射到希尔伯特空间，再与该空间中的一个单位球内给定的向量$f$作点积，完成映射到高维的变换。）；第三步利用内积的性质可得；最后一步用${\mu }_{\mathrm{p}}$表示kernel mean embedding，即${\mu }_{\mathrm{p}}={\int }_{\mathcal{X}}\mathrm{p}(\mathrm{d}x)\varphi (x)$。

2. 推导1的意义就是将$x$利用核函数$k(x,\cdot )$映射到无穷维上，然后在每一个维度上都求期望。结合基本定义，可得如下表达式：
   $$\begin{array}{rl}MMD[p,q,\mathcal{H}]:& =\underset{f\in \mathcal{H},\Vert f{\Vert }_{\mathcal{H}}\le 1}{\sup }\left(E_p[f(x)]-E_q[f(y)]\right)\\ & =\underset{f\in \mathcal{H},\Vert f{\Vert }_{\mathcal{H}}\le 1}{\sup }\left({⟨{\mu }_{\mathrm{p}},f⟩}_{\mathcal{H}}-{⟨{\mu }_{\mathrm{q}},f⟩}_{\mathcal{H}}\right)\\ & =\underset{f\in \mathcal{H},\Vert f{\Vert }_{\mathcal{H}}\le 1}{\sup }\left({⟨{\mu }_{\mathrm{p}}-{\mu }_{\mathrm{q}},f⟩}_{\mathcal{H}}\right)\\ & \le \underset{f\in \mathcal{H},\Vert f{\Vert }_{\mathcal{H}}\le 1}{\sup }\Vert {\mu }_{\mathrm{p}}-{\mu }_{\mathrm{q}}{\Vert }_{\mathcal{H}}\Vert f{\Vert }_{\mathcal{H}}\\ & \le \Vert {\mu }_{\mathrm{p}}-{\mu }_{\mathrm{q}}{\Vert }_{\mathcal{H}}\end{array}$$
   上式中第一步是MMD的基本定义，利用推导1中的结果可得第二步，再利用内积的性质$<a,b>\le \Vert a\Vert \Vert b\Vert$以及$\Vert f{\Vert }_{\mathcal{H}}\le 1$，得到最终结果。

3. 计算结果：由推导1可知${\mu }_{\mathrm{p}}$和${\mu }_{\mathrm{q}}$分别代表期望$E_p[\varphi (x)]$和$E_p[\varphi (y)]$，将${\mu }_{\mathrm{p}}$和${\mu }_{\mathrm{q}}$由均值代替计算，并假设$x$有$n$个样本，$y$有$m$个样本，可得：
   $$\begin{array}{rl}MMD[p,q,\mathcal{H}]& =\Vert {\mu }_{\mathrm{p}}-{\mu }_{\mathrm{q}}{\Vert }_{\mathcal{H}}\\ & ={\Vert \frac{1}{n}\sum _{i=1}^n\varphi \left(x_i\right)-\frac{1}{m}\sum _{j=1}^m\varphi \left(y_j\right)\Vert }_{\mathcal{H}}\end{array}$$
   利用核技巧的思路，不需要显式地表示映射函数$\varphi (\cdot )$，来求解映射到高维两个向量的内积，转化为直接计算$K(x,y)$更容易，因此我们对上式两边取平方，化简得到内积并用核函数表达。$x_i$，$y_i$在特征空间$\mathcal{H}$的内积等于它们在原始样本空间中通过核函数$k(\cdot ,\cdot )$计算的结果。
   $$\begin{array}{rl}& MM{D}^2[p,q,\mathcal{H}]={\Vert \frac{1}{n}\sum _{i=1}^n\varphi \left(x_i\right)-\frac{1}{m}\sum _{j=1}^m\varphi \left(y_j\right)\Vert }_{\mathcal{H}}^2\\ & ={\Vert \frac{1}{n^2}\sum _{i=1}^n\sum _{i=1}^n\varphi \left(x_i\right)\varphi \left(x_i^{\prime }\right)-\frac{2}{nm}\sum _{i=1}^n\sum _{j=1}^m\varphi \left(x_i\right)\varphi \left(y_j\right)+\frac{1}{m^2}\sum _{j=1}^m\sum _{j^{\prime }=1}^m\varphi \left(y_j\right)\varphi \left(y_j^{\prime }\right)\Vert }_{\mathcal{H}}\\ & ={\Vert \frac{1}{n^2}\sum _{i=1}^n\sum _{i=1}^{n}k\left(x_i,x_i^{\prime }\right)-\frac{2}{nm}\sum _{i=1}^n\sum _{j=1}^{m}k\left(x_i,y_j\right)+\frac{1}{m^2}\sum _{j=1}^m\sum _{j^{\prime }=1}^{m}k\left(y_j,y_j^{\prime }\right)\Vert }_{\mathcal{H}}\end{array}$$
   为简化计算，将上式化为矩阵形式，最终可计算为。
   $$\begin{array}{rl}MM{D}^2[p,q,\mathcal{H}]& =tr(KL)\\ & =tr(\left[\begin{array}{cc}{K}_{s,s}& K_{s,t}\\ K_{t,s}& K_{t,t}\end{array}\right]L)\\ & 其中L=\left\{\begin{array}{c}\frac{1}{n^2},x_i\in S\\ \frac{1}{m^2},y_j\in T\\ -\frac{2}{mn},\text{ otherwise }\end{array}\right\}\end{array}$$

3.多核最大均值差异Multiple Kernel Maximum Mean Discrepancy（MK-MMD）

（1）由来

• MK-MMD基于原有的MMD发展而来，由Gretton在2012年提出。MMD把source和target用一个相同的映射$\varphi (\cdot )$映射到一个再生核希尔伯特空间（Reproducing Kernel Hilbert Space，RKHS）中，然后求映射后两部分数据的均值差异，就当作是两部分数据分布的差异。其中最重要的一个概念是核函数$k(\cdot ,\cdot )$，在MMD中这个核函数是固定的，在实现的时候可以选择是高斯核还是线性核，但不知道如何才能选择一个最优的核函数。
• 为了解决上述问题，MK-MMD中提出用多个核去构造一个总的核。

（2）定义

• 与MMD类似，对于两种概率分布$p$和$q$，多核最大均值差异（MK-MMD）$d_k^2(p, q) $定义为$p$和$q$mean embeddings之间的RKHS距离，如下。
  $$d_k^2(p,q)\triangleq {\Vert {\mathbf{E}}_p\left[\varphi \left({\mathbf{x}}^s\right)\right]-{\mathbf{E}}_q\left[\varphi \left({\mathbf{x}}^t\right)\right]\Vert }_{{\mathcal{H}}_k}^2$$
  上式中，当且仅当$d_k^2(p,q)=0$时，分布$p$和$q$相等。

• 与特征映射$\varphi (\cdot )$关联的特征核$k({\mathbf{x}}^s,{\mathbf{x}}^t)=\varphi ({\mathbf{x}}^s)\cdot \varphi ({\mathbf{x}}^t)$在这里定义为$m$个不同核的加权和，如下。
  $$\mathcal{K}\triangleq \left\{k=\sum _{u=1}^m{\beta }_u{k}_u:\sum _{u=1}^m{\beta }_u=1,{\beta }_u⩾0,\forall u\right\}$$
  其中，${\beta }_u$表示权重，对其施加约束以保证导出的多核$\mathcal{K}$是特征的。

• 正如Gretton在文中所提到的，分布mean embedding所采用的核是确保测试能力和低测试误差的关键。多核$\mathcal{K}$可以利用不同的核来增强MK-MMD，从而为优化核选择提供了一种原则性方法。

4.深度适应网络Deep Adaptation Network（DAN）

（1）研究意义

• 深度神经网络可以学习可迁移的特征，这些特征可以很好地推广到新的领域适应任务。但是，随着深度特征最终沿着网络从一般过渡到特定，特征可迁移性在更高层中随着域差异的增加而显着下降。（多层，多核适配）

（2）Deep Adaptation Network and Loss

• 由于深层特征最终会沿着网络从一般特征过度到特殊特征，用于学习可迁移特性的DAN结构构建如图：

（1）卷积层$conv1–conv3$提取的特征是一般特征，因此这些层被冻结；

（2）层$conv4–conv5$提取的特征的可转移性稍差，因此通过微调来学习这些层；

（3）完全连接的层$fc6–fc8$是为适应特定任务而定制的，因此它们不可迁移，使用MK-MMD进行调整。

• 整个网络结构由Alexnet扩展而来，包含五个卷积层$conv1–conv5$和三个全连接层$fc6–fc8$，第$\ell$个$fc$层学习非线性映射${\mathbf{h}}_i^{\ell }=f^{\ell }\left({\mathbf{W}}^{\ell }{\mathbf{h}}_i^{\ell -1}+{\mathbf{b}}^{\ell }\right)$，其中${\mathbf{h}}_i^{\ell }$是样本${\mathbf{x}}_i$在第$\ell$ 个隐含层的representation，${\mathbf{W}}^{\ell }$和${\mathbf{b}}^{\ell }$是第$\ell$层的权值和偏差，$f^{\ell }$表示激活函数。假设用$\Theta ={\left\{{\mathbf{W}}^{\ell },{\mathbf{b}}^{\ell }\right\}}_{\ell =1}^l$表示整个CNN的所有参数，其经验风险可以最小化为：
  $$\underset{\Theta }{\min }\frac{1}{n_a}\sum _{i=1}^{n_a}J\left(\theta \left({\mathbf{x}}_i^a\right),y_i^a\right)$$
  其中$J$是交叉熵损失函数，$\theta \left({\mathbf{x}}_i^a\right)$表示网络将${\mathbf{x}}_i^a$分配给$y_i^a$的条件概率。在调整预训练的Alexnet以让它适应目标任务时，首先冻结$conv1–conv3$然后fine-tune$conv4–conv5$，然后最小化MK-MMD使得源数据和目标数据的分布在完全连接层$fc6–fc8$的隐含层表示下变得相似（$fc$层是根据其source task定制的，以牺牲目标任务的性能为代价的，因此它们不能通过微调和有限的目标监控直接迁移到目标域），这可以通过在CNN的经验风险中添加基于MK-MMD的多层自适应正则化器来实现：
  $$\underset{\Theta }{\min }\frac{1}{n_a}\sum _{i=1}^{n_a}J\left(\theta \left({\mathbf{x}}_i^a\right),y_i^a\right)+\lambda \sum _{\ell =l_1}^{l_2}{d}_k^2\left({\mathcal{D}}_s^{\ell },{\mathcal{D}}_t^{\ell }\right)$$
  其中$\lambda$是惩罚系数，$l_1$和$l_2$是应用正则化器的层索引，在DAN中设置$l_1=6$和$l_2=8$，$d_k^2\left({\mathcal{D}}_s^{\ell },{\mathcal{D}}_t^{\ell }\right)$是源分布和目标分布的多核最大均值差异在第$l$层的表示。

（3）Algorithm

1. 优化$\Theta ={\left\{{\mathbf{W}}^{\ell },{\mathbf{b}}^{\ell }\right\}}_{\ell =1}^l$：使用核技巧可以将MK-MMD计算如下。
   $$\begin{array}{rl}{d}_k^2(p,q)& ={\Vert \frac{1}{n^2}\sum _{i=1}^n\sum _{i=1}^{n}k\left({\mathbf{x}}^s,{\mathbf{x}}^{\prime s}\right)-\frac{2}{nm}\sum _{i=1}^n\sum _{j=1}^{m}k\left({\mathbf{x}}^s,{\mathbf{x}}^t\right)+\frac{1}{m^2}\sum _{j=1}^m\sum _{j^{\prime }=1}^{m}k\left({\mathbf{x}}^t,{\mathbf{x}}^{\prime t}\right)\Vert }_{\mathcal{H}}\end{array}$$
   其中${\mathbf{x}}^s,{\mathbf{x}}^{\prime s}\stackrel{iid}{\sim }p,{\mathbf{x}}^t,{\mathbf{x}}^{\prime t}\stackrel{iid}{\sim }q$, 且$k\in \mathcal{K}$， K ≜ { k = ∑ u = 1 m β u k u : ∑ u = 1 m β u = 1 , β u ⩾ 0 , ∀ u } \mathcal{K} \triangleq\left\{k=\sum_{u=1}^m \beta_u k_u: \sum_{u=1}^m \beta_u=1, \beta_u \geqslant 0, \forall u\right\} K≜{k=∑u=1m​βu​ku​:∑u=1m​βu​=1,βu​⩾0,∀u}，但是这个计算带了指数计算复杂度$O(n^2)$，增加了深度网络的学习难度，因此采用MK-MMD的无偏估计（Gretton et al.，2012b），该估计可以用线性复杂度进行计算。定义四元组${\mathbf{z}}_i\triangleq \left({\mathbf{x}}_{2i-1}^s,{\mathbf{x}}_{2i}^s,{\mathbf{x}}_{2i-1}^t,{\mathbf{x}}_{2i}^t\right)$和$g_k({\mathbf{z}}_i)\triangleq k\left({\mathbf{x}}_{2i-1}^s,{\mathbf{x}}_{2i}^s\right)+k\left({\mathbf{x}}_{2i-1}^t,{\mathbf{x}}_{2i}^t\right)-k\left({\mathbf{x}}_{2i-1}^s,{\mathbf{x}}_{2i}^t\right)-k\left({\mathbf{x}}_{2i}^s,{\mathbf{x}}_{2i-1}^t\right)$并将上式修改为：
   $$\begin{array}{rl}{d}_k^2(p,q)& =\frac{2}{n_s}\sum _{i=1}^{n_s/2}\left[k\left({\mathbf{x}}_{2i-1}^s,{\mathbf{x}}_{2i}^s\right)+k\left({\mathbf{x}}_{2i-1}^t,{\mathbf{x}}_{2i}^t\right)-k\left({\mathbf{x}}_{2i-1}^s,{\mathbf{x}}_{2i}^t\right)-k\left({\mathbf{x}}_{2i}^s,{\mathbf{x}}_{2i-1}^t\right)\right]\\ & =\frac{2}{n_s}\sum _{i=1}^{n_s/2}{g}_k({\mathbf{z}}_i)\end{array}$$
   即可用线性复杂度求解。当用mini-batch SGD训练深度CNN时，只需要考虑经验风险相对于每个数据点$xi$的梯度。对于四元组在第$l$个隐含层的表示${\mathbf{z}}_i^{\ell }=\left({\mathbf{h}}_{2i-1}^{s\ell },{\mathbf{h}}_{2i}^{s\ell },{\mathbf{h}}_{2i-1}^{t\ell },{\mathbf{h}}_{2i}^{t\ell }\right)$，可以计算梯度$\frac{\partial g_k\left({\mathbf{z}}_i^{\ell }\right)}{\partial {\Theta }^{\ell }}$，同时为了与MK-MMD的梯度保持一致，计算CNN的梯度为$\frac{\partial J\left({\mathbf{z}}_i\right)}{\partial {\Theta }^{\ell }}$，其中$J\left({\mathbf{z}}_i\right)={\sum }_{i^{\prime }}J\left(\theta \left({\mathbf{x}}_{i^{\prime }}^a\right),y_{i^{\prime }}^a\right)$，并且 { ( x i ′ a , y i ′ a ) } \left\{\left(\mathbf{x}_{i^{\prime}}^a, y_{i^{\prime}}^a\right)\right\} {(xi′a​,yi′a​)}表示带标记的四元组， { ( x i ′ a , y i ′ a ) } = { ( x 2 i − 1 s , y 2 i − 1 s ) , ( x 2 i s , y 2 i s ) } \left\{\left(\mathbf{x}_{i^{\prime}}^a, y_{i^{\prime}}^a\right)\right\}=\left\{\left(\mathbf{x}_{2 i-1}^s, y_{2 i-1}^s\right),\left(\mathbf{x}_{2 i}^s, y_{2 i}^s\right)\right\} {(xi′a​,yi′a​)}={(x2i−1s​,y2i−1s​),(x2is​,y2is​)}，以第$\ell$层为例，为执行小批量梯度更新我们计算经验风险相对于该层的参数${\Theta }^{\ell }$如下。
   $${\nabla }_{{\Theta }^{\ell }}=\frac{\partial J\left({\mathbf{z}}_i\right)}{\partial {\Theta }^{\ell }}+\lambda \frac{\partial g_k\left({\mathbf{z}}_i^{\ell }\right)}{\partial {\Theta }^{\ell }}$$

2. 优化$\beta$：多层自适应正则化器通过MK-MMD执行分层匹配，通过联合最大化测试功率和最小化第二类误差来学习MK-MMD的最佳核参数$\beta$，从而实现优化${\max }_{k\in \mathcal{K}}{d}_k^2\left({\mathcal{D}}_s^{\ell },{\mathcal{D}}_t^{\ell }\right){\sigma }_k^{-2}$，其中${\sigma }_k^2={\mathbf{E}}_{\mathbf{z}}{g}_k^2(\mathbf{z})-{\left[{\mathbf{E}}_{\mathbf{z}}{g}_k(\mathbf{z})\right]}^2$是估计方差。（下面这个我还没理解，哪位大佬给我讲讲）

   Letting $\mathbf{d}={\left(d_1,d_2,\dots ,d_m\right)}^{\top }$, each $d_u$ is MMD via kernel $k_u$. Covariance $\mathbf{Q}=\mathrm{cov}\left(g_k\right)\in {\mathbb{R}}^{m\times m}$ can be computed in $O\left(m^{2}n\right)$ cost, i.e. ${\mathbf{Q}}_{u{u}^{\prime }}=\frac{4}{n_s}{\sum }_{i=1}^{n_s/4}{g}_{k_u}^{\Delta }\left({\overline{\mathbf{z}}}_i\right)g_{k_{u^{\prime }}}^{\Delta }\left({\overline{\mathbf{z}}}_i\right)$, where ${\overline{\mathbf{z}}}_i\triangleq \left({\mathbf{z}}_{2i-1},{\mathbf{z}}_{2i}\right)$ and $g_{k_u}^{\Delta }\left({\overline{\mathbf{z}}}_i\right)\triangleq g_{k_u}\left({\mathbf{z}}_{2i-1}\right)-$ $g_{k_u}\left({\mathbf{z}}_{2i}\right)$.

   简化为二次优化问题 (QP),
   $$\underset{{\mathbf{d}}^{\top }\mathbf{\beta }=1,\mathbf{\beta }⩾0}{\min }{\mathbf{\beta }}^{\top }(\mathbf{Q}+\epsilon \mathbf{I})\mathbf{\beta },$$
   其中 $\epsilon =10^{-3}$ i是一个小正则化器，可以使问题得到很好的定义。通过求解上式, 可以得到一个同时最大化测试功率和最小化第二类误差的多核 $k={\sum }_{u=1}^m{\beta }_u{k}_u$ 。

3. 最终得到DAN的目标本质上是一个minimax问题，即需要计算${\min }_{\Theta }{\max }_K{d}_k^2\left({\mathcal{D}}_s^{\ell },{\mathcal{D}}_t^{\ell }\right){\sigma }_k^{-2}$，CNN参数$\Theta$通过最小化MK-MMD作为域差异来学习，而MK-MMD的参数$\beta$通过最小化第二类误差来学习。这两个目标都致力于有效适应域差异，旨在巩固DAN的可迁移性。因此，DAN采用了一种交替优化，通过小批量SGD迭代更新$\Theta$，通过QP迭代更新$\beta$。这两个更新的成本都是$O(n)$，并且可以扩展到大型数据集。

5.参考鸣谢

• MMD https://zhuanlan.zhihu.com/p/163839117

• MMD https://zhuanlan.zhihu.com/p/471732960

• 随机变量的矩和高阶矩 https://www.zhihu.com/question/25344430/answer/64509141

• 矩 https://blog.csdn.net/racesu/article/details/109644160

• 内积空间 https://zhuanlan.zhihu.com/p/91201310

• Basis and kernel http://songcy.net/posts/story-of-basis-and-kernel-part-1/

• MK-MMD https://zhuanlan.zhihu.com/p/27657910

• Gretton A, Borgwardt K M, Rasch M J, et al. A kernel two-sample test[J]. Journal of Machine Learning Research, 2012, 13(Mar): 723-773.

• Long M, Cao Y, Wang J, et al. Learning transferable features with deep adaptation networks[C]//International Conference on Machine Learning. 2015: 97-105.

• Yosinski, J., Clune, J., Bengio, Y., and Lipson, H. How transferable are features in deep neural networks? In NIPS, 2014.

• https://blog.csdn.net/qq_41076797/article/details/119829512?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522166618747216781432991713%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=166618747216781432991713&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduend~default-1-119829512-null-null.142^v59pc_search_tree,201^v3control_1&utm_term=Deep%20Adaptation%20Networks&spm=1018.2226.3001.4187文章来源地址https://www.toymoban.com/news/detail-780574.html

6.注

• 才疏学浅，欢迎批评、指导和交流；
• 有错误望大家及时指正！
• 看完觉得还行记得点个赞哦~

到了这里，关于【ML算法学习】多核最大均值差异（MK-MMD）与深度适应网络（DAN）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！