Csiszár divergences
熵函数
熵函数（entropy function)
φ
:
R
+
+
→
R
+
\varphi: \mathbb{R}_{++} \to \mathbb{R}_{+}
φ:R++→R+，他是凸函数，正的（？），下半连续函数，并且
φ
(
1
)
=
0
\varphi \left( 1 \right) = 0
φ(1)=0
φ
∞
′
=
lim
x
→
∞
φ
(
x
)
x
\varphi_{\infty}^{\prime} = \lim_{ x \to \infty } \frac{\varphi \left( x \right)}{x}
φ∞′=limx→∞xφ(x)
性质
设 φ ∗ \varphi^{*} φ∗是熵函数的共轭函数，则
- ∂ φ ⊂ R + \partial \varphi \subset \mathbb{R}_{+} ∂φ⊂R+,即 φ ∗ \varphi^{*} φ∗单调不减
- dom φ ∗ = ( − ∞ , φ ∞ ′ ) \operatorname{dom}\varphi^{*} = \left( -\infty, \varphi_{\infty}^{\prime} \right) domφ∗=(−∞,φ∞′)
- lim q → − ∞ φ ∗ ( q ) = − φ ( 0 ) , lim q → + ∞ φ ∗ ( q ) = + ∞ \lim\limits_{q\to -\infty}\varphi^{*} \left( q \right) = -\varphi \left( 0 \right), \lim\limits_{q\to +\infty}\varphi^{*} \left( q \right) = +\infty q→−∞limφ∗(q)=−φ(0),q→+∞limφ∗(q)=+∞
证明：
设
q
<
q
′
q < q^{\prime}
q<q′,
由于
dom
φ
=
R
+
+
\operatorname{dom} \varphi = \mathbb{R}_{++}
domφ=R++，有
x
q
−
φ
(
x
)
≤
x
q
′
−
φ
(
x
)
xq-\varphi \left(x\right) \le x q^{\prime} - \varphi\left(x\right)
xq−φ(x)≤xq′−φ(x)
两边同时取
sup
\sup
sup，即可证明1
若
φ
∞
′
<
∞
\varphi_{\infty}^{\prime} < \infty
φ∞′<∞, 并且
q
>
φ
∞
′
q > \varphi_{\infty}^{\prime}
q>φ∞′, 则
lim
p
→
∞
(
p
q
−
φ
(
p
)
)
=
lim
p
→
∞
p
(
q
−
φ
(
p
)
p
)
=
+
∞
\lim_{ p \to \infty } \left( pq-\varphi \left(p\right) \right) = \lim_{ p \to \infty } p\left(q - \frac{\varphi \left( p \right)}{p} \right) = +\infty
limp→∞(pq−φ(p))=limp→∞p(q−pφ(p))=+∞,也就是说
q
∉
dom
(
φ
∗
)
q \notin \operatorname{dom} \left( \varphi^{*} \right)
q∈/dom(φ∗)
若
φ
∞
′
=
∞
\varphi_{\infty}^{\prime} = \infty
φ∞′=∞，则，对于
∀
q
∈
R
\forall q \in \mathbb{R}
∀q∈R ,
lim
p
→
∞
p
(
q
−
φ
(
p
)
p
)
=
−
∞
\lim_{ p \to \infty } p\left(q - \frac{\varphi \left( p \right)}{p} \right) = -\infty
limp→∞p(q−pφ(p))=−∞,
也就是说，关于
p
p
p是一个强制函数，进而
φ
∗
(
p
)
\varphi^{*} \left( p \right)
φ∗(p)有限，即
q
∈
dom
(
φ
∗
)
q \in \operatorname{dom} \left( \varphi^{*} \right)
q∈dom(φ∗)
显然
φ
∗
(
q
)
≥
−
φ
(
0
)
\varphi^{*} \left( q \right) \ge - \varphi \left( 0 \right)
φ∗(q)≥−φ(0)
当
q
→
−
∞
q \to -\infty
q→−∞, 若
p
>
0
p >0
p>0，则
p
q
−
φ
(
p
)
→
−
∞
pq-\varphi \left(p\right) \to -\infty
pq−φ(p)→−∞,因此
lim
q
→
−
∞
φ
∗
(
q
)
=
−
φ
(
0
)
\lim\limits_{q\to -\infty}\varphi^{*} \left( q \right) = -\varphi \left( 0 \right)
q→−∞limφ∗(q)=−φ(0)
当
q
→
+
∞
q \to +\infty
q→+∞，
φ
∗
(
q
)
≥
q
×
1
−
φ
(
1
)
=
q
\varphi^{*} \left( q \right) \ge q \times 1 - \varphi \left( 1 \right) = q
φ∗(q)≥q×1−φ(1)=q, 进而
lim
q
→
+
∞
φ
∗
(
q
)
=
+
∞
\lim\limits_{q\to +\infty}\varphi^{*} \left( q \right) = +\infty
q→+∞limφ∗(q)=+∞
定义
考虑数据定义在空间
X
\mathcal{X}
X上，正测度集
M
+
(
X
)
\mathcal{M}^+ \left( \mathcal{X} \right)
M+(X)
Radon-Nikodym-Lebegue decomposition,
α
=
d
α
d
β
+
α
⊥
∀
(
α
,
β
)
∈
M
(
X
)
\alpha = \frac{\mathrm{d} \alpha}{\mathrm{d} \beta} + \alpha^{\perp}\ \forall \left( \alpha, \beta \right) \in \mathcal{M} \left( \mathcal{X} \right)
α=dβdα+α⊥ ∀(α,β)∈M(X)
熵函数
φ
\varphi
φ，其中定义
∀
x
<
0
,
φ
(
x
)
=
+
∞
\forall x < 0, \varphi \left( x \right)= +\infty
∀x<0,φ(x)=+∞文章来源：https://www.toymoban.com/news/detail-785218.html
则Csiszár divergences定义为
D
φ
(
α
∣
β
)
≜
∫
X
φ
(
d
α
d
β
(
x
)
)
d
β
(
x
)
+
φ
∞
′
∫
X
d
α
⊥
(
x
)
\mathrm{D}_{\varphi}(\alpha \mid \beta) \triangleq \int_{\mathcal{X}} \varphi\left(\frac{\mathrm{d} \alpha}{\mathrm{d} \beta}(x)\right) \mathrm{d} \beta(x)+\varphi_{\infty}^{\prime} \int_{\mathcal{X}} \mathrm{d} \alpha^{\perp}(x)
Dφ(α∣β)≜∫Xφ(dβdα(x))dβ(x)+φ∞′∫Xdα⊥(x)
离散版本
D
φ
(
μ
∣
ν
)
≜
∑
ν
i
>
0
φ
(
μ
i
ν
i
)
ν
i
+
φ
∞
′
∑
ν
i
=
0
μ
i
\mathrm{D}_{\varphi}(\mu \mid \nu) \triangleq \sum_{\nu_i>0} \varphi\left(\frac{\mu_i}{\nu_i}\right) \nu_i+\varphi_{\infty}^{\prime} \sum_{\nu_i=0} \mu_i
Dφ(μ∣ν)≜νi>0∑φ(νiμi)νi+φ∞′νi=0∑μi文章来源地址https://www.toymoban.com/news/detail-785218.html
到了这里，关于Csiszár divergences的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
