《Pattern Recognition and Machine Learning(模式识别与机器学习)》这本书有配套的matlab的程序(网址为prml源码)。第十章包括变分贝叶斯方法计算高斯混合模型的详细介绍。另外,源码里面包括变分贝叶斯计算高斯混合模型的例子。
其中的变分贝叶斯方法较为复杂,尤其是关于变分后验概率分布(10.59)式中的几个参数的说明包括(10.60)到(10.62),网上的推导很少。
下面给一个(10.60)到(10.62)式简略的证明:
1.根据(10.54)式
从10.54可以看出,
q
∗
(
μ
k
,
∧
k
)
q^∗(μ_k,∧_k)
q∗(μk,∧k)(这里只取了1–K中的一项)只与第二项和第四项有关系。第二项中有
第四项中有
其中
∧
k
∧_k
∧k为精度矩阵,是协方差的逆矩阵。把对数去掉之后可以得到
q
∗
(
μ
k
,
∧
k
)
q^∗(μ_k,∧_k)
q∗(μk,∧k)的表达式(这里只取了1–K中的一项),是(10.40)式与(10.38)式的乘积。只写了自然常识指数部分的推导,其它项的稍微简单一些。推导过程是简化的标量格式的。下面是10.40式中正态分布部分与10.38式乘积结果的自然常识指数部分:
对第一和第二项配平方之后就可以得到10.59中的正态分布部分,格式一致。(10.61)式得证。
2. 下面看看配方后的剩余项(下面省去了前面的系数
1
2
∧
k
\frac{1}{2}∧_k
21∧k):
以及
文章来源:https://www.toymoban.com/news/detail-452979.html
可以看出这个式子再乘以10.40式中的wishart分布部分基本和书上的完全一致(多了个m0的项)。(10.62)式得证。文章来源地址https://www.toymoban.com/news/detail-452979.html
到了这里,关于变分贝叶斯应用于高斯混合模型的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!