https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence
一、说明
本篇叙述了KL 散度的数学、直觉和如何实际使用；以及它如何最好地用于过程监测。Kullback-Leibler 散度度量（相对熵）是信息论中的一种统计测量方法，通常用于量化一个概率分布与参考概率分布之间的差异。
虽然 KL 散度很受欢迎，但它有时会被误解。在实践中，有时也很难知道何时使用一种统计距离检查而不是另一种。这篇博文介绍了如何使用 KL 散度、它在实践中的工作原理，以及何时应该和不应该使用 KL 散度来监控漂移。
二、背景知识
2.1 散度和距离的关系
统计模型的度量方法，因为部分满足距离空间的条件，因而不能叫距离，叫散度。
在统计学、概率论和信息论中，统计距离量化了两个统计对象之间的距离，可以是两个随机变量，也可以是两个概率分布或样本，也可以是单个样本点与总体或总体之间的距离。更广泛的点样本。文章来源：https://www.toymoban.com/news/detail-493909.html
总体之间的距离可以解释为测量两个概率分布之间的距离，因此它们本质上是概率测量之间距离的测量。当统计距离度量与随机变量之间的差异相关时，这些可能具有统计相关性，[1] 因此这些距离与概率度量之间的距离度量没有直接关系。同样，衡量随机变量之间的距离可文章来源地址https://www.toymoban.com/news/detail-493909.html
到了这里，关于【机器学习】Kullback-Leibler散度实现数据监控的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![[机器学习、Spark]Spark MLlib实现数据基本统计](https://imgs.yssmx.com/Uploads/2024/02/781801-1.png)
