机器学习算法系列之 – 朴素贝叶斯
朴素贝叶斯法是基于概率统计,特征条件独立假设的分类方法,是一种非常常用的机器学习算法;通常用于处理文本分类和情感分析等自然语言处理任务中。相对于其他复杂的模型,朴素贝叶斯算法具有简单、易于实现、高效和良好的准确性等特点。
算法基础
概率论基础
条件概率
事件B已经发生的条件下,事件A发生的概率,称为事件A在给定事件B的条件概率,表示为P(A|B)
P
(
A
∣
B
)
=
P
(
A
∣
B
)
P
(
B
)
P(A|B)= \frac{P(A|B)}{P(B)}
P(A∣B)=P(B)P(A∣B)
其中,P(A∩B)=P(A|B)P(B)=P(B|A)P(A)
全概率公式
假设:样本空间S是由两个事件A与A’组成的和。如下图中,红色部分是事件A,绿色部分是事件A’,它们共同构成了样本空间S,且无交集
此时,依据全概率公式,事件B发生的概率P(B):
P
(
B
)
=
P
(
A
′
∩
B
)
+
P
(
A
∩
B
)
=
P
(
B
∣
A
′
)
P
(
A
′
)
+
P
(
B
∣
A
)
P
(
A
)
P(B)=P(A'∩B)+P(A∩B)=P(B|A')P(A')+P(B|A)P(A)
P(B)=P(A′∩B)+P(A∩B)=P(B∣A′)P(A′)+P(B∣A)P(A)
总结 全概率公式: P ( B ) = ∑ i = 1 n P ( B ∣ A i ) P ( A i ) P(B)=\sum_{i=1}^{n}P(B|A_i)P(A_i) P(B)=∑i=1nP(B∣Ai)P(Ai)
事件独立性
当公式P(A1,A2,…,An)=P(A1)P(A2)…P(An)成立时,则称A1,A2,…,An为相互独立的事件。表示每个事件发生的概率互不影响。
贝叶斯定理
关于概率方面的基础(正概率问题、逆概率问题,先验概率、后验概率)请读者自行了解,贝叶斯属于逆概率问题。我们先来看看贝叶斯公式的表达
P
(
A
∣
B
)
=
P
(
A
)
P
(
B
∣
A
)
P
(
B
)
P(A|B)=P(A)\frac{P(B|A)}{P(B)}
P(A∣B)=P(A)P(B)P(B∣A)
其中,P(A|B) 是指后验概率,即在给定观测到的 B 事件发生之后,A 事件发生的概率;P(A) 是指先验概率,即在没有任何其他信息的情况下,A 事件发生的概率;P(B|A) 是指似然度或条件概率,即在 A 事件已经发生的情况下,B 事件发生的概率;P(B) 是指证据因子,即 B 事件发生的概率,二者比值构成一个可能性函数。
贝叶斯定理核心思想
基于贝叶斯公式来进行分类。
它假设所有特征之间都是独立同分布的,从而化了模型计算的过程。
在文本分类中,我们可以使用朴素贝叶斯算法来计算一个文档属于某个类别的概率。
具体而言,我们可以首先根据训练数据集,计算每个单词(或者 n-gram 构成的词组)在每个类别中出现的概率,以及每个类别先验概率。然后可以使用贝叶斯公式来计算文档属于每个类别的概率,并选择概率最大的类别作为该文档的分类结果。
- 也就是,在主观判断的基础上,先估计一个值(先验概率),然后根据观察的新信息不断修正(可能性函数)
也就是:新信息出现后A的概率=A的概率 x 新信息带来的调整
贝叶斯决策论
算法概述
对于给定的训练数据集,首先基于特征条件独立假设学习输入输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。实现方法简单有效,学习与预测的效率都很高,很常用。
贝叶斯决策论(Bayesian decision theory):概率框架下实施决策
的基本方法。对于分类任务,在所有相关概率已知的情形下,贝叶
斯决策论考虑如何基于概率和误判损失来选择最优的类别标记
- 期望损失
N种可能的类别标记 Y = { c 1 , c 2 , c 3 , . . . , c N } , λ i j Y=\{c_1,c_2,c_3,...,c_N\},\lambda_{ij} Y={c1,c2,c3,...,cN},λij表示将一个真实标记为 c j c_j cj的样本误分类为 c i c_i ci产生的损失,也叫“条件风险”:
于是,贝叶斯判定准则:为最小化总体风险,只需要每个样本选择那
个能使条件风险R(c|x)最小的类别标记,即
h ∗ ( x ) = a r g m i n c ∈ Y R ( c ∣ x ) h^*(x)=arg min_{c\in Y}R(c|x) h∗(x)=argminc∈YR(c∣x)
此处h为贝叶斯最优分类器
假设目标是最小化分类错误率,则误判损失 λ i j \lambda_{ij} λij可以写为
此时条件风险:
R
(
c
∣
x
)
=
1
−
P
(
c
∣
x
)
R(c|x)=1-P(c|x)
R(c∣x)=1−P(c∣x)
于是,最小化分类错误率的贝叶斯分类器为:
h
∗
(
x
)
=
a
r
g
m
a
x
c
∈
Y
P
(
c
∣
x
)
h^*(x)=arg\ max_{c\in Y}P(c|x)
h∗(x)=arg maxc∈YP(c∣x)
即对每个样本x,选择能使后验概率P(c|x)最大的类别标记
贝叶斯分类模型
朴素贝叶斯分类模型
朴素贝叶斯通过训练数据集学习联合概率分布P(X,Y)。具体要先学习先验概率分布P(Y= c k c_k ck)以及条件概率分布P(X=x|Y= c k c_k ck),进一步学习到联合概率分布。
其中后验概率的计算根据贝叶斯定理进行
朴素贝叶斯法实际上是生成数据的机制,所以属于生成模型。条件独立假设等于是说用于分类的特征,在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯法变得简单,但有时会牺牲一定的分类准确率,在分类对给定的输入x通过学习到的模型计算后验概率分布P(c|x),将后验概率最大的类作为x的类输出。
最后得到 朴素贝叶斯分类器的表达式:
y
=
a
r
g
m
a
x
c
k
P
(
Y
=
c
k
)
∏
j
P
(
X
j
=
x
j
∣
Y
=
c
k
)
y=arg\ max_{c_k}P(Y=c_k)\prod_jP(X^j=x^j|Y=c_k)
y=arg maxckP(Y=ck)j∏P(Xj=xj∣Y=ck)
后验概率最大化的含义(朴素贝叶斯原理)
等价于期望风险最小化。
首先,假设选择0-1损失函数:
L
(
Y
,
f
(
X
)
)
=
{
1
,
Y
≠
f
(
X
)
0
,
Y
=
f
(
X
)
L(Y,f(X))= \begin{cases} 1,Y\neq f(X)\\ 0,Y=f(X) \end{cases}
L(Y,f(X))={1,Y=f(X)0,Y=f(X)
f(X)为分类决策函数。此时期望风险函数为
R
e
x
p
(
f
)
=
E
[
L
(
Y
,
f
(
X
)
)
]
R_{exp}(f)=E[L(Y,f(X))]
Rexp(f)=E[L(Y,f(X))],此处期望是对联合分布P(X,Y)取的。再由此取得条件期望
R
e
x
p
(
f
)
=
E
X
∑
k
=
1
K
[
L
(
c
k
,
f
(
X
)
)
]
P
(
c
k
∣
X
)
R_{exp}(f)=E_X\sum^K_{k=1}[L(c_k,f(X))]P(c_k|X)
Rexp(f)=EXk=1∑K[L(ck,f(X))]P(ck∣X)
可以看出,为了使得期望风险最小化,我们只需要对X=x逐个极小化,由此便可得到:
f
(
x
)
=
a
r
g
m
i
n
y
∈
Y
∑
k
=
1
K
L
(
c
k
,
y
)
P
(
c
k
∣
X
=
x
)
=
a
r
g
m
i
n
y
∈
Y
∑
k
=
1
K
P
(
y
≠
c
k
∣
X
=
x
)
=
a
r
g
m
i
n
y
∈
Y
(
1
−
P
(
y
=
c
k
∣
X
=
x
)
)
=
a
r
g
m
a
x
y
∈
Y
P
(
y
=
c
k
∣
X
=
x
)
f(x)=arg\ min_{y\in Y}\sum^K_{k=1}L(c_k,y)P(c_k|X=x)\\ =arg\ min_{y\in Y}\sum^K_{k=1}P(y\neq c_k|X=x)\\ =arg\ min_{y\in Y}(1-P(y=c_k|X=x)) =arg\ max_{y\in Y}P(y=c_k|X=x)
f(x)=arg miny∈Yk=1∑KL(ck,y)P(ck∣X=x)=arg miny∈Yk=1∑KP(y=ck∣X=x)=arg miny∈Y(1−P(y=ck∣X=x))=arg maxy∈YP(y=ck∣X=x)
这样一来,根据期望风险最小化准则就得到了后验概率最大化准则:
f
(
x
)
=
a
r
g
m
a
x
y
∈
Y
P
(
c
k
∣
X
=
x
)
f(x)=arg\ max_{y\in Y}P(c_k|X=x)
f(x)=arg maxy∈YP(ck∣X=x)
也就是==“朴素贝叶斯法”所采取的原理==
由此,朴素贝叶斯分类器的训练过程,就是基于训练集估计先验概率P©,并为每个属性估计条件概率 P ( x j ∣ c ) P(x^j|c) P(xj∣c)
-
估计先验概率:
令Dc是训练集D中第c类样本组成的集合,若有充足的独立同分
布样本,则先验概率P© 为 -
估计条件概率
离散型:令 D c , x i D_{c,x_i} Dc,xi表示 D c D_c Dc在第i个属性上取值为 x i x_i xi的样本组成的集合,则条件概率 P ( x i ∣ c ) P(x_i|c) P(xi∣c)为
连续型:对于连续属性考虑概率密度函数,假定
μ c , x i 和 σ c , x i 2 \mu_{c,x_i}和\sigma^2_{c,x_i} μc,xi和σc,xi2分别为第c类样本在第i个属性上取值的均值和方差,则
算法步骤
综上,我们可以总结出朴素贝叶斯分类模型求解的基本步骤
1、计算先验概率
2、计算条件概率
3、对于给定实例,计算
P
(
Y
=
c
k
)
∏
j
P
(
X
j
=
x
j
∣
Y
=
c
k
)
,
k
=
1
,
2
,
.
.
.
,
K
P(Y=c_k)\prod_jP(X^j=x^j|Y=c_k),k=1,2,...,K
P(Y=ck)∏jP(Xj=xj∣Y=ck),k=1,2,...,K
4、确定实例x的类y=
a
r
g
m
a
x
c
k
P
(
Y
=
c
k
)
∏
j
P
(
X
j
=
x
j
∣
Y
=
c
k
)
arg\ max_{c_k}P(Y=c_k)\prod_jP(X^j=x^j|Y=c_k)
arg maxckP(Y=ck)∏jP(Xj=xj∣Y=ck)
贝叶斯估计
若当某个属性值在训练样本中从未出现过时,估计条件概率时,连乘结果都会为0,此时会影响到后验概率计算的结果,产生偏差分类。
解决办法:贝叶斯估计。
具体而言,条件概率的贝叶斯估计是:
P
λ
(
X
j
=
a
j
l
∣
Y
=
c
k
)
=
∑
i
=
1
N
I
(
x
i
j
=
a
j
l
,
y
i
=
c
k
)
+
λ
∑
i
=
1
N
I
(
y
i
=
c
k
)
+
S
j
λ
P_\lambda(X^j=a_{jl|Y=c_k})=\frac{\sum^N_{i=1}I(x_i^j=a_{jl},y_i=c_k)+\lambda}{\sum^N_{i=1}I(y_i=c_k)+S_j\lambda}
Pλ(Xj=ajl∣Y=ck)=∑i=1NI(yi=ck)+Sjλ∑i=1NI(xij=ajl,yi=ck)+λ
通常取
λ
\lambda
λ为1,此时称为拉普拉斯平滑。
同样,先验概率的贝叶斯估计是
P
λ
(
Y
=
c
k
)
=
∑
i
=
1
N
I
(
y
i
=
c
k
)
+
λ
N
+
K
λ
P_\lambda(Y=c_k)=\frac{\sum^N_{i=1}I(y_i=c_k)+\lambda}{N+K\lambda}
Pλ(Y=ck)=N+Kλ∑i=1NI(yi=ck)+λ
朴素贝叶斯分类模型的使用
- 若对预测速度要求高:预计算所有概率估值,使用时“查表”
- 若数据更替频繁:不进行任何训练,收到预测请求时再估值(懒惰学习 , lazy learning)
- 若数据不断增加:基于现有估值,对新样本涉及的概率估值进行修正(增量学习 , incremental learning
优缺点
优点:
• 朴素贝叶斯模型有稳定的分类效率;
• 对小规模的数据表现很好,能处理多分类任务;
• 对缺失数据不太敏感,算法也比较简单,常用于文本分类。
缺点:
• 朴素贝叶斯假定每个变量之间是相互独立的,但是现实中的数据
往往都具有一定的相关性,很少有完全独立的;
• 由于我们是通过先验和数据来决定后验的概率从而决定分类,所
以分类决策存在一定的错误率
算法实战
朴素贝叶斯算法实战可参考该博客:《《机器学习实战》第四章 Python3代码-(亲自修改测试可成功运行)
总结
总结来说,朴素贝叶斯算法是一种简单、高效、易于实现的器学习算法,特别适用于文本分类和情感分析等自然语言处理任务。在实际应用中,我们可以使用不同变体的朴素贝叶斯算法来处理不同类型的数据。
参考
《统计学习方法》,李航, 清华大学出版社,第二版
《机器学习》,周志华,清华大学出版社文章来源:https://www.toymoban.com/news/detail-470368.html
以上就是关于决策树的分享,若有不妥之处,欢迎各路大佬不吝赐教~
喜欢的伙伴点个赞,顺便收藏、关注一下吧~文章来源地址https://www.toymoban.com/news/detail-470368.html
到了这里,关于机器学习算法系列(六)-- 朴素贝叶斯的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!