1、什么是决策树?
一种描述概念空间的有效的归纳推理办法。基于决策树的学习方法可以进行不相关的多概念学习,具有简单快捷的优势,已经在各个领域取得广泛应用。
决策树是一种树型结构,其中每个内部结点表示在一个属性上的测试,每个分支代表一个测试输出,每个叶结点代表一种类别。
2、决策树示意图
3、决策树的思想
决策树学习是以实例为基础的归纳学习。
决策树学习采用的是自顶向下的递归方法,其基本思想是以信息熵为度量构造一棵熵值下降最快的树,到叶子节点处的熵值为零,此时每个叶节点中的实例都属于同一类。
决策树学习算法的最大优点是,它可以自学习。在学习的过程中,不需要使用者了解过多背景知识,只需要对训练例子进行较好的标注,就能够进行学习。
显然,属于有监督学习。
从一类无序、无规则的事物(概念)中推理出决策树表示的分类规则。
3.1、信息熵
3.2、联合熵和条件熵
3.3、信息增益
3.4、信息增益比
4、决策树学习的生成算法
4.1、ID3生成算法
4.2、决策树的例子
文章来源:https://www.toymoban.com/news/detail-799429.html
4.3 决策树的剪枝
文章来源地址https://www.toymoban.com/news/detail-799429.html
到了这里,关于机器学习-决策树的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!