决策树——ID3算法

这篇具有很好参考价值的文章主要介绍了决策树——ID3算法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一,什么是决策树

所谓决策树,顾名思义,是一种树,一种依托于策略抉择而建立起来的树。机器学习中,决策树是一个预测模型;它代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象,而每个分叉路径则代表的是某个可能的属性值,而每个叶子节点则对应根节点到该叶子节点所经历的路径所表示的对象的值。决策树仅有单一输出,若欲有复数输出,可以建立独立的决策树以处理不同的输出。

         从数据产生决策树的机器学习技术叫做决策树学习,通俗点就是决策树,是一种依托于分类、训练上的预测树,根据已知预测、归类未来。
 

二,ID3算法

   ID3算法是一个由RossQuinlan发明的用于决策树的算法。这个算法便是建立在奥卡姆剃刀的基础上:越是小型的决策树越优于大的决策树。尽管如此,该算法也不是总是生成最小的树形结构,而是一个启发式算法。

         汤姆米歇尔《机器学习》中对ID3算法的描述:


         ID3算法思想描述:

1)                对当前例子集合,计算属性的信息增益;

2)                选择信息增益大的属性A

3)                把在A处取值相同的例子归于同意子集,A取几个值就得几个子集

4)                依次对每种取值情况下的子集,返回1)递归调用建树算法,

5)                若子集中只含有单个属性,则分支为叶子节点,判断其属性值并标上相应的符号,然后返回调用处。
 

三,通过案例理解决策

头发 声音 性别

此案例有两种判断方法
一是先按头发长短判断,再按声音粗细判断,判断过程如下图文章来源地址https://www.toymoban.com/news/detail-776791.html

到了这里,关于决策树——ID3算法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【数据挖掘】决策树归纳中ID3算法讲解及构建决策树实战(图文解释 超详细)

    需要完整PPT请点赞关注收藏后评论区留言私信~~~ 分类是一种重要的数据分析形式。数据分类也称为监督学习,包括学习阶段(构建分类模型)和分类阶段(使用模型预测给定数据的类标号)两个阶段。数据分类方法主要有决策树归纳、贝叶斯分类、K-近邻分类、支持向量机

    2023年04月09日
    浏览(46)
  • ID3 决策树

    西瓜数据集D如下: 编号 色泽 根蒂 敲声 纹理 脐部 触感 好瓜 1 青绿 蜷缩 浊响 清晰 凹陷 硬滑 是 2 乌黑 蜷缩 沉闷 清晰 凹陷 硬滑 是 3 乌黑 蜷缩 浊响 清晰 凹陷 硬滑 是 4 青绿 蜷缩 沉闷 清晰 凹陷 硬滑 是 5 浅白 蜷缩 浊响 清晰 凹陷 硬滑 是 6 青绿 稍蜷 浊响 清晰 稍凹 软粘

    2024年02月13日
    浏览(58)
  • 决策树ID3

    学习地址: https://www.bilibili.com/video/BV1Cq4y1S7k1/?spm_id_from=333.1007.top_right_bar_window_history.content.clickvd_source=de1f9cbc33f7115533aa33c9d6b5257b ID3算法画出决策树 关系: gain=E-info 先算天气的信息增益 算气温的信息增益 算湿度的信息增益 算风的信息增益 选择信息增益最大的作为根节点 画出根

    2024年02月12日
    浏览(49)
  • 基于weka手工实现ID3决策树

    相比于logistic回归、BP网络、支持向量机等基于超平面的方法,决策树更像一种算法,里面的数学原理并不是很多,较好理解。 决策树就是一个不断地属性选择、属性划分地过程,直到满足某一情况就停止划分。 当前样本全部属于同一类别了(信息增益为0); 已经是空叶子

    2024年02月14日
    浏览(51)
  • 决策树之ID3的matlab实现

    森林内的两条分叉路,我选择了人迹罕见的一条,从此一切变得不一样。 ------佛洛斯特Robert Frost 目录 一 .决策树介绍 1.1 相关概念 1.2 图形表示 1.3 规则表示 二.决策树的信息计算 三.ID3相关介绍 3.1 ID3算法概述 3.2 算法流程 四.matlab实现

    2024年02月11日
    浏览(66)
  • ID3决策树及Python实现(详细)

    目录 一、划分特征的评价指标: 二、决策树学习算法伪代码: 三、决策树生成实例: 四、Python实现ID3决策树: 1、信息熵 Ent(D): 信息熵,是度量样本集合纯度的一种指标,Ent(D)的值越小,则样本集D的纯度越高; 2、信息增益 Gain(D,a): 信息增益越大,则意味着使用属性a来

    2024年02月09日
    浏览(45)
  • ID3 决策树的原理、构造及可视化(附完整源代码)

    目录 一、本文的问题定义和(决策树中)信息熵的回顾 ① 本文的问题定义 ②(决策树中)信息熵的回顾 二、ID3 决策树的原理及构造 三、ID3 决策树的可视化源码(含构造过程) 四、ID3 决策树可视化的效果及测试结果 ① ID3 决策树可视化的效果 ② ID3 决策树的文本化结果和

    2023年04月23日
    浏览(52)
  • 吃透《西瓜书》第四章 决策树定义与构造、ID3决策树、C4.5决策树、CART决策树

    目录 一、基本概念 1.1 什么是信息熵? 1.2 决策树的定义与构造 二、决策树算法 2.1 ID3 决策树 2.2 C4.5 决策树 2.3 CART 决策树  信息熵: 熵是 度量样本集合纯度 最常用的一种指标,代表一个系统中蕴含多少信息量, 信息量越大 表明一个 系统不确定性就越大, 就存在越多的可

    2024年02月11日
    浏览(52)
  • 【开源技术分享】Java读写操作Mp3的库:MP3AGIC,使用MP3AGIC获取ID3v1值和获取ID3v2专辑封面和修改ID3v2封面图片等mp3信息

    mp3agic是一个纯Java库。用于读取mp3文件和读取/操作ID3标签(ID3v1和ID3v2.2到ID3v2.4),可以使用 ID3 标签中的详细信息重命名 mp3 文件、重新标记 mp3 文件、将图像附加到 mp3 文件以及从 mp3 文件中提取图像等等任务。 除此以外,JavaCV也可以支持mp3封面读取:《JavaCV音视频开发宝典

    2024年02月16日
    浏览(45)
  • ID决策树的构造原理

    🏷️🏷️本章开始学习有关决策树的相关知识,决策树是一种树形模型,也是一种常用的分类和回归方法。本章我们首先介绍第一种决策树的构造原理 了解决策树算法的基本思想 掌握 ID3 决策树的构建原理 有的同学可能在大学学习过一门课程叫《数据结构》,里面有一个重

    2024年04月29日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包