机器学习中常用的概念:ROC曲线和AUC值,到底是什么?

这篇具有很好参考价值的文章主要介绍了机器学习中常用的概念:ROC曲线和AUC值,到底是什么?。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.关于ROC曲线的概念

ROC曲线和AUC值是评价分类监督学习性能的重要量度指标。ROC曲线又被称为“接受者操作特征曲线”“等感受性曲线”,主要用于预测准确率情况。最初ROC曲线运用在军事上,现在广泛应用在各个领域,比如判断某种因素对于某种疾病的诊断是否有诊断价值。曲线上各点反映着相同的感受性,它们都是对同一信号刺激的反映,只不过是在几种不同的判定标准下所得的结果而已。

ROC曲线如图所示,是在以虚惊概率(又被称为假阳性率、误报率,图中为“1-特异性”)为横轴,以击中概率(又被称为敏感度、真阳性率,图中为“敏感度”)为纵轴所组成的坐标图中,以被试者在特定刺激条件下由于采用不同的判断标准得出的不同结果画出的曲线。虚惊概率越接近零,且击中概率越接近1,代表准确率越好。

机器学习中常用的概念:ROC曲线和AUC值,到底是什么?,数据挖掘,SPSS入门,SPSS,Python,机器学习,ROC曲线,AUC值

2.关于ROC曲线的解读

对于一条特定的ROC曲线来说,ROC曲线的曲率反映敏感性指标是恒定的,所以它也叫作等感受性曲线。对角线(图中为直线)代表辨别力等于0的一条线,也叫作纯机遇线。ROC曲线离纯机遇线越远,表明模型的辨别力越强。辨别力不同的模型的ROC曲线也不同。

当一条ROC曲线X能够完全包住另一条ROC曲线Y时,也就是对于任意既定特异性水平,曲线X在敏感度上的预测表现都能够大于或等于Y,那么就可以说该曲线X能够全面优于曲线Y。而如果两条曲线有交叉,则无法做出如此推断,这两条曲线根据要求的击中概率的不同而各有优劣。

比如根据既定的研究需要,将要求的击中概率选择为0.7(对应图5.50中纵轴0.7处)时,违约概率为“是”的ROC曲线误报概率要显著高于违约概率为“否”的ROC曲线(体现在违约概率为“是”的ROC曲线横轴对应点在违约概率为“否”的ROC曲线横轴对应点的右侧)。

又比如根据既定的研究需要,将要求的击中概率选择为0.9(对应图5.50中纵轴0.9处)时,违约概率为“是”的ROC曲线误报概率要显著低于违约概率为“否”的ROC曲线(体现在违约概率为“是”的ROC曲线横轴对应点在违约概率为“否”的ROC曲线横轴对应点的左侧)。

3.关于AUC值的概念

ROC曲线下方的区域面积又被称为AUC值,是ROC曲线的数字摘要,取值范围一般为0.5~1。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰地说明哪个模型的效果更好,而作为一个数值,对应AUC值更大的模型预测效果更好。

4.关于AUC值的解读

l 当AUC=1时,是完美模型,采用这个预测模型时,存在至少一个阈值能得出完美预测。绝大多数预测的场合不存在完美模型。

l 当0.5 < AUC < 1时,优于随机猜测。这个模型妥善设置阈值的话能有预测价值。

l 当AUC = 0.5时,跟随机猜测一样,模型没有预测价值。

l 当AUC < 0.5时,比随机猜测还差,但只要总是反预测而行,就会优于随机猜测。

以上内容节选自《Python数据科学应用从入门到精通》(张甜 杨维忠 著 2023年11月新书 清华大学出版社)。

5.机器学习通过Python或SPSS的实现及其优缺点

机器学习在实务中都是通过Python编程语言(R语言也常用)或SPSS等统计分析软件来实现的,而不需要自己去计算。用Python开展机器学习,基本上就是学会调用相应的模块(使用import语句或from…import语句导入模块),然后合理设置相应参数,会对运行结果进行解读,就可以了。用SPSS等统计分析软件开展机器学习,基本上就是会操作相关的菜单,在对话框中进行合理设置,会对运行结果进行解读,就可以了。

用Python编程语言的好处是:1.非常灵活,可以实现很多很多机器学习算法(理论上只要有可调用的模块就可以);2.免费开源,用户众多,不用花钱,遇到问题可以在网上一搜,往往就可以找打答案;3.学习的延展性好,Python除了可以用来进行机器学习,还可以进行爬虫、开发游戏、实现办公自动化等,实现一学多用。缺点在于:因为没有专业公司运营,所以在安装、调用等各个环节,很容易出错,而且不同的模块的版本之间很多时候出现升级不兼容等问题,需要一定的程序调试能力。

用SPSS统计分析软件也可以开展机器学习,其中包括多层感知器、径向基函数、神经网络、决策树、判别分析、线性回归、logistic回归、聚类分析、ROC曲线等很多种方法。其优势在于:1.操作更为简单,只需要点点鼠标操作菜单,在对话框中设定选项,输入参数就可以;2.由于是由SPSS公司专业运营所以基本上不会有bug,不需要任何编程和程序调试能力;3.SPSS不仅可以用于机器学习,还可以用来进行统计分析,不仅可以搞应用还可以搞学术。缺点在于:1.方法不全,没有随机森林、支持向量机、提升法等较为常用的机器学习算法;2.不够灵活,无法根据实际研究需要向编程语言那样做到“量身定制”;3.正版软件需要收费,对于很多用户来说比较昂贵。

根据我多年的教学经验,大家无论是学数据分析中的机器学习还是统计学计量经济学,都建议结合着具体的软件或编程语言来学,对于不想走纯科研路线或者想成为理论大牛的大多数朋友来说,不建议过多研究数学公式,而是应一边学习知识原理,一遍上手操作,不然就会在复杂的数学公式推导面前耗尽了所有的学习热情。

6.Python机器学习用书推荐

如果是用Python编程语言,针对数据分析或机器学习推荐两本入门级的图书:《Python机器学习原理与算法实现》(杨维忠 张甜 著 2023年2月新书 清华大学出版社)《Python数据科学应用从入门到精通》(张甜 杨维忠 著 2023年11月新书 清华大学出版社)。这两本书的特色是在数据分析、机器学习各种算法的介绍方面通俗易懂,较少涉及数学推导,对数学基础要求相对不高,在python代码方面讲的很细致,看了以后根据自身需要选取算法、优化代码、科学调参。

《Python机器学习原理与算法实现》(杨维忠 张甜 著 2023年2月新书 清华大学出版社)内容非常详实,包含了Python和机器学习,相当于一次获得了两本书。在讲解各类机器学习算法时,逐一详解用到的各种Python代码,针对每行代码均有恰当注释(这一点基本上是大多数书目做不到的)。《Python机器学习原理与算法实现》一书创作完成后,在正式出版之前,已经开发成一套系统课程,分9次授课,在某全国性股份制商业银行内部开展了培训,490人根据行内组织统一学习,授课完成后放在知鸟平台供回放学习,9次课程累计回放量近3万次,得到参训学员的一致好评,广泛应用于各位学员的工作实践。(所以,这是一本避雷避坑、已经被亲测可行的网红书,只要用心学,都没问题哦)

机器学习中常用的概念:ROC曲线和AUC值,到底是什么?,数据挖掘,SPSS入门,SPSS,Python,机器学习,ROC曲线,AUC值

《Python机器学习原理与算法实现》(杨维忠 张甜 著 2023年2月新书 清华大学出版社)

《Python数据科学应用从入门到精通》一书,旨在教会读者实现全流程的数据分析,并且相对《Python机器学习原理与算法实现》一书增加了很多概念性、科普性的内容,进一步降低了学习难度。国务院发展研究中心创新发展研究部第二研究室主任杨超 ,山东大学经济学院金融系党支部书记、副主任、副教授、硕士生导师张博,山东管理学院信息工程学院院长 袁锋 教授、硕士生导师,山东大学经济学院 刘一鸣 副研究员、硕士生导师,得厚投资合伙人 张伟民等一众大牛联袂推荐。全书内容共分13章。其中第1章为数据科学应用概述,第2章讲解Python的入门基础知识,第3章讲解数据清洗。第4~6章介绍特征工程,包括特征选择、特征处理、特征提取。第7章介绍数据可视化。第8~13章介绍6种数据挖掘与建模方法,分别为线性回归、Logistic回归、决策树、随机森林、神经网络、RFM分析。从数据科学应用和Python的入门,再到数据清洗与特征工程,最终完成数据挖掘与建模或数据可视化,从而可以为读者提供“从拿到数据开始,一直到构建形成最终模型或可视化报告成果”的一站式、全流程指导。买这一本书相当于一下子得到了5本书(Python基础、数据清洗、特征工程、数据可视化、数据挖掘与建模),入门超级简单,不需要编程基础,也不需要过多数学推导,非常适用于零基础学生。

机器学习中常用的概念:ROC曲线和AUC值,到底是什么?,数据挖掘,SPSS入门,SPSS,Python,机器学习,ROC曲线,AUC值

两本书随书赠送的学习资料也很多,包括全部的源代码、PPT、思维导图,还有10小时以上的讲解视频,每一章后面还有练习题及参考答案,还有学习群,相对于只看网络上的视频,一方面更加系统、高效,另一方面照着书一步步操作学起来也事半功倍。全网热销中,当当、京东等平台搜索“Python机器学习 杨维忠”“Python数据科学 杨维忠”即可。

7.SPSS机器学习用书推荐

关于SPSS的机器学习、商用建模与综合案例应用,推荐学习杨维忠、张甜编著,清华大学出版社出版的《SPSS统计分析商用建模与综合案例精解》。

全书共12章,第1章为SPSS操作快速入门,旨在告诉读者SPSS软件启动与关闭,数据编辑录入、数据读取、数据排序、缺失值处理、数据查找、数据合并等对数据的基础操作,教会读者如何使用SPSS处理数据。第2章为SPSS建模技术要点介绍,旨在告诉读者SPSS中的各类建模技术方法,建模中的注意事项,建模中的常见误区、需要遵循的价值导向,以及完整的研究方案设计要点等。第3章为SPSS在电子商务平台商户营销中的应用,讲解如何使用SPSS的直销模块来进行建模,以便应用到电子商务平台商户营销中。第4章为商业银行授信客户信用风险评估,讲解如何使用SPSS软件的神经网络-多层感知器,应用到商业银行授信客户信用风险评估领域。第5章为在线旅游供应商客户分类建模技术模块,讲解如何使用SPSS软件的神经网络-径向基函数,以便应用到在线旅游供应商客户分类中。第6章为小额快贷大数据审批建模技术模块,讲解如何使用SPSS软件的决策树模块,应用到小额快贷大数据审批中。第7章为汽车消费市场调研建模技术,讲解如何使用SPSS软件的联合分析模块和交叉表分析模块,应用到汽车消费市场调研中。第8章为住宅小区订奶量预测分析建模技术,讲解如何使用SPSS软件时间序列预测模块进行建模,应用到住宅小区订奶量预测分析中。第9章为手机游戏玩家体验评价影响因素分析,讲解如何使用SPSS软件的线性回归分析模块和方差分析模块,研究手机游戏玩家体验评价影响因素。第10章为家政行业客户满意度调研建模技术,讲解如何使用SPSS软件可靠性分析、描述性分析相关性分析、有序回归分析等模块开展家政行业客户满意度调研工作。第11章为软件和信息技术服务业估值建模技术,讲解如何使用SPSS软件描述性分析、相关性分析、线性回归分析研究软件和信息技术服务业上市公司估值。第12章为美容连锁企业按门店特征分类分析建模技术,讲解如何使用SPSS软件因子分析模块和聚类分析模块对美容连锁企业按门店特征分类。

综上所述,本书最大的特色和优势在于将SPSS建模技术和商业领域应用有机结合,从使用的SPSS建模技术来看,既包括传统经典的线性回归分析、相关分析、因子分析、聚类分析、描述性分析、方差分析、交叉表分析等一般统计建模技术,也包括神经网络多层感知器、径向基函数、决策树等热门大数据处理建模技术,也包括专业用于市场营销的联合分析、直销模块分析等专业建模技术。从研究应用的领域来看,全部为当下流行热门的商业运营领域,涉及的行业包括商业银行、美容连锁、汽车制造销售、电子商务、在线旅游、网络信贷、手机游戏、家政行业、奶制品行业、软件和信息技术服务业等,涉及的商业运营环节包括市场调研、市场营销、客户满意度调查、连锁门店分类管理、奶制品物流配送、客户关系分级分类维护、业务审批、消费者综合体验、上市公司估值等。

机器学习中常用的概念:ROC曲线和AUC值,到底是什么?,数据挖掘,SPSS入门,SPSS,Python,机器学习,ROC曲线,AUC值

​创作不易,恳请大家多多点赞支持,也欢迎大家多多关注我,让我们一起学习Python/SPSS/Stata等相关知识。文章来源地址https://www.toymoban.com/news/detail-817106.html

到了这里,关于机器学习中常用的概念:ROC曲线和AUC值,到底是什么?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 机器学习 | 混淆矩阵和ROC曲线

    (1)对于二分类 TP(True Positive):将正类预测为正类数,真实为0,预测也为0 FN(False Negative):将正类预测为负类数,真实为0,预测为1 FP(False Positive):将负类预测为正类数, 真实为1,预测为0 TN(True Negative):将负类预测为负类数,真实为1,预测也为1 则混淆矩阵如下: (2)对

    2024年01月21日
    浏览(47)
  • 机器学习:关于P-R曲线和Roc曲线

    一:关于P-R曲线 :     1:1:何为P-R曲线:      P为precision即 精准率(查准率) ,R为recall即 召回率 ,所以P-R曲线是反映了准确率与召回率之间的关系。一般横坐标为recall,纵坐标为precision。P-R曲线      1.2:P-R曲线作用:      PR曲线常被用在信息提取领域,同时当我们的

    2024年02月13日
    浏览(39)
  • R语言用逻辑回归预测BRFSS中风数据、方差分析anova、ROC曲线AUC、可视化探索

    行为风险因素监测系统(BRFSS)是一项年度电话调查。BRFSS旨在确定成年人口中的风险因素并报告新兴趋势 ( 点击文末“阅读原文”获取完整 代码数据 )。 相关视频 例如,调查对象被询问他们的饮食和每周体育活动、HIV/AIDS状况、可能的吸烟情况、免疫接种、健康状况、健

    2024年02月07日
    浏览(44)
  • 机器学习-ROC曲线:技术解析与实战应用

    本文全面探讨了ROC曲线(Receiver Operating Characteristic Curve)的重要性和应用,从其历史背景、数学基础到Python实现以及关键评价指标。文章旨在提供一个深刻而全面的视角,以帮助您更好地理解和应用ROC曲线在模型评估中的作用。 关注TechLead,分享AI全维度知识。作者拥有10+年

    2024年02月05日
    浏览(49)
  • 机器学习中的ROC曲线理解和实战

    1、ROC曲线,又可以称之为接受者操作特征曲线(Receiver Operating Characteristic Curve), ROC曲线下的面积,称为AUC(Area Under Cureve),可以衡量评估二分类模型的分类好坏。 2、AUC是1乘以的方格中的一部分,起大小在0-1之间,AUC越大说明模型效果越好, AUC=1,是完美的分类器,该模型至少

    2024年02月08日
    浏览(46)
  • 大数据机器学习深度解读ROC曲线:技术解析与实战应用

    机器学习和数据科学在解决复杂问题时,经常需要评估模型的性能。其中,ROC(Receiver Operating Characteristic)曲线是一种非常有用的工具,被广泛应用于分类问题中。该工具不仅在医学检测、信号处理中有着悠久的历史,而且在近年来的机器学习应用中也显得尤为关键。 ROC曲线

    2024年02月04日
    浏览(41)
  • 机器学习技术:如何使用交叉验证和ROC曲线提高疾病预测的准确性和效率?

    随着机器学习的普及,评估模型的性能越来越重要。交叉验证和ROC曲线是两种常见的评估模型性能的方法。本文将介绍这两种方法的基本原理和应用场景,并结合实际案例和技术实践,讲解如何使用交叉验证和ROC曲线来提高机器学习模型的性能。此外,文章也将提供一些最佳

    2024年02月11日
    浏览(61)
  • 【超详细】机器学习sklearn之分类模型评估 混淆矩阵、ROC曲线、召回率与精度、F1分数

    机器学习之分类模型的评估 学习分类模型评估的方法: 1、混淆矩阵 2、分类结果汇总 3、ROC曲线 4、召回率与精度 5、F1分数 一、评估分类器性能的度量 1、真正(true positive, TP)或f++,对应的是被分类模型正确预测的正样本数。 2、假负(false negative, FN)或f±对应的是被分类模型错

    2023年04月08日
    浏览(92)
  • 成为AI产品经理——TPR、FPR、ROC、AUC

    目录 一、PR图、BEP 1.PR图 2.BEP  二、灵敏度、特异度 1.灵敏度 2.特异度 三、真正率、假正率  1.真正率 2.假正率  三、ROC、AUC 1.ROC 2.AUC 四、KS值 二分类问题模型通常输出的是一个概率值,我们需要设定一个阈值,让大于这个阈值的时候为正样本,其余的为负样本。 如果我们选

    2024年04月29日
    浏览(40)
  • 【机器学习300问】4、机器学习到底在学习什么?

            首先我们先了解一个前置问题,再回答机器学习到底在学习什么。         求解机器学习问题的步骤可以分为“学习”和“推理”两个阶段。首先,在学习阶段进行模型的学习,然后,在推理阶段用学到的模型对未知的数据进行推理。 总结一下: 学习阶段 :

    2024年02月02日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包