数学建模day14-分类模型

这篇具有很好参考价值的文章主要介绍了数学建模day14-分类模型。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本讲将介绍分类模型。对于二分类模型,我们将介绍逻辑回归(logistic regression)和Fisher线性判别分析两种分类算法;对于多分类模型,我们将简单介绍Spss中的多分类线性判别分析和多分类逻辑回归的操作步骤。

注:本文源于数学建模学习交流相关公众号观看学习视频后所作

目录

例子引入

数据预处理:生成虚拟变量

逻辑回归logistic regression

线性概率模型

两点分布(伯努利分布)

连接函数的取法

函数图像对比

怎么求解

怎么用于分类

写入论文

Spss求解逻辑回归

预测成功率

逻辑回归系数表

表格中新添的两列解读

逐步回归的设置

假如自变量有分类变量怎么办

预测结果较差怎么办

加入平方项后的结果

过拟合现象

如何确定合适的模型

Fisher线性判别分析

核心问题:找到线性系数向量 ω

笔记

Spss操作

结果分析

多分类问题

Fisher判别分析可用于多分类

Fisher判别分析多分类的结果

Logistic回归也可用于多分类

Spss操作

结果说明

课后作业

​编辑

参考答案

结束


例子引入

根据水果的属性,判断该水果的种类。
mass:     水果重量
width:     水果的宽度
height:    水果的高度
color_score: 水果的颜色数值,范围0-1
fruit_name:水果类别

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

数据预处理:生成虚拟变量

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型


逻辑回归logistic regression

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

        对于因变量为分类变量的情况,我们可以使用逻辑回归进行处理。把y看成事件发生的概率,y ≥ 0.5表示发生;y < 0.5表示不发生

线性概率模型

线性概率模型(Linear Probability Model,简记LPM)

直接用原来的回归模型进行回归。

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

两点分布(伯努利分布)

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

连接函数的取法

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

        由于后者有解析表达式(而标准正态分布的cdf没有),所以计算 logistic 模型比 probit 模型更为方便。

函数图像对比

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

怎么求解

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

可以使用数值方法(梯度下降)求解这个非线性最大化的问题

极大似然估计:大家可以参考概率论与数理统计的教材学习

怎么用于分类

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

写入论文

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

通过极大似然估计可以估计出 β^,得到y^,然后通过y^进行预测

Spss求解逻辑回归

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

预测成功率

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

19个苹果样本中,预测出来为苹果的有14个,预测出来的正确率为73.7%;
19个橙子样本中,预测出来为橙子的有15个,预测出来的正确率为78.9%;
对于整个样本,逻辑回归的预测成功率为76.3%.

逻辑回归系数表

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

注意:

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型 

表格中新添的两列解读

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

逐步回归的设置

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

向前(向后)逐步回归可选择的统计量有所区别。
进入(或者除去)自变量的显著性水平可以自己调节。

假如自变量有分类变量怎么办

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

两种方法
(1)先创建虚拟变量,然后删除任意一列以排除完全多重共线性的影响;
(2)直接点击分类,然后定义分类协变量,Spss会自动帮我们生成。
        (如果没有生成虚拟变量这个选项,则说明SPSS没有安装到默认位置)

预测结果较差怎么办

可在logistic回归模型中加入平方项、交互项

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

加入平方项后的结果

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

过拟合现象

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

如何确定合适的模型

        把数据分为训练组和测试组,用训练组的数据来估计出模型,再用测试组的数据来进行测试。(训练组和测试组的比例一般设置为80%和20%)
        已知分类结果的水果ID为1-38,前19个为苹果,后19个为橙子。每类水果中随机抽出3个ID作为测试组,剩下的16个ID作为训练组。


(比如:17-19、36-38这六个样本作为测试组)
比较设置不同的自变量后的模型对于测试组的预测效果。

(注意:为了消除偶然性的影响,可以对上述步骤多重复几次,最终对每个模型求一个平均的准确率,这个步骤称为 交叉验证。)


Fisher线性判别分析

        LDA(Linear Discriminant Analysis)是一种经典的线性判别方法,又称Fisher判别分析。该方法思想比较简单:给定训练集样例,设法将样例投影到一维的直线上,使得同类样例的投影点尽可能接近和密集,异类投影点尽可能远离。

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

上述图片来自图片中链接的博客

详细证明和求解步骤:https://www.bilibili.com/video/av33101528/?p=3

核心问题:找到线性系数向量 ω

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

笔记

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

Spss操作

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

结果分析

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

放入论文中的话,只需要将w的那个表, 和最后预测的数据放入即可

多分类问题

现在水果的类别一共有四种,其四个指标的平均值如下表所示:

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

问题:对ID为60-67的八个水果进行归类。

Fisher判别分析可用于多分类

线性判别分析(LDA)和python实现(多分类问题)_闭式解sw-1sb-CSDN博客

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

注意:这里SPSS不能自动帮我们生成虚拟变量,我们可以在EXCEL表中使用“替换”功能来快速生成虚拟变量。

Fisher判别分析多分类的结果

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型


Logistic回归也可用于多分类

将连接函数:Sigmoid函数推广为Softmax函数

https://www.cnblogs.com/bonelee/p/8127411.html

多分类逻辑回归(Multinomial Logistic Regression)_多分类logistic回归模型-CSDN博客

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

上图来自图中链接所示博客

Spss操作

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

注意,这里要将几个自变量放到协变量中,放到上面的因子中是不正确的,但后续的分析思路完全相同。
补充:Spss中因子和协变量的区别:

因子 指分类型变量,例如性别、学历等

协变量 指连续型变量,例如面积、重量等

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

结果说明

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

        返回到我们的数据列表,可以看出Spss给我们输出了属于每一类的概率,并将概率最大的那个类别作为我们的预测结果。

课后作业

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

参考答案

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

替换后的数据,接下来就可以导入Excel了

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

        另外,如果导入excel数据文件比较卡的话,可以先将数据另存为csv文件,然后再使用SPSS的导入csv数据的功能。

导入进来的数据

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

数学建模day14-分类模型,数学建模,数学建模,分类,数据挖掘,分类模型

        这6个未知类别的预测结果也出来了,分别是1 3 1 2 3 1,而在最开始替换时,1对应山鸢尾,2对应变色鸢尾,3对应维吉尼亚鸢尾。
        另外大家也可以使用Fisher判别分析进行多分类,这里就不再赘述了。

结束

┏(^0^)┛拜拜~~~文章来源地址https://www.toymoban.com/news/detail-810835.html

到了这里,关于数学建模day14-分类模型的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 数学建模 题型分类

    1.1 预测类 指通过分析已有的数据或者现象,找出其内在发展规律,然后对未来情形做出预测的过程。根据已知条件和求解目的,往往将预测类问题分为:小样本内部预测,大样本内部预测,小样本未来预测,大样本随机因素或周期特征的未来预测,大样本的未来预测。 1.2 评价

    2024年02月14日
    浏览(41)
  • 数学建模day15-时间序列分析

            时间序列也称动态序列,是指将某种现象的指标数值按照时间顺序排列而成的数值序列。时间序列分析大致可分成三大部分,分别是 描述过去、分析规律和预测未来 ,本讲将主要介绍时间序列分析中常用的三种模型: 季节分解、指数平滑方法和ARIMA模型 ,并将结

    2024年01月19日
    浏览(38)
  • 数学建模day17-SVD和图形处理

    注:本文源于数学建模学习交流相关公众号观看学习视频后所作         奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解,其在图形学、统计学、推荐系统、信号处理等领域有重要应用。本讲我们将介绍奇异值分解在图形压缩中的运用,并将简单介

    2024年02月22日
    浏览(34)
  • 数学建模学习笔记day4——层次化分析

    层次分析主要有三大典型应用 (1)用于最佳方案的选取 (2)用于评价类问题 (3)用于指标体系的优选 层次分析法是根据问题的性质和要达成的目标,将问题分解为不同的组成因素,将因素按不同层次聚集组合,形成一个多层次的分析结构模型,最终问题归结为最低层(决

    2024年02月09日
    浏览(42)
  • 【数学建模】-- 数学规划模型

    概述: 什么是数学规划? 数学建模中的数学规划是指利用数学方法和技巧对问题进行数学建模,并通过数学规划模型求解最优解的过程。数学规划是一种数学优化方法,旨在找到使目标函数达到最大值或最小值的变量取值,同时满足一系列约束条件。 数学规划包括多种不同

    2024年02月12日
    浏览(39)
  • 【数学建模】优化模型——规划模型

    在数学建模中,优化类问题是很常见的一种问题。这种问题里面通常涉及多个 变量 和 约束条件 ,并需要在这些变量和条件之下 优化某个函数 。最常见的例子就是,“达到最好效果”、“取得最大利润”、“极大降低风险”等等。遇到这类字眼,应首先考虑优化模型求解。

    2024年01月25日
    浏览(39)
  • 2022 数学建模B题成品论文 参考文章 含全部建模 步骤 数学模型 图像

    完整见https://mianbaoduo.com/o/bread/mbd-Y5eVm5xw 无人机遂行编队飞行中的纯方位无源定位 摘要 一、问题重述 1.1 问题背景 由于无人机集群在遂行编队飞行时, 应尽可能的避免外界干扰, 因此需要尽可能的保持电磁静默减少电磁波信号的发射.为保持编队队形, 拟采用纯方位无源

    2024年02月08日
    浏览(54)
  • 【数学建模】图论模型

    无向图和有向图 简单图和完全图:重边、环、孤立点 赋权图/网络 顶点的度 子图与生成子图 路与回路、迹、path、圈 连通图与非连通图 图的表示 考虑简单图 关联矩阵表示 邻接矩阵表示 对于赋权图而言,邻接矩阵中的数值改为对应边的权值就得到对应的无向/有向赋权图

    2024年01月17日
    浏览(52)
  • 数学建模-模型详解(2)

    当谈到微分模型时,通常指的是使用微分方程来描述某个系统的动态行为。微分方程是描述变量之间变化率的数学方程。微分模型可以用于解决各种实际问题,例如物理学、工程学、生物学等领域。 微分模型可以分为两类:常微分方程和偏微分方程。常微分方程描述的是只有

    2024年02月11日
    浏览(35)
  • 数学建模-模型详解(1)

    当涉及到线性规划模型实例时,以下是一个简单的示例: 假设我们有两个变量 x 和 y,并且我们希望最大化目标函数 Z = 5x + 3y,同时满足以下约束条件: x = 0 y = 0 2x + y = 10 x + 2y = 8 这是一个典型的线性规划问题,我们可以使用线性规划算法来求解最优解。 非线性规划(Nonli

    2024年02月11日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包