三、学习分类 - 基于图像大小进行分类

这篇具有很好参考价值的文章主要介绍了三、学习分类 - 基于图像大小进行分类。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

天下一半剑仙是我友

谁家娘子不娇羞

我以醇酒洗我剑

谁人说我不风流

1 设置问题

根据图片的尺寸,把图片分为纵向图像和横向图像。这种把图像分成两种类别的问题,就是二分类问题

纵向图片示例:
 

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

 横向图片示例:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

 这样就有了两个训练数据:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

增加训练数据,并在图像中表示出来:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

可以得到一条分隔两边的线,这次分类的目的就是找到这条线:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

只要找到这条线,就可以根据点在线的哪一边来判断图像是横向的还是纵向的了

2 内积

上面图中的直线像学习回归时的一次函数一样,但是这次我们不是求斜率与截距了,而是找向量了。

图中的虚线,是使权重向量成为法线向量的直线

设权重向量为w ,那么那条直线的表达式就是这样的:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

实向量空间的内积是各元素乘积的和,表达式也可以写成:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

法线是与某条直线相垂直的向量。

和学习回归一样,使用假设法,现在我们假设权重向量w = (1,1),代入表达式中可得:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

在图中表示:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

然后再把权重向量加上:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

回到刚开始,一开始并不存在画的那条虚线,我们要先通过训练找到权重向量,最后才能得到与这个向量垂直的直线,最后根据这条直线就可以对数据进行分类了

3 感知机

那么具体要怎么求出权重向量呢?

基本的做法和回归时相同,就是将权重向量用作参数,创建更新表达式来更新参数。

感知机模型(perceptron)

接受多个输入后将每个值与各自的权重相乘,最后输出总和的模型:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

先准备一些训练数据。设表示宽的轴为x1,表示高的轴为x2,用y来表示图像是横向还是纵向的,横向的值为1,纵向的值为-1。

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

根据参数向量x来判断图像是横向还是纵向的函数,即返回1或者-1的函数fw(x)的定义如下:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

这个被称为判别函数。

与权重向量w的内积为负的向量x是什么样的向量?

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

因为|w|和|x|必定为正数,所以决定内积符号的是cos θ。

cos θ的图:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

在90◦<θ<270◦的时候cos θ为负。

在图中的体现:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

积是衡量向量之间相似程度的指标。结果为正,说明二者相似;为0则二者垂直;为负则说明二者不相似。

根据上面的内容,可以推导出权重向量的更新表达式:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

通过判别函数对宽和高的向量x进行分类的结果与实际的标签y是否相同:

判别结果准确,fw(x(i))=y(i),即分类成功,直接代入w。

判别结果失败,即分类失败,不能直接代入w。

更新示例:

先随意画一个权重向量:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

在这个状态下,假设第一个训练数据是x(1)=(125,30):

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

w和x(1)之间的夹角θ的范围是90◦<θ<270◦,内积为负。也就是说,判别函数fw(x(1))的分类结果为-1,说明分类失败。

随后更新表达式:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

这个w+x(1)就是下一个新的w,画一条与新的权重向量垂直的直线,相当于把原来的线旋转了一下:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

刚才x(1)与权重向量分居直线两侧,现在它们在同一侧了:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

这次θ<90◦,所以内积为正,判别函数fw(x)的分类结果为1。而且x(1)的标签也为1,说明分类成功了。

这就是更新参数的权重向量。

4 线性可分

因为感知机只是简单的模型,他有一个很大的缺点,就是它只能解决线性可分的问题

有下面这张图里的数据,其中圆点为1,叉号为-1,这样的图形无法用一条直线对这些数据进行分类。

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

这种感知机被称为简单感知机或单层感知机,实际上使用的神经网络是多层感知机。

5 逻辑回归

能应用于线性不可分问题的算法,这个算法与感知机的不同之处在于,它是把分类作为概率来考虑的。即图片为纵向的概率是,为横向的概率是,这里设横向的值为1、纵向的值为0。

需要能够将未知数据分类为某个类别的函数fθ(x):

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

这个函数的名字叫sigmoid函数

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

把未知数据x是横向图像的概率作为fθ(x),表达式为:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

P中的竖线是条件概率。

阈值为0.5,从而分类横向或纵向:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

表达式改写:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

下面像学习感知机时那样,设横轴为图像的宽(x1)、纵轴为图像的高(x2)。

然后像学习回归时那样,先随便确定θ再具体地去考虑。比如当θ是这样的向量时,画一下θTx≥0的图像:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

代入数据:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

画出不等式对应的图:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

也就是说,我们将θTx=0这条直线作为边界线,就可以把这条线两侧的数据分类为横向和纵向了。

这种用于数据分类的直线称为决策边界

实际应用时这个决策边界并不能正确地分类图像,是因为我们刚开始决定参数的时候太随意了。

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

为了求得正确的参数θ而定义目标函数,进行微分,然后求参数的更新表达式。这种算法就称为逻辑回归

6 似然函数

现在来求参数的更新表达式。

首先要明确,既然fθ(x)是x为横向时的概率,那么在y=1时fθ(x)=1, y=0时fθ(x)=0的关系就是理想的。

简单来说:

- y = 1的时候,我们希望概率P(y = 1 | x)是最大的。

- y = 0的时候,我们希望概率P(y = 0 | x)是最大的。

作用在训练数据上:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

假定所有的训练数据都是互不影响、独立发生的,这种情况下整体的概率就可以用下面的连个概率来表示:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

想一想扔2次骰子的情况。第1次的结果是1点,且第2次的结果是2点的概率是多少呢?首先1点出现的概率是1/6,接下来2点出现的概率是1/6,二者连续发生的概率就要使用乘法计算,其表达式是这样的:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

同理,第1次的概率是P(y(1)=0|x(1)),第2次的概率是P(y(2)=0|x(2))……我们要计算的是连续发生6次的概率。

联合概率的表达式一般化:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

 分开考虑,首先向指数y(i)代入1:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

 再代入y(i)代入0:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

这就是它的目标函数,接下来考虑的是使这个目标函数最大化的参数θ。

回归的时候处理的是误差,所以要最小化,而现在考虑的是联合概率,我们希望尽可能大。

这里的目标函数L(θ)也被称为似然,函数的名字L取自似然的英文单词Likelihood的首字母。

7 对数似然函数

下面就是对似然函数进行微分,求出参数θ。

但是,直接对似然函数进行微分有点困难,在此之前要把函数变形,取似然函数的对数,两边加上log即可,如下:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

然后把对数似然函数进行变形:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

 最后,逻辑回归就是将这个对数似然函数用作目标函数:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

 接下来,对各个参数θj求微分:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

 和回归的时候是一样的,我们把似然函数也换成这样的复合函数,然后依次求微分:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

不过现在是以最大化为目标,所以必须按照与最小化时相反的方向移动参数:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

为了与回归时的符号保持一致,也可以将表达式调整为下面这样:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

8 线性不可分

逻辑回归应用于线性不可分问题。

下面的图像是线性不可分的:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

对于这个问题,虽然直线不能分类,但是曲线可以分类:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

我们可以像多项式回归一样,增加函数的次数:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

 假设参数,代入试试:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

在图中的表示:

三、学习分类 - 基于图像大小进行分类,白话机器学习的数学,学习,分类,机器学习

之前的决策边界是直线,现在则是曲线了。参数θ是随便定的,所以数据完全没有被正确地分类。

之后通过随意地增加次数,就可以得到复杂形状的决策边界了。比如在x1*2之外再增加一个x2*2,就会有圆形的决策边界。文章来源地址https://www.toymoban.com/news/detail-576174.html

到了这里,关于三、学习分类 - 基于图像大小进行分类的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 机器学习:基于Kmeans聚类算法对银行客户进行分类

    作者:i阿极 作者简介:Python领域新星作者、多项比赛获奖者:博主个人首页 😊😊😊如果觉得文章不错或能帮助到你学习,可以点赞👍收藏📁评论📒+关注哦!👍👍👍 📜📜📜如果有小伙伴需要数据集和学习交流,文章下方有交流学习区!一起学习进步!💪 大家好,我

    2024年02月05日
    浏览(51)
  • 机器学习笔记 - 基于Scikit-Learn的各种分类器进行分类并比较

            scikit-learn是基于python语言构建机器学习应用程序的最佳库之一。简单易用,并且它有很多示例和教程。除了监督式机器学习(分类和回归)外,它还可用于聚类、降维、特征提取和工程以及数据预处理。该接口在所有这些方法上都是一致的,因此它不仅易于使用,

    2024年02月09日
    浏览(61)
  • 机器学习笔记 - 基于自定义数据集 + 3D CNN进行视频分类

            这里主要介绍了基于自定义动作识别数据集训练用于视频分类的 3D 卷积神经网络 (CNN) 。3D CNN 使用三维滤波器来执行卷积。内核能够在三个方向上滑动,而在 2D CNN 中它可以在二维上滑动。         这里的模型主要基于D. Tran 等人2017年的论文“动作识别的时空卷积研

    2024年01月23日
    浏览(47)
  • 机器学习实战:Python基于Logistic逻辑回归进行分类预测(一)

    1.1 Logistic回归的介绍 逻辑回归( Logistic regression ,简称 LR )是一种经典的二分类算法,它将输入特征与一个sigmoid函数进行线性组合,从而预测输出标签的概率。该算法常被用于预测离散的二元结果,例如是/否、真/假等。 优点: 实现简单。Logistic回归的参数可以用极大似然

    2024年02月08日
    浏览(39)
  • 机器学习实战:Python基于DT决策树模型进行分类预测(六)

    1.1 决策树的介绍 决策树(Decision Tree,DT)是一种类似流程图的树形结构,其中内部节点表示特征或属性,分支表示决策规则,每个叶节点表示结果。在决策树中,最上方的节点称为根节点。它学习基于属性值进行分区。它以递归方式进行分区,称为递归分区。这种类似流程

    2023年04月27日
    浏览(57)
  • 【使用机器学习和深度学习对城市声音进行分类】基于两种技术(ML和DL)对音频数据(城市声音)进行分类(Matlab代码实现)

     💥💥💞💞 欢迎来到本博客 ❤️❤️💥💥 🏆博主优势: 🌞🌞🌞 博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️ 座右铭: 行百里者,半于九十。 📋📋📋 本文目录如下: 🎁🎁🎁 目录 💥1 概述 📚2 运行结果 2.1 算例1 2.2 算例2 2.3 算例3 2.4 算例4

    2024年02月16日
    浏览(46)
  • 机器学习实战:Python基于支持向量机SVM-RFE进行分类预测(三)

    1.1 支持向量机的介绍 支持向量机( Support Vector Machine,SVM )是一种监督学习的分类算法。它的基本思想是找到一个能够最好地将不同类别的数据分开的超平面,同时最大化分类器的边际(margin)。SVM的训练目标是最大化间隔(margin),即支持向量到超平面的距离。 具体地,

    2024年02月05日
    浏览(59)
  • AI机器学习 | 基于librosa库和使用scikit-learn库中的分类器进行语音识别

    专栏集锦,大佬们可以收藏以备不时之需 Spring Cloud实战专栏:https://blog.csdn.net/superdangbo/category_9270827.html Python 实战专栏:https://blog.csdn.net/superdangbo/category_9271194.html Logback 详解专栏:https://blog.csdn.net/superdangbo/category_9271502.html tensorflow专栏:https://blog.csdn.net/superdangbo/category_869

    2024年02月05日
    浏览(42)
  • 机器学习中的数学原理——分类的正则化

    通过这篇博客,你将清晰的明白什么是 分类的正则化 。这个专栏名为白话机器学习中数学学习笔记,主要是用来分享一下我在 机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下 《 白话机器学习中

    2024年01月23日
    浏览(38)
  • 机器学习&&深度学习——图像分类数据集

    👨‍🎓作者简介:一位即将上大四,正专攻机器学习的保研er 🌌上期文章:机器学习深度学习——softmax回归(下) 📚订阅专栏:机器学习深度学习 希望文章对你们有所帮助 我们使用Fashion-MNIST数据集,来作为我们的图像分类数据集。 可以通过框架内的内置函数将数据集下

    2024年02月15日
    浏览(64)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包