天下一半剑仙是我友
谁家娘子不娇羞
我以醇酒洗我剑
谁人说我不风流
1 设置问题
根据图片的尺寸,把图片分为纵向图像和横向图像。这种把图像分成两种类别的问题,就是二分类问题。
纵向图片示例:
横向图片示例:
这样就有了两个训练数据:
增加训练数据,并在图像中表示出来:
可以得到一条分隔两边的线,这次分类的目的就是找到这条线:
只要找到这条线,就可以根据点在线的哪一边来判断图像是横向的还是纵向的了。
2 内积
上面图中的直线像学习回归时的一次函数一样,但是这次我们不是求斜率与截距了,而是找向量了。
图中的虚线,是使权重向量成为法线向量的直线。
设权重向量为w ,那么那条直线的表达式就是这样的:
实向量空间的内积是各元素乘积的和,表达式也可以写成:
法线是与某条直线相垂直的向量。
和学习回归一样,使用假设法,现在我们假设权重向量w = (1,1),代入表达式中可得:
在图中表示:
然后再把权重向量加上:
回到刚开始,一开始并不存在画的那条虚线,我们要先通过训练找到权重向量,最后才能得到与这个向量垂直的直线,最后根据这条直线就可以对数据进行分类了。
3 感知机
那么具体要怎么求出权重向量呢?
基本的做法和回归时相同,就是将权重向量用作参数,创建更新表达式来更新参数。
感知机模型(perceptron)
接受多个输入后将每个值与各自的权重相乘,最后输出总和的模型:
先准备一些训练数据。设表示宽的轴为x1,表示高的轴为x2,用y来表示图像是横向还是纵向的,横向的值为1,纵向的值为-1。
根据参数向量x来判断图像是横向还是纵向的函数,即返回1或者-1的函数fw(x)的定义如下:
这个被称为判别函数。
与权重向量w的内积为负的向量x是什么样的向量?
因为|w|和|x|必定为正数,所以决定内积符号的是cos θ。
cos θ的图:
在90◦<θ<270◦的时候cos θ为负。
在图中的体现:
积是衡量向量之间相似程度的指标。结果为正,说明二者相似;为0则二者垂直;为负则说明二者不相似。
根据上面的内容,可以推导出权重向量的更新表达式:
通过判别函数对宽和高的向量x进行分类的结果与实际的标签y是否相同:
判别结果准确,fw(x(i))=y(i),即分类成功,直接代入w。
判别结果失败,即分类失败,不能直接代入w。
更新示例:
先随意画一个权重向量:
在这个状态下,假设第一个训练数据是x(1)=(125,30):
w和x(1)之间的夹角θ的范围是90◦<θ<270◦,内积为负。也就是说,判别函数fw(x(1))的分类结果为-1,说明分类失败。
随后更新表达式:
这个w+x(1)就是下一个新的w,画一条与新的权重向量垂直的直线,相当于把原来的线旋转了一下:
刚才x(1)与权重向量分居直线两侧,现在它们在同一侧了:
这次θ<90◦,所以内积为正,判别函数fw(x)的分类结果为1。而且x(1)的标签也为1,说明分类成功了。
这就是更新参数的权重向量。
4 线性可分
因为感知机只是简单的模型,他有一个很大的缺点,就是它只能解决线性可分的问题。
有下面这张图里的数据,其中圆点为1,叉号为-1,这样的图形无法用一条直线对这些数据进行分类。
这种感知机被称为简单感知机或单层感知机,实际上使用的神经网络是多层感知机。
5 逻辑回归
能应用于线性不可分问题的算法,这个算法与感知机的不同之处在于,它是把分类作为概率来考虑的。即图片为纵向的概率是,为横向的概率是,这里设横向的值为1、纵向的值为0。
需要能够将未知数据分类为某个类别的函数fθ(x):
这个函数的名字叫sigmoid函数:
把未知数据x是横向图像的概率作为fθ(x),表达式为:
P中的竖线是条件概率。
阈值为0.5,从而分类横向或纵向:
表达式改写:
下面像学习感知机时那样,设横轴为图像的宽(x1)、纵轴为图像的高(x2)。
然后像学习回归时那样,先随便确定θ再具体地去考虑。比如当θ是这样的向量时,画一下θTx≥0的图像:
代入数据:
画出不等式对应的图:
也就是说,我们将θTx=0这条直线作为边界线,就可以把这条线两侧的数据分类为横向和纵向了。
这种用于数据分类的直线称为决策边界。
实际应用时这个决策边界并不能正确地分类图像,是因为我们刚开始决定参数的时候太随意了。
为了求得正确的参数θ而定义目标函数,进行微分,然后求参数的更新表达式。这种算法就称为逻辑回归。
6 似然函数
现在来求参数的更新表达式。
首先要明确,既然fθ(x)是x为横向时的概率,那么在y=1时fθ(x)=1, y=0时fθ(x)=0的关系就是理想的。
简单来说:
- y = 1的时候,我们希望概率P(y = 1 | x)是最大的。
- y = 0的时候,我们希望概率P(y = 0 | x)是最大的。
作用在训练数据上:
假定所有的训练数据都是互不影响、独立发生的,这种情况下整体的概率就可以用下面的连个概率来表示:
想一想扔2次骰子的情况。第1次的结果是1点,且第2次的结果是2点的概率是多少呢?首先1点出现的概率是1/6,接下来2点出现的概率是1/6,二者连续发生的概率就要使用乘法计算,其表达式是这样的:
同理,第1次的概率是P(y(1)=0|x(1)),第2次的概率是P(y(2)=0|x(2))……我们要计算的是连续发生6次的概率。
联合概率的表达式一般化:
分开考虑,首先向指数y(i)代入1:
再代入y(i)代入0:
这就是它的目标函数,接下来考虑的是使这个目标函数最大化的参数θ。
回归的时候处理的是误差,所以要最小化,而现在考虑的是联合概率,我们希望尽可能大。
这里的目标函数L(θ)也被称为似然,函数的名字L取自似然的英文单词Likelihood的首字母。
7 对数似然函数
下面就是对似然函数进行微分,求出参数θ。
但是,直接对似然函数进行微分有点困难,在此之前要把函数变形,取似然函数的对数,两边加上log即可,如下:
然后把对数似然函数进行变形:
最后,逻辑回归就是将这个对数似然函数用作目标函数:
接下来,对各个参数θj求微分:
和回归的时候是一样的,我们把似然函数也换成这样的复合函数,然后依次求微分:
不过现在是以最大化为目标,所以必须按照与最小化时相反的方向移动参数:
为了与回归时的符号保持一致,也可以将表达式调整为下面这样:
8 线性不可分
逻辑回归应用于线性不可分问题。
下面的图像是线性不可分的:
对于这个问题,虽然直线不能分类,但是曲线可以分类:
我们可以像多项式回归一样,增加函数的次数:
假设参数,代入试试:
在图中的表示:
之前的决策边界是直线,现在则是曲线了。参数θ是随便定的,所以数据完全没有被正确地分类。文章来源:https://www.toymoban.com/news/detail-576174.html
之后通过随意地增加次数,就可以得到复杂形状的决策边界了。比如在x1*2之外再增加一个x2*2,就会有圆形的决策边界。文章来源地址https://www.toymoban.com/news/detail-576174.html
到了这里,关于三、学习分类 - 基于图像大小进行分类的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!