机器学习中的数学原理——分类的正则化

这篇具有很好参考价值的文章主要介绍了机器学习中的数学原理——分类的正则化。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

通过这篇博客,你将清晰的明白什么是分类的正则化。这个专栏名为白话机器学习中数学学习笔记,主要是用来分享一下我在 机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下《 白话机器学习中的数学——分类的正则化》

一、分类的正则化

在上一篇问文章中我们介绍了正则化,正则化是减少过拟合的有效手段。之前讨论的是回归的情况,对于分类也可以应用正则化,大家还记得逻辑回归的目标函数吗?也就是对数似然函数
分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
分类也是在这个目标函数中增加正则化项就行了,道理是相同的。
分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
注意一下前面添加了负号,那么对数似然函数本来以最大化为目标。但是,这次我想让它变成和回归的目标函数一样的最小化问题,所以加了负号。这样就可以像处理回归一样处理它,所以只要加上正则化项就可以了。也就是说:反转符号是为了将最大化问题替换为最小化问题
反转了符号之后,在更新参数时就要像回归一样,与微分的函数的符号反方向移动才行。目标函数的形式变了,参数更新的表达式也会变!不过,只要再把正则化项的部分也微分了就行。

二、包含正则化项的表达式的微分

在上面的的学习中,我们把回归的目标函数分成了 C(θ) 和 R(θ)。这是新的目标函数的形式,我们要对它进行微分。
分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
因为是加法,所以对各部分进行偏微分:
分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
C(θ) 是原来的目标函数,讲解回归的时候我们已经求过它的微分形式了。
分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
求过就不用再求了,所以接下来只要对正则化项进行微分就行了。正则化项只是参数平方的和,所以它的微分也很好求。
分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
可以看出,在微分时表达式中的 1/2 被抵消,微分后的表达式变简单了。那么最终的微分结果就是这样的:
分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
剩下要做的就是把这个微分结果代入到参数更新表达式里去。
分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
上面就是这加入了正则化项的参数更新表达式,不过,我们之前说过一般不对 θ0 应用正则化。R(θ) 对 θ0 微分的结果为 0,所以 j = 0 时表达式 中的 λθj 就消失了。因此,实际上我们需要像这样区分两种情况。
分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
逻辑回归的流程也是一样的。原来的目标函数是 C(θ),正则化项是 R(θ),现在对 E(θ) 进行微分。
分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
在上面的表达式中我们已经求过逻辑回归原来的目标函数 C(θ) 的微分,不过现在考虑的是最小化问题,所以要
注意在前面加上负号。也就是要进行符号的反转

分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
另外,刚才我们已经求过正则化项 R(θ) 的微分了,可以直接使用。
分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
也就是说这次不需要任何新的计算。那么,参数更新表达式应该是这样的——这次我把 θ0 的情况区分出来了。
分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
刚才我们介绍的方法其实叫L2正则化。除 L2 正则化方法之外,还有 L1正则化方法。它的正则化项 R 是这样的。
分类问题需要正则化么,机器学习,白话机器学习的数学学习笔记,机器学习,分类,逻辑回归,人工智能
L1 正则化的特征是被判定为不需要的参数会变为 0,从而减少变量个数。而 L2 正则化不会把参数变为 0。刚才我说过二次式变为一次式的例子吧,用 L1 正则化就真的可以实现了。L2 正则化会抑制参数,使变量的影响不会过大,而 L1 会直接去除不要的变量。使用哪个正则化取决于要解决什么问题,不能一概而论。现在只要记住有这样的方法就行,将来一定会有用的。文章来源地址https://www.toymoban.com/news/detail-816963.html

到了这里,关于机器学习中的数学原理——分类的正则化的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 学习机器学习需要哪些数学知识?

    作为一门以数据及其模型为 研究对象的学科,优化模型、分析模型性能等都需要数学手段的帮助。和其他学科一样,数学 可以帮我们更清晰地描述和理解机器学习算法,也可以从理论上证明算法的有效性,是机器学习中必不可少的一环。 1 向量 向量 (vector)在数学中指具有大

    2024年02月09日
    浏览(42)
  • 【白话机器学习的数学】读书笔记(3)学习分类(感知机、逻辑回归)

    1.分类的目的 找到一条线把白点和黑点分开。这条直线是使 权重向量成为法线向量 的直线。(解释见下图) 直线的表达式为: ω ⋅ x = ∑ i = 1 n ω i ⋅ x i = 0 omega·x = sum_{i=1}^nomega_i · x_i = 0 ω ⋅ x = i = 1 ∑ n ​ ω i ​ ⋅ x i ​ = 0 ω omega ω 是权重向量 权重向量就是我们想要知

    2024年01月18日
    浏览(51)
  • 【吴恩达·机器学习】第三章:分类任务:逻辑回归模型(交叉熵损失函数、决策边界、过拟合、正则化)

    博主简介: 努力学习的22级计算机科学与技术本科生一枚🌸 博主主页: @Yaoyao2024 每日一言🌼: 勇敢的人,不是不落泪的人,而是愿意含着泪继续奔跑的人。 ——《朗读者》 本系列博客文章是博主本人根据吴恩达老师2022年的机器学习课程所学而写,主要包括老师的核心讲义

    2024年02月19日
    浏览(57)
  • 【正则化在机器学习中的作用】

    在机器学习领域,正则化(Regularization)是一种常见的技术,用于控制模型的复杂度并提高泛化能力。在本文中,我们将探讨正则化在机器学习中的作用及其原理。 在机器学习中,我们通常需要训练一个模型来预测或分类未见过的数据。为了训练模型,我们会最小化一个损失

    2024年02月12日
    浏览(31)
  • 逻辑回归揭秘: 从分类原理到机器学习实践

    逻辑回归 (Logistic Regression) 尽管名字中带有 “回归” 两个字, 但主要是用来解决分类问题, 尤其是二分类问题. 逻辑回归的核心思想是: 通过将线性回归的输出传递给一个激活函数 (Activation Function) 比如 Sigmoid 函数) 将连续值转化为 0 到 1 之间的概率值, 在根据阈值 (Threshold) 对概

    2024年02月02日
    浏览(45)
  • 机器学习|DBSCAN 算法的数学原理及代码解析

    聚类是机器学习领域中一项重要的任务,它可以将数据集中相似的样本归为一类。 DBSCAN(Density-Based Spatial Clustering of Applications with Noise) 是一种是一种经典的密度聚类算法,它能够有效地发现任意形状的聚类簇,并且可以识别出噪声点。在本文中,我们将深入探讨 DBSCAN 算法

    2024年02月11日
    浏览(47)
  • 机器学习强基计划10-1:为什么需要集成学习?核心原理是什么?

    机器学习强基计划聚焦深度和广度,加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理;“广”在分析多个机器学习模型:决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。强基计划实现从理论到实践的全面覆盖,由本人亲自从底层编

    2024年02月06日
    浏览(53)
  • 【机器学习300问】16、逻辑回归模型实现分类的原理?

            在上一篇文章中,我初步介绍了什么是逻辑回归模型,从它能解决什么问题开始介绍,并讲到了它长什么样子的。如果有需要的小伙伴可以回顾一下,链接我放在下面啦:                              【机器学习300问】15、什么是逻辑回归模型?     

    2024年01月25日
    浏览(55)
  • 机器学习——SVM多分类问题

    目录 线性SVM 1.什么是SVM? 线性二分类器的最优超平面 1、超平面 2、最优超平面 3、最优分类面 4、支持向量与支持向量机 非线性SVM   1、常见的核函数 2、SVM案例 3.举例分析 多分类SVM 1. 直接法 2. 间接法   1.什么是SVM? 1、超平面 根据百度百科的解释,超平面是n维欧式空间

    2024年02月03日
    浏览(42)
  • 机器学习中的数学——学习曲线如何区别欠拟合与过拟合

    通过这篇博客,你将清晰的明白什么是 如何区别欠拟合与过拟合 。这个专栏名为白话机器学习中数学学习笔记,主要是用来分享一下我在 机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下 《 白话

    2023年04月19日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包