【人工智能】— 逻辑回归分类、对数几率、决策边界、似然估计、梯度下降

这篇具有很好参考价值的文章主要介绍了【人工智能】— 逻辑回归分类、对数几率、决策边界、似然估计、梯度下降。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

逻辑回归分类

考虑二分类问题,其中每个样本由一个特征向量表示。

直观理解:将特征向量 x \text{x} x映射到一个实数 w T x \text{w}^T\text{x} wTx

  • 一个正的值 w T x \text{w}^T\text{x} wTx表示 x \text{x} x属于正类的可能性较高。
  • 一个负的值 w T x \text{w}^T\text{x} wTx表示 x \text{x} x属于负类的可能性较高。

概率解释:【人工智能】— 逻辑回归分类、对数几率、决策边界、似然估计、梯度下降

  • 对映射值应用一个变换函数,将其范围压缩在0和1之间。
  • 变换后的值表示属于正类的概率。
  • 变换后的值 w T x ∈ ( − ∞ , + ∞ ) \text{w}^T\text{x}\in(-∞,+∞) wTx(+)的范围是 [ 0 , 1 ] [0, 1] [0,1]

注意:在逻辑回归中通常使用的变换函数是sigmoid函数。

Logistic Regression Classification

条件概率:

  • 条件概率在分类任务中很重要。
  • 使用逻辑函数(也称为sigmoid函数)计算条件概率。

逻辑函数 / sigmoid函数:

  • 当 z 趋近正无穷时,逻辑函数趋近于1。

  • 当 z 趋近负无穷时,逻辑函数趋近于0。

  • 当 z = 0 时,逻辑函数等于0.5,表示两个类别的概率相等。
    【人工智能】— 逻辑回归分类、对数几率、决策边界、似然估计、梯度下降

  • 给定输入 x,正类的概率表示为:
    p ( y = 1   ∣   x ) = σ ( w T x ) = 1 1 + e − w T x = e w T x 1 + e w T x p(y = 1 \,|\, x) =\sigma(w^Tx) = \cfrac{1}{1 + e^{-w^T x}} = \cfrac{e^{w^T x}}{1 + e^{w^T x}} p(y=1x)=σ(wTx)=1+ewTx1=1+ewTxewTx

  • 给定输入 x,负类的概率表示为:
    p ( y = 0   ∣   x ) = 1 − p ( y = 1   ∣   x ) = 1 1 + e w T x p(y = 0 \,|\, x) = 1 - p(y = 1 \,|\, x) = \cfrac{1}{1 + e^{w^T x}} p(y=0x)=1p(y=1x)=1+ewTx1

Logistic Regression: Log Odds

  • 在逻辑回归中,我们使用log odds(对数几率)来建模。
  • 一个事件的几率(odds):该事件发生的概率与不发生的概率的比值, p 1 − p \cfrac{p}{1-p} 1pp
  • log odds / logit function: log ⁡ ( p 1 − p ) \log\left(\cfrac{p}{1-p}\right) log(1pp)
  • Log odds for logistic regression: log ⁡ ( p ( y = 1 ∣ x ) 1 − p ( y = 1 ∣ x ) ) = w T x \log\left(\cfrac{p(y=1|x)}{1-p(y=1|x)}\right) = w^Tx log(1p(y=1∣x)p(y=1∣x))=wTx

在逻辑回归中,我们通过学习适当的权重 w w w 来建立一个线性模型,该模型可以将输入特征 x x x 映射到对数几率(log odds)上。然后,通过对对数几率应用逻辑函数(sigmoid函数)来得到分类概率。

Logistic Regression: Decision Boundary

决策边界:【人工智能】— 逻辑回归分类、对数几率、决策边界、似然估计、梯度下降

  • 在逻辑回归中,决策边界是指分类模型对于输入特征的判断边界。
  • 对于线性逻辑回归模型,决策边界是线性的。
    【人工智能】— 逻辑回归分类、对数几率、决策边界、似然估计、梯度下降

决策规则:

  • 如果 p ^ ( y = 1 ∣ x ) ≥ 0.5 \hat{p}(y=1|x) \geq 0.5 p^(y=1∣x)0.5,则预测为正类。
  • 如果 p ^ ( y = 1 ∣ x ) < 0.5 \hat{p}(y=1|x) < 0.5 p^(y=1∣x)<0.5,则预测为负类。

对于线性逻辑回归,决策边界是一个线性函数,用于将特征空间划分为两个不同的类别区域。

Likelihood under the Logistic Model

在逻辑回归中,我们观察标签并测量它们在模型下的概率。【人工智能】— 逻辑回归分类、对数几率、决策边界、似然估计、梯度下降

给定参数 w w w,样本的条件对数似然函数为:
【人工智能】— 逻辑回归分类、对数几率、决策边界、似然估计、梯度下降

对数似然函数的表达式为:
【人工智能】— 逻辑回归分类、对数几率、决策边界、似然估计、梯度下降

其中, N N N 是样本数量, x i x_i xi 是第 i i i 个样本的特征向量, y i y_i yi 是第 i i i 个样本的标签。

通过最大化对数似然函数来估计参数 w w w,可以找到最佳的参数值,使得模型的概率预测与观察到的标签尽可能一致。

Training the Logistic Model

训练逻辑回归模型(即找到参数 w w w)可以通过最大化训练数据的条件对数似然函数或最小化损失函数来完成。【人工智能】— 逻辑回归分类、对数几率、决策边界、似然估计、梯度下降

最大化条件对数似然函数 or 最小化损失函数:
【人工智能】— 逻辑回归分类、对数几率、决策边界、似然估计、梯度下降

其中, N N N 是训练数据的样本数量, x i x_i xi 是第 i i i 个样本的特征向量, y i y_i yi 是第 i i i 个样本的标签。

通过最大化条件对数似然函数或最小化损失函数,我们可以找到最优的参数 w w w,使得模型能够最好地拟合训练数据,并能够准确地预测新的样本标签。常用的优化算法,如梯度下降法或牛顿法,可以用于求解最优参数。

Gradient Descent

梯度下降是一种常用的优化算法,用于求解最小化损失函数的问题。
【人工智能】— 逻辑回归分类、对数几率、决策边界、似然估计、梯度下降

梯度下降的步骤如下:

  1. 初始化参数 w w w 的值。
  2. 重复以下步骤直到满足停止条件:
    • 计算损失函数 J ( w ) J(w) J(w) 对参数 w w w 的梯度,即 ∂ J ( w ) ∂ w \cfrac{\partial J(w)}{\partial w} wJ(w)
    • 根据学习率 α \alpha α,更新参数 w w w 的值: w j : = w j − α ∂ J ( w ) ∂ w j w_j := w_j - \alpha \cfrac{\partial J(w)}{\partial w_j} wj:=wjαwjJ(w),对所有参数 w j w_j wj 同时进行更新。

梯度下降的目标是通过迭代更新参数,逐渐减小损失函数的值,直到达到局部最小值或收敛。

在逻辑回归中,我们可以使用梯度下降算法来最小化损失函数 J ( w ) J(w) J(w),从而找到最优的参数 w w w,使得模型能够最好地拟合训练数据。通过计算损失函数对参数的梯度,然后根据梯度和学习率更新参数,我们可以逐步调整参数的值,使得损失函数逐渐减小,从而达到最优参数的目标。
【人工智能】— 逻辑回归分类、对数几率、决策边界、似然估计、梯度下降文章来源地址https://www.toymoban.com/news/detail-490033.html

到了这里,关于【人工智能】— 逻辑回归分类、对数几率、决策边界、似然估计、梯度下降的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 初识人工智能,一文读懂机器学习之逻辑回归知识文集(1)

    🏆作者简介,普修罗双战士,一直追求不断学习和成长,在技术的道路上持续探索和实践。 🏆多年互联网行业从业经验,历任核心研发工程师,项目技术负责人。 🎉欢迎 👍点赞✍评论⭐收藏 🔎 人工智能领域知识 🔎 链接 专栏 人工智能专业知识学习一 人工智能专栏 人

    2024年01月23日
    浏览(63)
  • 【机器学习】西瓜书习题3.3Python编程实现对数几率回归

    参考代码 结合自己的理解,添加注释。 导入相关的库 导入数据,进行数据处理和特征工程 定义若干需要使用的函数 y = 1 1 + e − x y= frac{1}{1+e^{-x}} y = 1 + e − x 1 ​ ℓ ( β ) = ∑ i = 1 m ( − y i β T x ^ i + l n ( 1 + e β T x ^ i ) ) ell(beta) = sum_{i=1}^{m}(-y_{i}beta^{T} hat{x}_{i} + ln(1+e^{

    2024年02月15日
    浏览(43)
  • 人工智能 :一种现代的方法 第七章 逻辑智能体

    本文旨在讲清楚: KBA(knowledge based agent)与逻辑 模型,有效性,可满足性,蕴含,推理过程 如何证明KB蕴含a(模型检验,逻辑等价,推理规则) 基于命题逻辑的Agent如何工作的 7.1 基于知识的智能体 基于知识的系统 基于知识的Agent的核心部件是其知识库,或称KB。 知识库

    2024年01月22日
    浏览(49)
  • 人工智能-线性回归的从零开始实现

    在了解线性回归的关键思想之后,我们可以开始通过代码来动手实现线性回归了。 在这一节中,我们将从零开始实现整个方法, 包括数据流水线、模型、损失函数和小批量随机梯度下降优化器。 虽然现代的深度学习框架几乎可以自动化地进行所有这些工作,但从零开始实现

    2024年02月08日
    浏览(52)
  • 【人工智能】简单线性回归模型介绍及python实现

    简单线性回归是人工智能和统计学中一个基本的预测技术,用于分析两个连续变量之间的线性关系。在简单线性回归中,我们试图找到一个线性方程来最好地描述这两个变量之间的关系。 变量 :简单线性回归涉及两个变量 - 自变量(independent variable)和因变量(dependent vari

    2024年01月17日
    浏览(56)
  • 人工智能基础_机器学习001_线性回归_多元线性回归_最优解_基本概念_有监督机器学习_jupyter notebook---人工智能工作笔记0040

       线性和回归,就是自然规律,比如人类是身高趋于某个值的概率最大,回归就是通过数学方法找到事物的规律. 机器学习作用: 该专业实际应用于机器视觉、指纹识别、人脸识别、视网膜识别、虹膜识别、掌纹识别、专家系统、自动规划、智能搜索、定理证明、博弈、自动程序

    2024年02月06日
    浏览(55)
  • 人工智能文本分类

    在本文中,我们全面探讨了文本分类技术的发展历程、基本原理、关键技术、深度学习的应用,以及从RNN到Transformer的技术演进。文章详细介绍了各种模型的原理和实战应用,旨在提供对文本分类技术深入理解的全面视角。 文本分类作为人工智能领域的一个重要分支,其价值

    2024年02月03日
    浏览(48)
  • 人工智能分类算法概述

    人工智能分类算法是用于将数据划分为不同类别的算法。这些算法通过学习数据的特征和模式,将输入数据映射到相应的类别。分类算法在人工智能中具有广泛的应用,如图像识别、语音识别、文本分类等。以下是几种常见的人工智能分类算法的详细讲解过程: 决策树 决策

    2024年04月11日
    浏览(47)
  • 【人工智能】— 逻辑Agent、一般逻辑、Entailment 蕴涵、命题逻辑、前向链接、反向链接、Resolution归结

    逻辑智能体:基于知识的智能体 知识和推理的重要性 部分可观察的环境 自然语言理解 基于知识的智能体的灵活性 知识库是一组用形式化语言表述的陈述句,其中包含有系统需要了解的信息。 在构建一个智能体时,通常采用“告诉”和“询问”的方式,即先将需要的知识加

    2024年02月08日
    浏览(45)
  • 【人工智能】多元线性回归模型举例及python实现方式

    比如你做了一个企业想要招人,但是不知道月薪应该定在多少,你做了一个月薪和收入的调研,包括年限、学历、地区和月薪 做一个月薪=w1 年限+w2 学历+w3*城市+…+b的工作年限和薪资的多元线性模型,然后找出最适合线性模型的直线-成本函数、梯度下降方式,来预估你可以

    2024年02月19日
    浏览(56)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包