Logistic回归(逻辑回归)及python代码实现

这篇具有很好参考价值的文章主要介绍了Logistic回归(逻辑回归)及python代码实现。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Logistic(Logistic Regression,LR)回归

原理讲解

在模式识别问题中,所关心的量是分类,比如是否会患有某种疾病,这时就不能用简单的线性回归来完成这个问题了。为了解决次问题,我们引入了非线性激活函数 g : R D → ( 0 , 1 ) g:{\mathbb R}^D\to(0,1) g:RD(0,1)来预测类别标签的后验概率 p ( y = 1 ∣ x ) p(y=1|\bf x) p(y=1∣x),其中 y ∈ { 0 , 1 } y\in\{0,1\} y{0,1},函数 g g g的作用是把线性函数的值域从实数区间挤压到0和1之间
在Logistic回归中,激活函数的表达式为: σ ( x ) = 1 1 + e − x \sigma(x)=\frac{1}{1+e^{-x}} σ(x)=1+ex1
标签 y = 1 y=1 y=1的后验概率为 p ( y = 1 ∣ x ) = σ ( w T x ) = 1 1 + e − w T x ⋯ ( 1 ) p(y=1|{\bf x})=\sigma({\bf w}^{\rm T}{\bf {x}})=\frac{1}{1+e^{-{\bf w}^{\rm T}{\bf {x}}}}\cdots(1) p(y=1∣x)=σ(wTx)=1+ewTx1(1)
这里, x = [ x 1 , ⋯   , x D , 1 ] T {\bf x}=[x_1,\cdots,x_D,1]^{\rm T} x=[x1,,xD,1]T w = [ w 1 , ⋯   , w D , b ] T {\bf w}=[w_1,\cdots,w_D,b]^{\rm T} w=[w1,,wD,b]T分别为D+1维的增广特征向量与增广权重向量
标签 y = 0 y=0 y=0的后验概率为 p ( y = 0 ∣ x ) = 1 − p ( y = 1 ∣ x ) = e − w T x 1 + e − w T x p(y=0|{\bf x})=1-p(y=1|{\bf x})=\frac{e^{-{\bf w}^{\rm T}{\bf {x}}}}{1+e^{-{\bf w}^{\rm T}{\bf {x}}}} p(y=0∣x)=1p(y=1∣x)=1+ewTxewTx
对式(1)进行变换后得到 w T x = log ⁡ p ( y = 1 ∣ x ) 1 − p ( y = 1 ∣ x ) = log ⁡ p ( y = 1 ∣ x ) p ( y = 0 ∣ x ) {\bf w}^{\rm T}{\bf {x}}=\log \frac{p(y=1|{\bf x})}{1-p(y=1|{\bf x})}=\log \frac{p(y=1|{\bf x})}{p(y=0|{\bf x})} wTx=log1p(y=1∣x)p(y=1∣x)=logp(y=0∣x)p(y=1∣x)上式左边为线性函数,右边为正反后验概率比值(几率)取对数,因此Logistic回归也称为对数几率回归

参数计算

LR采用交叉熵作为损失函数,使用梯度下降进行优化
假设存在N个训练样本 { ( x ( n ) , y ( n ) ) } n = 1 N \{({\bf x}^{(n)},y^{(n)})\}_{n=1}^N {(x(n),y(n))}n=1N,采用LR回归模型对每个样本 x ( n ) {\bf x}^{(n)} x(n)进行预测,输出其标签为1的后验概率,记为 y ^ ( n ) {\hat y}^{(n)} y^(n),即 y ^ ( n ) = σ ( w T x ( n ) ) , 1 ≤ n ≤ N {\hat y}^{(n)}=\sigma({\bf w}^{\rm T}{\bf {x}}^{(n)}),1\leq n\leq N y^(n)=σ(wTx(n)),1nN
由于 y ( n ) ∈ { 0 , 1 } y^{(n)}\in\{0,1\} y(n){0,1},样本 ( x ( n ) , y ( n ) ) ({\bf x}^{(n)},y^{(n)}) (x(n),y(n))的真实条件概率可以表示为 p r ( y ( n ) = 1 ∣ x ( n ) ) = y ( n ) , p_r(y^{(n)}=1|{\bf x}^{(n)})=y^{(n)}, pr(y(n)=1∣x(n))=y(n), p r ( y ( n ) = 0 ∣ x ( n ) ) = 1 − y ( n ) p_r(y^{(n)}=0|{\bf x}^{(n)})=1-y^{(n)} pr(y(n)=0∣x(n))=1y(n)
采用交叉熵损失函数,其风险函数为 R ( w ) = − 1 N ∑ n = 1 N ( p r ( y ( n ) = 1 ∣ x ( n ) ) log ⁡ y ^ ( n ) + p r ( y ( n ) = 0 ∣ x ( n ) ) log ⁡ ( 1 − y ^ ( n ) ) ) = − 1 N ∑ n = 1 N ( y ( n ) log ⁡ y ^ ( n ) + ( 1 − y ( n ) ) log ⁡ ( 1 − y ^ ( n ) ) ) {\mathcal R}({\bf w})=-\frac{1}{N}\sum_{n=1}^N \left(p_r(y^{(n)}=1|{\bf x}^{(n)})\log {\hat y}^{(n)}+p_r(y^{(n)}=0|{\bf x}^{(n)})\log (1-{\hat y}^{(n)})\right) \\ =-\frac{1}{N}\sum_{n=1}^N\left(y^{(n)}\log {\hat y}^{(n)}+(1-y^{(n)})\log (1-{\hat y}^{(n)}) \right) R(w)=N1n=1N(pr(y(n)=1∣x(n))logy^(n)+pr(y(n)=0∣x(n))log(1y^(n)))=N1n=1N(y(n)logy^(n)+(1y(n))log(1y^(n)))
风险函数关于参数 w \bf w w的偏导数为 ∂ R ( w ) ∂ w = − 1 N ∑ n = 1 N ( y ( n ) y ^ ( n ) ( 1 − y ^ ( n ) ) y ^ ( n ) x ( n ) − ( 1 − y ( n ) ) y ^ ( n ) ( 1 − y ^ ( n ) ) 1 − y ^ ( n ) x ( n ) ) = − 1 N ∑ n = 1 N ( y ( n ) ( 1 − y ^ ( n ) ) x ( n ) − ( 1 − y ( n ) ) y ^ ( n ) x ( n ) ) = − 1 N ∑ n = 1 N x ( n ) ( y ( n ) − y ^ ( n ) ) \frac{\partial {\mathcal R}({\bf w})}{\partial {\bf w}}=-\frac{1}{N}\sum_{n=1}^N\left(y^{(n)}\frac{{\hat y}^{(n)}(1-{\hat y}^{(n)})}{{\hat y}^{(n)}}{\bf x}^{(n)}-(1-y^{(n)})\frac{{\hat y}^{(n)}(1-{\hat y}^{(n)})}{1-{\hat y}^{(n)}}{\bf x}^{(n)} \right) \\ =-\frac{1}{N}\sum_{n=1}^N\left(y^{(n)}(1-{\hat y}^{(n)}){\bf x}^{(n)}-(1-y^{(n)}){\hat y}^{(n)}{\bf x}^{(n)} \right) \\ =-\frac{1}{N}\sum_{n=1}^N{\bf x}^{(n)}(y^{(n)}-{\hat y}^{(n)}) wR(w)=N1n=1N(y(n)y^(n)y^(n)(1y^(n))x(n)(1y(n))1y^(n)y^(n)(1y^(n))x(n))=N1n=1N(y(n)(1y^(n))x(n)(1y(n))y^(n)x(n))=N1n=1Nx(n)(y(n)y^(n))
由此我们可以采用梯度下降法更新参数最终得到合适的参数 w \bf w w

python代码实现

生成数据集

我们通过下面的代码自行生成一个样本数量为100的数据集

import numpy as np
import matplotlib.pyplot as plt

# 设置随机种子,以便结果可复现
np.random.seed(42)

# 生成随机数据
# 两个特征的均值和方差
mean_1 = [2, 2]
cov_1 = [[2, 0], [0, 2]]
mean_2 = [-2, -2]
cov_2 = [[1, 0], [0, 1]]

# 生成类别1的样本
X1 = np.random.multivariate_normal(mean_1, cov_1, 50)
y1 = np.zeros(50)

# 生成类别2的样本
X2 = np.random.multivariate_normal(mean_2, cov_2, 50)
y2 = np.ones(50)

# 合并样本和标签
X = np.concatenate((X1, X2), axis=0)
y = np.concatenate((y1, y2))

# 绘制散点图
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Set1, edgecolor='k')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('Logistic Regression Dataset')
plt.show()

运行结果如下图所示
logistic预测python代码,回归,逻辑回归,人工智能,python,机器学习,分类
图中,类别1为右上部分,标签为0;类别2为左下部分,标签为1

不使用其他库实现

定义激活函数(标准Logistic函数即Sigmoid函数)

def sigmoid(x):
    if x>0:
        return 1.0/(1.0+np.exp(-x))
    else:
        return np.exp(x)/(1.0+np.exp(x))

定义LogisticRegression类

class LogisticRegression:
    def __init__(self, learning_rate=0.01, num_iterations=1000):
        self.learning_rate = learning_rate
        self.num_iterations = num_iterations
        self.weights = None
        self.bias = None

    def fit(self, X, y):
        num_samples, num_features = X.shape

        # 初始化权重和偏置
        self.weights = np.zeros(num_features)
        self.bias = 0

        # 梯度下降
        for _ in range(self.num_iterations):
            linear_model = np.dot(X, self.weights) + self.bias
            y_pred = sigmoid(linear_model)

            dw = (1 / num_samples) * np.dot(X.T, (y_pred - y))
            db = (1 / num_samples) * np.sum(y_pred - y)

            self.weights -= self.learning_rate * dw
            self.bias -= self.learning_rate * db

    def predict_prob(self, X):
        linear_model = np.dot(X, self.weights) + self.bias
        y_pred = sigmoid(linear_model)
        return y_pred

    def predict(self, X, threshold=0.5):
        y_pred_prob = self.predict_prob(X)
        y_pred = np.zeros_like(y_pred_prob)
        y_pred[y_pred_prob >= threshold] = 1
        return y_pred

调用LogisticRegression类解决分类问题

# 创建 Logistic 回归模型
    logreg = LogisticRegression()
    
    # 训练模型
    logreg.fit(X, y)
    
    # 预测样本
    X_new = np.array([[2.5, 2.5], [-6.0, -4.0]])
    y_pred_prob = logreg.predict_prob(X_new)
    y_pred = logreg.predict(X_new)
    
    print("Predicted Probabilities:", y_pred_prob)
    print("Predicted Labels:", y_pred)

输出结果为
logistic预测python代码,回归,逻辑回归,人工智能,python,机器学习,分类
预测样本1(2.5,2.5)位于右上部分属于类别1,真实标签为0;预测样本2(-6,-4)位于左下部分属于类别2,真实标签为1,对比输出结果可知,该分类器已训练得合适参数,可完成分类任务

使用sklearn库

我们可以通过使用sklearn库来简洁地实现LR

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

#所使用数据集同上X,y

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建Logistic回归模型
logreg = LogisticRegression()

# 训练模型
logreg.fit(X_train, y_train)

# 预测测试集
y_pred = logreg.predict(X_test)

# 计算预测准确率
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)

最终测试集上计算得到的准确率accuracy为1,可见该分类器的效果非常好

拓展

logistic回归可以用于分类非线性可分的数据。尽管logistic回归本身是一个线性分类器,但可以通过引入多项式特征、交互特征、组合特征等方法来扩展其能力,从而处理非线性的分类问题。
具体来说,可以通过特征工程的方式将原始特征进行变换,以引入非线性关系。例如,可以通过添加多项式特征,将原始特征的高阶项加入到模型中,例如原始特征的平方项、立方项等。还可以引入交互特征,将不同特征之间的乘积或分割点(例如,做差或做除)作为新的特征。
通过引入这些非线性特征,logistic回归可以更好地捕捉到数据中的非线性关系,从而能够更好地分类非线性可分的数据。需要注意的是,在引入非线性特征时,可能需要进行正则化或其他模型调优技巧,以避免过拟合问题。文章来源地址https://www.toymoban.com/news/detail-723782.html

到了这里,关于Logistic回归(逻辑回归)及python代码实现的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 机器学习:基于逻辑回归(Logistic Regression)对股票客户流失预测分析

    作者:i阿极 作者简介:Python领域新星作者、多项比赛获奖者:博主个人首页 😊😊😊如果觉得文章不错或能帮助到你学习,可以点赞👍收藏📁评论📒+关注哦!👍👍👍 📜📜📜如果有小伙伴需要数据集和学习交流,文章下方有交流学习区!一起学习进步!💪 专栏案例:

    2023年04月26日
    浏览(51)
  • 数据分享|SAS数据挖掘EM贷款违约预测分析:逐步Logistic逻辑回归、决策树、随机森林...

    近几年来,各家商业银行陆续推出多种贷款业务,如何识别贷款违约因素已经成为各家商业银行健康有序发展贷款业务的关键 ( 点击文末“阅读原文”获取完整 数据 )。 相关视频 在贷款违约预测的数据 ( 查看文末了解数据免费获取方式 ) 的基础上,探索是否能通过借贷

    2024年02月09日
    浏览(52)
  • sklearn实现逻辑回归(Logistic Regression)

    💥 项目专栏:sklearn实现经典机器学习算法(附代码+原理介绍) 🌟 哈喽,亲爱的小伙伴们,你们知道吗?最近我们的粉丝群里有好多小可爱私信问我一些关于决策树、逻辑回归等机器学习的超级有趣的问题呢!🌈 为了让大家更轻松地理解,我决定开一个超可爱的专栏,叫做

    2024年02月21日
    浏览(50)
  • 基于weka手工实现逻辑斯谛回归(Logistic回归)

    逻辑斯谛回归模型其实是一种分类模型,这里实现的是参考李航的《统计机器学习》以及周志华的《机器学习》两本教材来整理实现的。 假定我们的输入为 x x x , x x x 可以是多个维度的,我们想要根据 x x x 去预测 y y y , y ∈ { 0 , 1 } yin {0,1} y ∈ { 0 , 1 } 。逻辑斯谛的模型

    2024年02月15日
    浏览(46)
  • 逻辑回归Logistic

    回归 概念 假设现在有一些数据点,我们用一条直线对这些点进行拟合(这条直线称为最佳拟合直线),这个拟合的过程就叫做回归。进而可以得到对这些点的拟合直线方程。 最后结果用sigmoid函数输出 因此,为了实现 Logistic 回归分类器,我们可以在每个特征上都乘以一个回

    2024年02月09日
    浏览(37)
  • 逻辑回归(Logistic Regression)

    入门小菜鸟,希望像做笔记记录自己学的东西,也希望能帮助到同样入门的人,更希望大佬们帮忙纠错啦~侵权立删。   目录 一、逻辑回归简介与用途 二、逻辑回归的理论推导 1、问题描述和转化 2、初步思路:找一个线性模型来由X预测Y 3、Sigmoid函数(逻辑函数) 4、刚刚的

    2023年04月18日
    浏览(36)
  • 逻辑回归(Logistic Regression)

    在分类问题中,你要预测的变量 y是离散的值,我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法,这是目前最流行使用最广泛的一种学习算法。 在分类问题中,我们尝试预测的是结果是否属于某一个类(例如正确或错误)。分类问题的例子有:判断一封电子邮件是否是

    2024年02月09日
    浏览(35)
  • Logistic回归(逻辑回归)实战案例分析

    Lgistic回归也叫逻辑回归,是广义线性回归的一种,通常用于解决二分类问题。 表达式如下: 经过logit变换,则可以写成广义线性表达式 通常做回归是用其广义线性表达式,且logistic回归的结果概率表现为S型曲线,一般以小于0.5的样本都分类为0,大于0.5的样本都分类为1。

    2024年04月25日
    浏览(42)
  • 二元逻辑回归(logistic regression)

    目录 一,原理 二,python代码 2.1 数据集的格式 2.2 代码 三,适用条件 回归 :          假设存在一些数据点,用一条直线或者曲线或折现去拟合这些点就叫做回归。也就是找出平面点上两个轴变量之间的函数关系,或者其他坐标系下的变量间关系。一句话就是:回归就是

    2024年02月06日
    浏览(50)
  • 机器学习:逻辑回归(Logistic Regression)

    Logistic Regression. 本文目录: 逻辑回归模型 Logistic函数 交叉熵损失 梯度下降法 核逻辑回归 逻辑回归(logistic regression) 是一种二分类模型,其思想是通过引入一个函数将线性回归的输出限制在 [ 0 , 1 ] [0,1] [ 0 , 1

    2024年02月09日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包