模型评估(误差平方和(SSE The sum of squares due to error))

这篇具有很好参考价值的文章主要介绍了模型评估(误差平方和(SSE The sum of squares due to error))。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1 误差平方和(SSE The sum of squares due to error):¶

举例:(下图中数据-0.2, 0.4, -0.8, 1.3, -0.7, 均为真实值和预测值的差)

模型评估(误差平方和(SSE The sum of squares due to error))

在k-means中的应用:

模型评估(误差平方和(SSE The sum of squares due to error))

公式各部分内容:

模型评估(误差平方和(SSE The sum of squares due to error))

上图中: k=2

  • SSE图最终的结果,对图松散度的衡量.(eg: SSE(左图)<SSE(右图))

  • SSE随着聚类迭代,其值会越来越小,直到最后趋于稳定:

  • 如果质心的初始值选择不好,SSE只会达到一个不怎么好的局部最优解.

2 “肘”方法 (Elbow method) — K值确定¶

模型评估(误差平方和(SSE The sum of squares due to error))

(1)对于n个点的数据集,迭代计算k from 1 to n,每次聚类完成后计算每个点到其所属的簇中心的距离的平方和;

(2)平方和是会逐渐变小的,直到k==n时平方和为0,因为每个点都是它所在的簇中心本身。

(3)在这个平方和变化过程中,会出现一个拐点也即“肘”点,下降率突然变缓时即认为是最佳的k值

在决定什么时候停止训练时,肘形判据同样有效,数据通常有更多的噪音,在**增加分类无法带来更多回报时,我们停止增加类别**。

3 轮廓系数法(Silhouette Coefficient)¶

结合了聚类的凝聚度(Cohesion)和分离度(Separation),用于评估聚类的效果:

模型评估(误差平方和(SSE The sum of squares due to error))

目的:

​ 内部距离最小化,外部距离最大化

计算样本i到同簇其他样本的平均距离ai,ai 越小样本i的簇内不相似度越小,说明样本i越应该被聚类到该簇。

计算样本i到最近簇Cj 的所有样本的平均距离bij,称样本i与最近簇Cj 的不相似度,定义为样本i的簇间不相似度:bi =min{bi1, bi2, ..., bik},bi越大,说明样本i越不属于其他簇。

求出所有样本的轮廓系数后再求平均值就得到了**平均轮廓系数**。

平均轮廓系数的取值范围为[-1,1],系数越大,聚类效果越好。

簇内样本的距离越近,簇间样本距离越远

案例:

下图是500个样本含有2个feature的数据分布情况,我们对它进行SC系数效果衡量:

模型评估(误差平方和(SSE The sum of squares due to error))

n_clusters = 2 The average silhouette_score is : 0.7049787496083262

n_clusters = 3 The average silhouette_score is : 0.5882004012129721

n_clusters = 4 The average silhouette_score is : 0.6505186632729437

n_clusters = 5 The average silhouette_score is : 0.56376469026194

n_clusters = 6 The average silhouette_score is : 0.4504666294372765

n_clusters 分别为 2,3,4,5,6时,SC系数如下,是介于[-1,1]之间的度量指标:

每次聚类后,每个样本都会得到一个轮廓系数,当它为1时,说明这个点与周围簇距离较远,结果非常好,当它为0,说明这个点可能处在两个簇的边界上,当值为负时,暗含该点可能被误分了。文章来源地址https://www.toymoban.com/news/detail-442551.html

到了这里,关于模型评估(误差平方和(SSE The sum of squares due to error))的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • chatgpt赋能python:Python如何算出平方和

    Python 是一门强大的编程语言,拥有许多内置函数可以帮助我们完成复杂的计算任务。本文将介绍如何使用 Python 计算平方和,并提供一种简单而有效的方法,可以帮助任何初学者学习该算法。 在数学中,平方和是一组数的平方的总和。例如,对于数列 1,2,3,4 和 5,它们的

    2024年02月10日
    浏览(37)
  • D354周赛复盘:特殊元素平方和+数组最大美丽值(滑动窗口)+合法分割最小下标

    主要注意点是 本题的 i 并不是数组下标的 i ,是按照数字顺序来的 给你一个下标从 1 开始、长度为 n 的整数数组 nums 。 对 nums 中的元素 nums[i] 而言,如果 n 能够被 i 整除,即 n % i == 0 ,则认为 num[i] 是一个 特殊元素 。 返回 nums 中所有 特殊元素 的 平方和 。 示例 1: 示例

    2024年02月16日
    浏览(49)
  • 【scikit-learn基础】--『回归模型评估』之误差分析

    模型评估 在统计学和机器学习中具有至关重要,它帮助我们主要目标是量化模型预测新数据的能力。 在这个数据充斥的时代,没有评估的模型就如同盲人摸象,可能带来误导和误判。 模型评估 不仅是一种方法,更是一种保障,确保我们在数据海洋中航行时,能够依赖准确的

    2024年01月22日
    浏览(43)
  • 聚类算法(KMeans)模型评估方法(SSE、SC)及案例

    一、概述         将相似的样本自动归到一个类别中,不同的相似度计算方法,会得到不同的聚类结果,常用欧式距离法;聚类算法的目的是在没有先验知识的情况下,自动发现数据集中的内在结构和模式。是 无监督学习 算法 二、分类 根据聚类 颗粒度 :细聚类、粗聚

    2024年01月20日
    浏览(42)
  • 最小平方误差算法

    (1)用LMSE算法求下列模式分类的解向量w (2)制造PPT,并讲解。 (1)根据N个分属于两类的样本,写出规范化增广样本矩阵X; (2)求X的伪逆矩阵X#=(XTX)-1XT; (3)设置初值c和B(1),c为正的校正增量,B(1)的各分量大于零,迭代次数k=1。 开始迭代:计算   (4)计算𝒆(𝒌)=𝑿

    2023年04月27日
    浏览(25)
  • 轨迹误差评估指标[APE/RPE]和EVO[TUM/KITTI]

    Reference: 高翔,张涛 《视觉SLAM十四讲》 视觉SLAM基础:算法精度评价指标(ATE、RPE) 在实际工程中,我们经常需要评估一个算法的估计轨迹与真实轨迹的差异来评价算法的精度。真实轨迹往往通过某些更高精度的系统获得,而估计轨迹则是由待评价的算法计算得到的。考虑一

    2023年04月08日
    浏览(42)
  • Leetcode 3007. Maximum Number That Sum of the Prices Is Less Than or Equal to K

    Leetcode 3007. Maximum Number That Sum of the Prices Is Less Than or Equal to K 1. 解题思路 2. 代码实现 题目链接:3007. Maximum Number That Sum of the Prices Is Less Than or Equal to K 这一题我的思路上就是一个二分的思路,先确定一个上下界,然后不断通过二分来找到最大的price不超过k的值。 因此,剩下的

    2024年01月20日
    浏览(42)
  • golang使用sse事件流调用AI大模型

    本次Ai大模型,我们选择清华大学出品的智谱AI大模型,为什么呢?因为chatgpt已经有开源第三方库,可以直接调,但是要科学上网(借助代理也是可是实现的)。只要是公司业务有这方面的需求。。。 接口文档 没办法,照着python,java比葫芦画瓢,自己造。 我们来到非SDK用户这

    2024年04月09日
    浏览(31)
  • 聊聊大模型"打字机"效果的背后技术——SSE

    转载请注明出处:https://www.cnblogs.com/zhiyong-ITNote SSE:Server Sent Event;服务器发送事件。 Server-Sent Events(SSE)是一种由服务器向客户端推送实时数据的技术。它是构建基于事件的、服务器到客户端的通信的一种方法,特别适用于需要实时更新和推送信息的应用场景,如实时通知

    2024年03月27日
    浏览(47)
  • 用【Java】调用百度千帆大模型并提供流式接口【SSE】响应

    接口地址: V1版本:https://apis.ydxiaoshuai.cn/xai/rest/llm/baidu/qianfan/chat?accessToken=ACCESSTOKENprompt=PROMPT V2版本使用WebFlux:https://apis.ydxiaoshuai.cn/xai/rest/llm/baidu/qianfan/v2/chat?accessToken=ACCESSTOKENprompt=PROMPT 请求方式:GET 参数替换: 替换ACCESSTOKEN为自己的 替换PROMPT为自己要提问的问题 注意:服务器带

    2024年04月24日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包