数据挖掘实验(二)数据预处理【等深分箱与等宽分箱】

这篇具有很好参考价值的文章主要介绍了数据挖掘实验(二)数据预处理【等深分箱与等宽分箱】。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、分箱平滑的原理

(1)分箱方法

在分箱前,一定要先排序数据,再将它们分到等深(等宽)的箱中。
常见的有两种分箱方法:等深分箱和等宽分箱。

等深分箱:按记录数进行分箱,每箱具有相同的记录数,每箱的记录数称为箱的权重,也称箱子的深度。
等宽分箱:在整个属性值的区间上平均分布,即每个箱的区间范围设定为一个常量,称为箱子的宽度。

(2)数据平滑

将数据划分到不同的箱子之后,可以运用如下三种策略对每个箱子中的数据进行平滑处理:

平均值平滑:箱中的每一个值被箱中数值的平均值替换。
中值平滑:箱中的每一个值被箱中数值的中值替换。
边界平滑:箱中的最大值和最小值称为箱子的边界,箱中的每一个值被最近的边界值替换。

二、Matlab代码实现

首先用rand()函数随机生成20*5的矩阵,其数据范围为[0,1]。

1.等深分箱

clear;clc; % 清除变量和命令窗口

A=rand(20,5); % 随机生成20*5的矩阵,其中每个数取值范围[0,1]
fprintf("当前生成的原数据:\n");
disp(A);

% 排序,参数1表示按列排序,取2为按行排序;'ascend'为升序,'descend'为降序
A=sort(A,1,'ascend'); 
fprintf("将原数据的每列排序后:\n"); 
disp(A);

h=input("请输入等深分箱的深度h(1<h<20):");

% 检查输入变量h是否有效
if ~isnumeric(h) || ~isscalar(h) || h<=1 || h>=20 || h~=floor(h)
    error("输入变量h必须是一个大于1小于20的正整数");
end

%% 对每列进行等深分箱,然后求每个箱子的均值
[n,m]=size(A); % n行m列
B=zeros(n,m); % 预分配输出变量B
for j=1:m % 列j
	for i=1:h:n % 行i
		% 当前箱子第一个数位置为i,最后一个数位置为min(i+h-1,n)
		p1=int64(i); % 转换成整数(i默认是double类型,但是索引必须要为整数)
		p2=int64(min(i+h-1,n));
		B(p1:p2,j)=mean(A(p1:p2,j)); % 当前箱子的均值
    end
end % 结束行循环

fprintf("\n经过等深分箱,用箱均值平滑处理后的数据:\n"); 
disp(B);

for i=1:h:n 的含义是:

  • i 是一个循环变量,它的初始值是 1。
  • h 是一个输入变量,它表示等深分箱的深度。
  • n 是一个由 size 函数得到的变量,它表示矩阵 A 的行数。
  • 这个循环的作用是从第一行开始,每隔 h 行取一行作为一个箱子的起始位置,然后计算这个箱子中所有元素的均值,并赋给输出矩阵 B 的相应位置。

isnumeric 函数是一个用于判断输入是否为数值数组的函数。数值数组是指由数值类型的元素组成的数组,例如整数、浮点数、无穷大或非数字。MATLAB 中的数值类型包括 int8, int16, int32, int64, uint8, uint16, uint32, uint64, single, 和 double。

isnumeric 函数的语法格式是:

TF = isnumeric(A)

其中,A 是输入数组,可以是任意维度的;TF 是输出逻辑值,如果 A 是数值数组,则返回 1 (true),否则返回 0 (false)。

例如,如果 A 是一个包含整数和浮点数的矩阵,那么 isnumeric(A) 将返回 1;如果 A 是一个包含字符串或单元数组的矩阵,那么 isnumeric(A) 将返回 0。

~isscalar(h) 函数是一个逻辑表达式,它用于判断 h 是否不是一个标量。标量是一个大小为 1×1 的二维数组,也就是一个单个的数值。如果 h 不是一个标量,那么 ~isscalar(h) 将返回 1 (true),否则返回 0 (false)。 

 python代码为

import numpy as np # 导入 numpy 库
=

A = np.random.rand(20,5) # 随机生成 20*5 的矩阵,其中每个数取值范围 [0,1]
print("当前生成的原数据:")
print(A)

# 排序,参数 0 表示按列排序,取 1 为按行排序;'ascend' 为升序,'descend' 为降序
A = np.sort(A, axis=0, kind='quicksort') # 使用快速排序算法
print("将原数据的每列排序后:")
print(A)

h = int(input("请输入等深分箱的深度 h (1<h<20):")) # 输入一个整数

# 检查输入变量 h 是否有效
if not isinstance(h, int) or h <= 1 or h >= 20: # 如果 h 不是一个大于 1 小于 20 的整数
    raise ValueError("输入变量 h 必须是一个大于 1 小于 20 的正整数") # 抛出异常

# 对每列进行等深分箱,然后求每个箱子的均值
n, m = A.shape # n 行 m 列
B = np.zeros((n,m)) # 预分配输出变量 B
for j in range(m): # 列 j
    for i in range(0, n, h): # 行 i
        # 当前箱子第一个数位置为 i,最后一个数位置为 min(i+h,n)
        p1 = int(i) # 转换成整数 (i 默认是 double 类型,但是索引必须要为整数)
        p2 = int(min(i+h,n))
        B[p1:p2,j] = np.mean(A[p1:p2,j]) # 当前箱子的均值

print("\n经过等深分箱,用箱均值平滑处理后的数据:")
print(B)
代码运行结果

输入的深度为3:

当前生成的原数据:
A =

    0.4067    0.4504    0.5747    0.5154    0.9969
    0.6669    0.2057    0.3260    0.6575    0.5535
    0.9337    0.8997    0.4564    0.9509    0.5155
    0.8110    0.7626    0.7138    0.7223    0.3307
    0.4845    0.8825    0.8844    0.4001    0.4300
    0.7567    0.2850    0.7209    0.8319    0.4918
    0.4170    0.6732    0.0186    0.1343    0.0710
    0.9718    0.6643    0.6748    0.0605    0.8877
    0.9880    0.1228    0.4385    0.0842    0.0646
    0.8641    0.4073    0.4378    0.1639    0.4362
    0.3889    0.2753    0.1170    0.3242    0.8266
    0.4547    0.7167    0.8147    0.3017    0.3945
    0.2467    0.2834    0.3249    0.0117    0.6135
    0.7844    0.8962    0.2462    0.5399    0.8186
    0.8828    0.8266    0.3427    0.0954    0.8862
    0.9137    0.3900    0.3757    0.1465    0.9311
    0.5583    0.4979    0.5466    0.6311    0.1908
    0.5989    0.6948    0.5619    0.8593    0.2586
    0.1489    0.8344    0.3958    0.9742    0.8979
    0.8997    0.6096    0.3981    0.5708    0.5934

将原数据的每列排序后:
A =

    0.1489    0.1228    0.0186    0.0117    0.0646
    0.2467    0.2057    0.1170    0.0605    0.0710
    0.3889    0.2753    0.2462    0.0842    0.1908
    0.4067    0.2834    0.3249    0.0954    0.2586
    0.4170    0.2850    0.3260    0.1343    0.3307
    0.4547    0.3900    0.3427    0.1465    0.3945
    0.4845    0.4073    0.3757    0.1639    0.4300
    0.5583    0.4504    0.3958    0.3017    0.4362
    0.5989    0.4979    0.3981    0.3242    0.4918
    0.6669    0.6096    0.4378    0.4001    0.5155
    0.7567    0.6643    0.4385    0.5154    0.5535
    0.7844    0.6732    0.4564    0.5399    0.5934
    0.8110    0.6948    0.5466    0.5708    0.6135
    0.8641    0.7167    0.5619    0.6311    0.8186
    0.8828    0.7626    0.5747    0.6575    0.8266
    0.8997    0.8266    0.6748    0.7223    0.8862
    0.9137    0.8344    0.7138    0.8319    0.8877
    0.9337    0.8825    0.7209    0.8593    0.8979
    0.9718    0.8962    0.8147    0.9509    0.9311
    0.9880    0.8997    0.8844    0.9742    0.9969

请输入等深分箱的深度h(1<h<20):3

经过等深分箱,用箱均值平滑处理后的数据:
B =

    0.2615    0.2013    0.1273    0.0521    0.1088
    0.2615    0.2013    0.1273    0.0521    0.1088
    0.2615    0.2013    0.1273    0.0521    0.1088
    0.4262    0.3195    0.3312    0.1254    0.3279
    0.4262    0.3195    0.3312    0.1254    0.3279
    0.4262    0.3195    0.3312    0.1254    0.3279
    0.5472    0.4519    0.3899    0.2633    0.4527
    0.5472    0.4519    0.3899    0.2633    0.4527
    0.5472    0.4519    0.3899    0.2633    0.4527
    0.7360    0.6490    0.4443    0.4851    0.5541
    0.7360    0.6490    0.4443    0.4851    0.5541
    0.7360    0.6490    0.4443    0.4851    0.5541
    0.8526    0.7247    0.5611    0.6198    0.7529
    0.8526    0.7247    0.5611    0.6198    0.7529
    0.8526    0.7247    0.5611    0.6198    0.7529
    0.9157    0.8478    0.7031    0.8045    0.8906
    0.9157    0.8478    0.7031    0.8045    0.8906
    0.9157    0.8478    0.7031    0.8045    0.8906
    0.9799    0.8979    0.8495    0.9626    0.9640
    0.9799    0.8979    0.8495    0.9626    0.9640

2.等宽分箱

输入箱子的宽度w(0<w<1),将每列按等宽分箱,然后用箱均值平滑。

clear;clc; % 清除变量和命令窗口

%A=rand(20,5); % 随机生成20*5的矩阵,其中每个数取值范围[0,1]
A=[ 0.5038    0.3600    0.6690    0.1432    0.9419
    0.6128    0.4542    0.5002    0.5594    0.6559
    0.8194    0.3864    0.2180    0.0046    0.4519
    0.5319    0.7756    0.5716    0.7667    0.8397
    0.2021    0.7343    0.1222    0.8487    0.5326
    0.4539    0.4303    0.6712    0.9168    0.5539
    0.4279    0.6938    0.5996    0.9870    0.6801
    0.9661    0.9452    0.0560    0.5051    0.3672
    0.6201    0.7842    0.0563    0.2714    0.2393
    0.6954    0.7056    0.1525    0.1008    0.5789
    0.7202    0.1093    0.0196    0.5078    0.8669
    0.3469    0.3899    0.4352    0.5856    0.4068
    0.5170    0.5909    0.8322    0.7629    0.1126
    0.5567    0.4594    0.6174    0.0830    0.4438
    0.1565    0.0503    0.5201    0.6616    0.3002
    0.5621    0.2287    0.8639    0.5170    0.4014
    0.6948    0.8342    0.0977    0.1710    0.8334
    0.4265    0.0156    0.9081    0.9386    0.4036
    0.8363    0.8637    0.1080    0.5905    0.3902
    0.7314    0.0781    0.5170    0.4406    0.3604];
fprintf("当前生成的原数据:\n");
disp(A);
% 排序,参数1表示按列排序,取2为按行排序;'ascend'为升序,'descend'为降序
A=sort(A,1,'ascend'); 
fprintf("将原数据的每列排序后:\n"); 
disp(A);

w=input("请输入等宽分箱的宽度w(0<w<1):");
% 检查输入变量w是否有效
if ~isnumeric(w) || ~isscalar(w) || w<=0
    error("输入变量w必须是一个大于0小于1的正数");
end

%% 对每列进行等宽分箱,然后求每个箱子的均值
[n,m]=size(A); % n行m列
B=zeros(n,m); % 预分配输出变量B
for j=1:m % 列j
	pos=1; % 当前箱子第一个数的位置
	A(n+1,j)=18e9; % 保证i=n+1时,A(i,j)-A(pos,j)>w一定成立
	for i=1:n+1  % 行i
		if A(i,j)-A(pos,j)>w % 当前箱子最后一个数的位置为i-1
			B(pos:i-1,j)=mean(A(pos:i-1,j)); % 当前箱子的均值
			pos=i; % 更新为下一个箱子的第一个数的位置
		end
	end
end

fprintf("\n经过等宽分箱,用箱均值平滑处理后的数据:\n"); 
disp(B);

if A(i,j)-A(pos,j)>w

这段代码的作用是判断当前元素是否属于当前箱子。如果当前元素与当前箱子的第一个元素的差大于 w,那么说明当前元素已经超出了当前箱子的范围,需要开始新的一个箱子;如果不大于 w,那么说明当前元素还在当前箱子内,继续循环。

代码运行结果

输入的宽度为0.2:文章来源地址https://www.toymoban.com/news/detail-727494.html

当前生成的原数据:
A =

    0.5038    0.3600    0.6690    0.1432    0.9419
    0.6128    0.4542    0.5002    0.5594    0.6559
    0.8194    0.3864    0.2180    0.0046    0.4519
    0.5319    0.7756    0.5716    0.7667    0.8397
    0.2021    0.7343    0.1222    0.8487    0.5326
    0.4539    0.4303    0.6712    0.9168    0.5539
    0.4279    0.6938    0.5996    0.9870    0.6801
    0.9661    0.9452    0.0560    0.5051    0.3672
    0.6201    0.7842    0.0563    0.2714    0.2393
    0.6954    0.7056    0.1525    0.1008    0.5789
    0.7202    0.1093    0.0196    0.5078    0.8669
    0.3469    0.3899    0.4352    0.5856    0.4068
    0.5170    0.5909    0.8322    0.7629    0.1126
    0.5567    0.4594    0.6174    0.0830    0.4438
    0.1565    0.0503    0.5201    0.6616    0.3002
    0.5621    0.2287    0.8639    0.5170    0.4014
    0.6948    0.8342    0.0977    0.1710    0.8334
    0.4265    0.0156    0.9081    0.9386    0.4036
    0.8363    0.8637    0.1080    0.5905    0.3902
    0.7314    0.0781    0.5170    0.4406    0.3604

将原数据的每列排序后:
A =

    0.1565    0.0156    0.0196    0.0046    0.1126
    0.2021    0.0503    0.0560    0.0830    0.2393
    0.3469    0.0781    0.0563    0.1008    0.3002
    0.4265    0.1093    0.0977    0.1432    0.3604
    0.4279    0.2287    0.1080    0.1710    0.3672
    0.4539    0.3600    0.1222    0.2714    0.3902
    0.5038    0.3864    0.1525    0.4406    0.4014
    0.5170    0.3899    0.2180    0.5051    0.4036
    0.5319    0.4303    0.4352    0.5078    0.4068
    0.5567    0.4542    0.5002    0.5170    0.4438
    0.5621    0.4594    0.5170    0.5594    0.4519
    0.6128    0.5909    0.5201    0.5856    0.5326
    0.6201    0.6938    0.5716    0.5905    0.5539
    0.6948    0.7056    0.5996    0.6616    0.5789
    0.6954    0.7343    0.6174    0.7629    0.6559
    0.7202    0.7756    0.6690    0.7667    0.6801
    0.7314    0.7842    0.6712    0.8487    0.8334
    0.8194    0.8342    0.8322    0.9168    0.8397
    0.8363    0.8637    0.8639    0.9386    0.8669
    0.9661    0.9452    0.9081    0.9870    0.9419

请输入等宽分箱的宽度w(0<w<1):0.2

经过等宽分箱,用箱均值平滑处理后的数据:
B =

    0.2352    0.0633    0.1038    0.1005    0.2174
    0.2352    0.0633    0.1038    0.1005    0.2174
    0.2352    0.0633    0.1038    0.1005    0.2174
    0.5213    0.0633    0.1038    0.1005    0.4312
    0.5213    0.3413    0.1038    0.1005    0.4312
    0.5213    0.3413    0.1038    0.3560    0.4312
    0.5213    0.3413    0.1038    0.3560    0.4312
    0.5213    0.3413    0.1038    0.5610    0.4312
    0.5213    0.4837    0.5373    0.5610    0.4312
    0.5213    0.4837    0.5373    0.5610    0.4312
    0.5213    0.4837    0.5373    0.5610    0.4312
    0.5213    0.4837    0.5373    0.5610    0.4312
    0.5213    0.7702    0.5373    0.5610    0.4312
    0.7496    0.7702    0.5373    0.5610    0.6383
    0.7496    0.7702    0.5373    0.8467    0.6383
    0.7496    0.7702    0.7591    0.8467    0.6383
    0.7496    0.7702    0.7591    0.8467    0.8705
    0.7496    0.7702    0.7591    0.8467    0.8705
    0.7496    0.7702    0.7591    0.8467    0.8705
    0.9661    0.9452    0.9081    0.9870    0.8705

到了这里,关于数据挖掘实验(二)数据预处理【等深分箱与等宽分箱】的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 数据挖掘(2.3)--数据预处理

    目录 三、数据集成和转换 1.数据集成  2.数据冗余性  2.1 皮尔森相关系数 2.2卡方检验  3.数据转换 四、数据的规约和变换 1.数据归约 2数据离散化 数据集成是将不同来源的数据整合并一致地存储起来的过程 。 不同 来源 的数据可能有 不同的格式、不同的元信息和不同的表示

    2024年02月02日
    浏览(37)
  • 数据挖掘(2.2)--数据预处理

    目录   二、数据描述 1.描述数据中心趋势 1.1平均值和截断均值  1.2加权平均值 1.3中位数(Median)和众数(Mode) 2.描述数据的分散程度 2.1箱线图 2.2方差和标准差 2.3正态分布 3.数据清洗 3.1数据缺失的处理 3.2数据清洗 描述数据的方法,包括描述数据中心趋势的方法如 均值、中位

    2024年02月01日
    浏览(35)
  • 【数据挖掘 | 数据预处理】缺失值处理 & 重复值处理 & 文本处理 确定不来看看?

    🤵‍♂️ 个人主页: @AI_magician 📡主页地址: 作者简介:CSDN内容合伙人,全栈领域优质创作者。 👨‍💻景愿:旨在于能和更多的热爱计算机的伙伴一起成长!!🐱‍🏍 🙋‍♂️声明:本人目前大学就读于大二,研究兴趣方向人工智能硬件(虽然硬件还没开始玩,但一直

    2024年02月07日
    浏览(64)
  • 数据挖掘学习——数据预处理方法代码汇总(python)

    目录 一、归一化处理方法 (1)min-max方法(离散归一化) (2)零-均值规范化方法 (3)小数定标规范化 二、插值法 (1)拉格朗日插值法 三、相关性分析 (1)pearson相关性系数 (2)spearman相关性系数 四、主成分分析(PCA) 归一化常用方法有: (1)min-max方法(离散归一化

    2024年02月08日
    浏览(66)
  • 数据预处理在数据挖掘中的重要性

    数据挖掘作为从大量数据中提取有用信息和知识的过程,其结果的准确性和可靠性直接受到数据质量的影响。因此,数据预处理在数据挖掘中扮演着至关重要的角色。让我们探讨数据质量对数据挖掘结果的影响,并介绍常见的数据预处理方法以及它们如何提高数据挖掘的效果

    2024年03月20日
    浏览(45)
  • Python数据挖掘 数据预处理案例(以航空公司数据为例)

    1、数据清洗 2、数据集成 3、数据可视化 根据航空公司系统内的客户基本信息、乘机信息以及积分信息等详细数据,依据末次飞行日期( LAST_FLIGHT_DATE),以2014年3月31日为结束时间,选取宽度为两年的时间段作为分析观测窗口,抽取观测窗口2012年4月1日至2014年3月31日内有乘机记

    2024年02月04日
    浏览(40)
  • GEO生信数据挖掘(六)实践案例——四分类结核病基因数据预处理分析

    前面五节,我们使用阿尔兹海默症数据做了一个数据预处理案例,包括如下内容: GEO生信数据挖掘(一)数据集下载和初步观察 GEO生信数据挖掘(二)下载基因芯片平台文件及注释 GEO生信数据挖掘(三)芯片探针ID与基因名映射处理 GEO生信数据挖掘(四)数据清洗(离群值

    2024年02月07日
    浏览(54)
  • GPT-4科研实践:数据可视化、统计分析、编程、机器学习数据挖掘、数据预处理、代码优化、科研方法论

    查看原文GPT4科研实践技术与AI绘图 GPT对于每个科研人员已经成为不可或缺的辅助工具,不同的研究领域和项目具有不同的需求。 例如在科研编程、绘图领域 : 1、编程建议和示例代码:  无论你使用的编程语言是Python、R、MATLAB还是其他语言,都可以为你提供相关的代码示例。

    2024年02月07日
    浏览(59)
  • 数据探索与数据预处理的实验报告

    提示 参考书 :张良均《Python数据分析与挖掘实战》等。 数据文件 :课本自带数据。 使用软件 :Pycharm。 类别 :实验。 温馨提示 :该实验是跟张良均这本书配合使用的,代码运行于Pycharm。 一、 实验目的 1、了解数据探索基本方法。 2、了解数据预处理基本方法。 二、 实

    2024年02月02日
    浏览(30)
  • 数据导入与预处理——实验一:数据导入与导出

    目的: 掌握使用Kettle进行数据导入与导出的方法 主要仪器设备: 计算机、Kettle(PDI)、MySQL数据库 某连锁超市为了优化经营管理,拟搭建一个商务智能系统,来帮助企业管理团队更全面、专业的通过数据了解业务况状。目前公司有一个订单数据库,记录了每一笔订单的详细数

    2024年02月06日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包