什么是数据特征选定?
数据特征选定(Feature Selection)是指从原始数据中选择最相关、最有用的特征,用于构建机器学习模型。特征选定是机器学习流程中非常重要的一步,它直接影响模型的性能和泛化能力。通过选择最重要的特征,可以减少模型的复杂性,降低过拟合的风险,并提高模型的训练和预测效率。
特征选定的过程可以采用以下一些常见的方法:
-
相关性分析:通过计算特征与目标变量之间的相关性,选择与目标变量高度相关的特征。可以使用相关系数、互信息等指标进行相关性分析。
-
特征重要性评估:对于一些机器学习模型(如决策树、随机森林、梯度提升树等),可以通过模型训练过程中特征的重要性评估来选择重要的特征。
-
方差选择:选择方差大于某个阈值的特征,过滤掉方差较小的特征,认为方差较小的特征对目标变量的影响较小。
-
正则化方法:使用正则化方法(如L1正则化、L2正则化)进行特征选择,通过加入正则化项来惩罚特征的权重,从而使得部分特征的权重变为零,实现特征选择。
-
基于模型的特征选择:使用某些机器学习模型(如递归特征消除、稳定性选择等)来评估特征的重要性,并选择最重要的特征。
-
基于特征工程的选择:通过领域知识和数据理解来选择最相关的特征,例如选择与问题背景相关的特征、选择对目标变量具有影响的特征等。
特征选定需要结合具体的数据和任务来进行,没有一种通用的方法适用于所有情况。选择合适的特征是一个迭代的过程,通常需要尝试不同的方法和参数来找到最佳的特征子集。重要的是要保持合理的特征维度,确保所选特征能够充分表达数据的信息,并且对于给定的机器学习任务是有效的。
在做数据挖掘和数据分析时,数据是所有问题的基础,并且会影响整个项目的进程。相较于使用一些复杂的算法,灵活地处理数据经常会取到意想不到的效果。
而处理数据不可避免地会使用到特征工程。那么特征工程是什么呢?有这么一句话在业界广为流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。
因此,特征过程的本质就是一项工程活动,目的是最大限度地从原始数据中提取合适的特征,以供算法和模型使用。特征处理是特征工程的核心部分,scikit-learn 提供了较为完整的特征处理方法,包括数据预处理、特征选择、降维等。
通过 scikit-learn来自动选择用于建立机器学习模型的数据特征的方法。接下来将会介绍以下四个数据特征选择的方法:
· 单变量特征选定。
· 递归特征消除。
· 主要成分分析。
· 特征的重要性。
特征选定
特征选定是一个流程,能够选择有助于提高预测结果准确度的特征数据,或者有助于发现我们感兴趣的输出结果的特征数据。如果数据中包含无关的特征属性,会降低算法的准确度,对预测新数据造成干扰,尤其是线性相关算法(如线性回归算法和逻辑回归算法)。
因此,在开始建立模型之前,执行特征选定有助于:
- 降低数据的拟合度:较少的冗余数据,会使算法得出结论的机会更大。
- 提高算法精度:较少的误导数据,能够提高算法的准确度。
- 减少训练时间:越少的数据,训练模型所需要的时间越少。
可以在 scikit-learn 的特征选定文档中查看更多的信息(http://scikitlearn.org/stable/modules/feature_selection.html)。下面我们会继续使用PimaIndians的数据集来进行演示。
代码如下:
import pandas as pd
from numpy import set_printoptions
from sklearn.feature_selection import chi2, SelectKBest
#数据预处理
path = 'D:\down\\archive\\diabetes.csv'
data = pd.read_csv(path)
#将数据转成数组
array = data.values
#分割数据
X = array[:, 0:8]
Y=array[:,8]
#选择K个最好的特征,返回选择特征后的数据
test = SelectKBest(score_func=chi2, k=4)
#fit()方法,计算X中各个特征的相关性
fit = test.fit(X, Y)
#设置数据打印格式
set_printoptions(precision=3)
print(fit.scores_)
#得分越高,特征越重要
features = fit.transform(X)
#显示特征
print(features)
执行结束后,我们得到了卡方检验对每一个数据特征的评分,以及得
分最高的四个数据特征。执行结果如下:
[ 111.52 1411.887 17.605 53.108 2175.565 127.669 5.393 181.304]
[[148. 0. 33.6 50. ]
[ 85. 0. 26.6 31. ]
[183. 0. 23.3 32. ]
...
[121. 112. 26.2 30. ]
[126. 0. 30.1 47. ]
[ 93. 0. 30.4 23. ]]
从这组数据中我们可以分析出得分最高 的分别是血糖,胰岛素含量,身体质量指数(BMI),年龄
通过设置SelectKBest的score_func参数,SelectKBest不仅可以执行卡方检验来选择数据特征,还可以通过相关系数、互信息法等统计方法来选定数据特征
递归特征消除
递归特征消除(RFE)使用一个基模型来进行多轮训练,每轮训练后消除若干权值系数的特征,再基于新的特征集进行下一轮训练。通过每一个基模型的精度,找到对最终的预测结果影响最大的数据特征。
在 scikitlearn 文档中有更多的关于递归特征消除(RFE)的描述。下面的例子是以逻辑回归算法为基模型,通过递归特征消除来选定对预测结果影响最大的三个数据特征。
代码如下:
import pandas as pd
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression
#数据预处理
path = 'D:\down\\archive\\diabetes.csv'
data = pd.read_csv(path)
#打印标签名称
print(data.columns)
#将数据转成数组
array = data.values
#分割数据,去掉最后一个标签
X = array[:, 0:8]
Y = array[:, 8]
#特征选择
model = LogisticRegression()
#递归特征消除法,返回特征选择后的数据
rfe = RFE(model)
#拟合数据
fit = rfe.fit(X, Y)
print("特征个数:", fit.n_features_)
print("被选特征:", fit.support_)
print("特征排名:", fit.ranking_)
运行结果:
特征个数: 4
被选特征: [ True True False False False True True False]
特征排名: [1 1 3 4 5 1 1 2]
主要成分分析
主要成分分析(PCA)是使用线性代数来转换压缩数据,通常被称作数据降维。
常见的降维方法除了主要成分分析(PCA),还有线性判别分析(LDA),它本身也是一个分类模型。PCA 和 LDA 有很多的相似之处,其本质是将原始的样本映射到维度更低的样本空间中,但是PCA和LDA的映射目标不一样:PCA是为了让映射后的样本具有最大的发散性;而 LDA 是为了让映射后的样本有最好的分类性能。
所以说,PCA 是一种无监督的降维方法,而LDA是一种有监督的降维方法。在聚类算法中,通常会利用PCA对数据进行降维处理,以利于对数据的简化分析和可视化。
详细内容请参考 scikit-learn的API文档。代码如下:
import pandas as pd
from sklearn.decomposition import PCA
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression
#数据预处理
path = 'D:\down\\archive\\diabetes.csv'
data = pd.read_csv(path)
#打印标签名称
print(data.columns)
#将数据转成数组
array = data.values
#分割数据,去掉最后一个标签
X = array[:, 0:8]
Y = array[:, 8]
pca = PCA(n_components=4)
fit = pca.fit(X)
print("方差:", fit.explained_variance_ratio_)
print(fit.components_)
方差: [0.88854663 0.06159078 0.02579012 0.01308614]
[[-2.02176587e-03 9.78115765e-02 1.60930503e-02 6.07566861e-02
9.93110844e-01 1.40108085e-02 5.37167919e-04 -3.56474430e-03]
[-2.26488861e-02 -9.72210040e-01 -1.41909330e-01 5.78614699e-02
9.46266913e-02 -4.69729766e-02 -8.16804621e-04 -1.40168181e-01]
[-2.24649003e-02 1.43428710e-01 -9.22467192e-01 -3.07013055e-01
2.09773019e-02 -1.32444542e-01 -6.39983017e-04 -1.25454310e-01]
[-4.90459604e-02 1.19830016e-01 -2.62742788e-01 8.84369380e-01
-6.55503615e-02 1.92801728e-01 2.69908637e-03 -3.01024330e-01]]
没感觉,看不懂这个结果数据是怎么去进行分析的,先知道有这么个东西,后面再来补充
特征重要性
袋装决策树算法(Bagged Decision Tress)、随机森林算法和极端随机 树算法都可以用来计算数据特征的重要性。
这三个算法都是集成算法中的袋装算法,在后面的集成算法章节会有详细的介绍。下面给出一个使用ExtraTreesClassifier
类进行特征的重要性计算的例子。
代码如下:
import pandas as pd
from sklearn.ensemble import ExtraTreesClassifier
#数据预处理
path = 'D:\down\\archive\\diabetes.csv'
data = pd.read_csv(path)
#打印标签名称
print(data.columns[0:8])
#将数据转成数组
array = data.values
#分割数据,去掉最后一个标签
X = array[:, 0:8]
Y = array[:, 8]
model = ExtraTreesClassifier()
fit = model.fit(X, Y)
print(fit.feature_importances_)
运行结果:文章来源:https://www.toymoban.com/news/detail-625397.html
Index(['Pregnancies', 'Glucose', 'BloodPressure', 'SkinThickness', 'Insulin',
'BMI', 'DiabetesPedigreeFunction', 'Age'],
dtype='object')
[0.10886677 0.22739778 0.10066603 0.07878746 0.07515111 0.14619122
0.11598885 0.14695078]
执行后,我们可以看见算法给出了每一个数据特征的得分,从得分中我们可以分析 得分高的也是跟前面特征 血糖,BMI,年龄等文章来源地址https://www.toymoban.com/news/detail-625397.html
到了这里,关于机器学习06 数据准备-(利用 scikit-learn基于Pima Indian数据集作 数据特征选定)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!