说明：这是一个机器学习实战项目（附带数据+代码+文档+视频讲解），如需数据+代码+文档+视频讲解可以直接到文章最后获取。
1.项目背景
GBDT是Gradient Boosting Decision Tree（梯度提升树）的缩写。GBDT分类又是建立在回归树的基础上的。
本项目应用GBDT算法实现多分类模型。
2.数据获取
本次建模数据来源于网络(本项目撰写人整理而成)，数据项统计如下：
数据详情如下(部分展示)：
3.数据预处理
3.1 用Pandas工具查看数据
使用Pandas工具的head()方法查看前五行数据：
关键代码：
3.2数据缺失查看
使用Pandas工具的info()方法查看数据信息：
从上图可以看到，总共有9个变量，数据中无缺失值，共2000条数据。
关键代码：
3.3数据描述性统计
通过Pandas工具的describe()方法来查看数据的平均值、标准差、最小值、分位数、最大值。
关键代码如下：
4.探索性数据分析
4.1 y分类变量柱状图
用Matplotlib工具的plot()方法绘制柱状图：
从上图可以看出，y变量为0 1 2类型的样本数量基本一致。
4.2 y变量类型为0 x1变量分布直方图
用Pandas工具的hist()方法绘制柱状图：
从上图可以看到，分类类型为0的x1变量主要集中在0.5~2.0之间。
4.3 数据相关性分析
数据越大相关性越强，正值是正相关 负值是负相关。上图可以看到x3 x4 x6 x7和y是正相关；x1 x2 x5 x8和y是负相关。
5.特征工程
5.1 建立特征数据和标签数据
关键代码如下：
5.2 数据集拆分
通过train_test_split()方法按照80%训练集、20%测试集进行划分，关键代码如下：
6.构建GBDT分类模型
主要使用GradientBoostingClassifier算法，用于目标分类。
6.1默认参数模型构建
6.2 模型调优：应用网格搜索寻找最优参数值
针对模型中的两个参数n_estimators和learning_rate，通过网格搜索算法寻找最优的参数值，如下图所示：
6.3 最优参数模型构建
7. 模型评估
7.1 评估指标及结果
评估指标主要包括准确率、查准率、查全率(召回率)、F1分值等等。
通过上表可以看到，模型的准确率为91.75%,F1分值为0.9171，和默认相比相比，准确率和F1分值有一点的增加。
7.2 查看是否过拟合
从上图可以看出，训练集和测试集分值相当，无过拟合现象。
7.3 分类报告
从上图可以看出，分类为0的F1分值为0.90；分类为1的F1分值为0.90；分类为2的F1分值为0.94。
7.4 混淆矩阵
从上图可以看出，实际为0预测不为0的 有7个样本；实际为1 预测不为1的 有13个样本，；实际为2 预测不为2的 有13个样本，在可接受的范围内。
7.5 特征重要性
从上图可以看出，特征重要性排名前三的为x1 x8 x3。文章来源：https://www.toymoban.com/news/detail-649365.html
8.结论与展望
综上所述，本文采用了GBDT分类模型，最终证明了我们提出的模型效果良好。文章来源地址https://www.toymoban.com/news/detail-649365.html
# 本次机器学习项目实战所需的资料，项目资源如下： 链接：https://pan.baidu.com/s/1I5zKel1xbX6ainhu17W7JQ 提取码：5qnb # 用Pandas工具查看数据 print('*******************查看数据*********************') print(data.head()) # 数据缺失值统计 print('********************数据缺失值统计********************') print(data.info()) # 数据描述性统计分析 # 设置显示格式 pd.set_option('display.max_columns', None) # 显示所有字段 print('******************数据描述性统计分析**********************') print(data.describe().round(4)) # 保留4位小数点 import matplotlib.pyplot as plt # y变量分类柱状图 plt.rcParams['font.sans-serif'] = ['SimHei'] # 指定默认字体 plt.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题 # kind='bar' 绘制柱状图
到了这里，关于Python实现GBDT(梯度提升树)分类模型(GradientBoostingClassifier算法)并应用网格搜索算法寻找最优参数项目实战的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
