先说一下提升树(Boosting Decision Tree)：通过拟合残差的思想来进行提升，残差 = 真实值 - 预测值，例如：
-
某人年龄为100岁，预测其年龄
-
第一次预测结果为80岁，残差为100-80=20
-
第二次预测以残差20为目标，预测结果为16岁，残差为4
-
第三次预测以残差4为目标，预测结果为3.2，残差为0.8
-
三次结果串联起来预测结果为80+16+3.2=99.2，通过拟合残差可以将多个弱学习器组成一个强学习器
梯度提升树(Gradient Boosting Decisen Tree)：梯度提升树不再拟合残差，而是采用类似于梯度下降的方法，利用损失函数的负梯度作为提升树算法中的残差近似值。一句话：把损失函数的负梯度作为下次预测的目标值，把同子树的均值作为预测值，相减作为负梯度。
假设：
-
前一轮迭代得到的强学习器：
-
-
-
损失函数为平方损失：
-
-
-
本轮迭代的目标是找到一个弱学习器：
-
-
-
本轮的强学习器为：
-
-
则本轮的损失函数为：
则要拟合的负梯度为：
注：如果GBDT进行的是分类问题，则损失函数变为对数损失。
算法推导案例
| x | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
|---|---|---|---|---|---|---|---|---|---|---|
| 目标值 | 5.56 | 5.70 | 5.91 | 6.40 | 6.80 | 7.05 | 8.90 | 8.70 | 9.00 | 9.05 |
1. 初始化弱学习器(CART树)：把预测值初始化为目标值的均值，可使第一个弱学习器的损失函数最小，证明如下：
，求平方误差最小，即对损失函数求导，导数为0时，函数最小
则 可令
由以上公式可得，当初始化为均值时，可以使损失函数最小
2. 构建第1个弱学习器，根据负梯度的计算方法得到下表
-
当以1.5为分割点，拟合负梯度为-1.75，-1.61，-1.4，-0.91，…，1.74
-
左子树均值为-1.75，右子树均值为( - 1.61 - 1.40 - 0.91 - 0.51 - 0.26 + 1.59 + 1.39 + 1.69 + 1.74 ) / 9=0.19
-
平方损失：左子树0+右子树(-1.61-0.19)2 + (-1.40-0.19)2 + (-0.91-0.19)2 + (-0.51-0.19)2 +(-0.26-0.19)2 +(1.59-0.19)2 + (1.39-0.19)2 + (1.69-0.19)2 + (1.74-0.19)2 =15.72308
-
-
以次把其它点作为分割点，并求损失函数
-
3. 构建第2个弱学习器，以3.5 作为切分点时，平方损失最小，此时得到第2棵决策树
文章来源：https://www.toymoban.com/news/detail-798743.html
API文章来源地址https://www.toymoban.com/news/detail-798743.html
# 1 初始化弱学习器（目标值的均值作为预测值）
# 2 迭代构建学习器，每一个学习器拟合上一个学习器的负梯度
# 3 直到达到指定的学习器个数
# 4 当输入未知样本时，将所有弱学习器的输出结果组合起来作为强学习器的输出
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import GridSearchCV, train_test_split
import pandas as pd
titanic_df = pd.read_csv('titanic/train.csv')
X = titanic_df[['Pclass','Age','Sex']]
y = titanic_df['Survived']
# 性别编码
X = pd.get_dummies(X)
# 年龄进行缺失值填充
X['Age'].fillna(X['Age'].mean(),inplace = True)
# 训练集测试集划分
X_train, X_test, y_train, y_test = train_test_split(X,y,stratify=y,random_state=66)
gboost_classifier = GradientBoostingClassifier()
parmas = {"n_estimators": [50,100,150], "max_depth": [2,3,5,8,10],'learning_rate':[0.1,0.3,0.5,0.7,0.9]}
# 交叉验证和网格搜索 寻找最优的超参数组合
gs_estimator = GridSearchCV(gboost_classifier,param_grid=parmas,cv=4)
gs_estimator.fit(X_train,y_train)到了这里，关于集成学习之GBDT算法详解的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
