特征选择
为什么要进行特征选择?
特征过多导致过拟合、有一些特征是噪音。
特征选择技术:
1、 尝试所有组合:也是全局最优
2、贪心算法:每次决策都是基于当前情况去寻找最优解。计算过程:把特征加进去→是否更优?→是:加入模型/否:淘汰
3、L1正则:目标函数为损失函数;特点:具有稀疏性
4、决策树:节点代表每个特征选择。优点:便于处理高维数据
5、相关性计算:一种脱离模型内部结构而直接分析特征\(x_i\)和标签y的相关性的方法。主要是计算向量相似度的方法。
总结:都是对比了各个特征的优劣,如何计算优劣的方法不同。
L1正则化
次梯度下降
L1正则特征选择问题
弹性网络回归
1、计算上:
(1)相关性:计算\(x_i、y_i\),扔掉差的
(2)主成分:只计算\(x_i\)
问题:
(1) 为什么信息熵这么计算?
信息熵在神经网络里面也叫交叉熵,所有二分类问题都是这么算的。交叉熵在预测对的时候p为0/1,如果是0.5那么是不对的。
(2) 贪心算法为什么降低了复杂度?
假设使用贪心算法,有ABCDE五个选项,并两两组合。第一次先选D做组合,即DA、DB、DC、DE,下一次再选C做组合,这时候只用考虑CA、CB、CE,不用考虑CD,以此类推。
(3) L1正则化有什么缺点?
有一些点被扔掉了,而且是随机扔掉的。我们希望挑一个全局最好的扔掉,但是它是挑一个局部最好的扔掉。
决策树
决策树的定义
决策树的分类:
1、分类决策树 / 回归决策树
2、二叉树 / 多叉树
决策树算法:
CART算法只能构建二叉树,其他算法可以构建多叉树
有些只可以做回归或者分类
一颗决策树对应的决策边界:
需要学习:1.树的形状 2. 每一个决策的阈值\(\theta_1\) 3. 叶节点的值
好的特征特点:
分类后不确定性变小
不确定性——信息熵
事情发生的概率很低:信息熵很高
事情发生的概率很高:信息熵很低
log取2信息量是比特,取1是奈特
决策树:原来的不确定性(划分前的)-分割后的不确定性(划分后的)=不确定性的减小(信息熵-条件熵=信息增益)
信息增益最大的作为根节点:\(f_2>f_1\),所以\(f_2\)作为根节点
问题:
(1)决策树的根节点和叶节点代表什么?
根节点:输入方向;叶节点:判别指标,就是分为哪一类。也就是说,根节点是指标,最后那个叶节点是标签。根节点是输入,叶节点是输出。
(2)决策树的作用
决策树的作用:分类和回归。注意:三种树只有CART才能做回归。
(3)决策树的决策边界和线性回归的边界有什么区别?
之前线性回归边界都是二分类,现在决策边界可以包含多分类,可以有多个区域。
(4)信息熵为什么取对数?
避免他们之间的差距过大,比如一个概率是log0.01,另一个是log0.09。
上面0.01次方和0.02次方差距会很明显,混乱程度会加剧,从而更容易做决策。
数据处理取对数:核心是为了差距变得更大(0-1之间)或更小(1以上)
(5)信息熵是做什么的?
信息熵就是在算平均信息量。
构建决策树
问题:
(1)特征一样、标签不一样的数据要不要删除?
这种数据不能删,因为这种数据会提供一定的不确定性,如果删掉信息熵会一下子降低,会导致结果变得很差。
(2)决策树中唯一路径是什么?
给一条路径,可以一条路走到底的。
(3)什么是深度?
做几次判断,深度就有多少。最大的判断值为树的深度。
(4)什么时候不用继续分类?
一条路走到底,都是F或者都是N,就可以不用继续分类。
(5)同一个样本,结果既是F也是N,这是什么情况?
同个标签但又F和N,这条样本是在决策边界上,这类数据的作用是告诉你什么地方是决策边界。这类样本是不能删除的。
决策树性能
决策树性能:提升性能——防止过拟合,越简单越好
如何避免决策树的过拟合?
最大深度对模型准确率的影响
问题:
(1)决策树过拟合有哪些原因?
-
数据不行:有用的特征都没有,如学习成绩和他平时吃什么。
-
特征样本里出现噪声
-
某个地方信息熵有错误,随着迭代错误越来越放大
解决方法:
-
剪枝(修改一些叶节点)
-
设置最大深度
-
集成学习
(2)多重比较是什么?
每次进行比较的时候都会出现错误,树的深度一旦大了,会涉及到一个过多的比较过程,错误会越来越多,误差也会随之累加起来,变得越来越大。
回归树如何构建
回归问题中量化不确定性:标准差(分类是信息熵)
问题:
(1)回归树和分类树的区别?
计算方法:回归树选择根节点是用标准差来选,分类树是信息熵去选。条件熵是差不多的
(2)回归树中如何确定标签?
决策树分裂完是同一个标签,是或者否。而回归树是有一个阈值的,就是标准差小于某个数字,那么分类就结束了。文章来源:https://www.toymoban.com/news/detail-479100.html
文章来源地址https://www.toymoban.com/news/detail-479100.html
到了这里,关于决策树(实验室会议小记)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!