最新版学习笔记---Python机器学习基础教程（7）决策树集成---附完整代码
决策树集成
该系列⽂章我本⼈学习时所写，将书中代码补全，也⽅便以后回来复习。
集成（ensemble）是合并多个机器学习模型来构建更强⼤模型的⽅法。在机器学习⽂献中有许多模型都属于这⼀类，但已证明有两种集成模型对⼤量分类和回归的数据集都是有效的，⼆者都以决策树为基础，分别是随机森林（random forest）和梯度提升决策树（gradient boosted decision tree）。
1.随机森林
我在上⼀篇⽂章写过，决策树的⼀个主要缺点在于经常对训练数据过拟合。
代码生成器网页版
随机森林是解决这个问题的⼀种⽅法。
随机森林本质上是许多决策树的集合，其中每棵树都和其他树略有不同。
随机森林背后的思想是，每棵树的预测可能都相对较好，但可能对部分数据过拟合。如果构造很多树，并且每棵树的预测都很好，但都以不同的⽅式过拟合，那么我们可以对这些树的结果取平均值来降低过拟合。既能减少过拟合⼜能保持树的预测能⼒，这可以在数学上严格证明。
a标签的href属性为了实现这⼀策略，我们需要构造许多决策树。每棵树都应该对⽬标值做出可以接受的预测，还应该与其他树不同。随机森林的名字来⾃于将随机性添加到树的构造过程中，以确保每棵树都各不相同。随机森林中树的随机化⽅法有两种：
⼀种是通过选择⽤于构造树的数据点
⼀种是通过选择每次划分测试的特征。我们来更深⼊地研究这⼀过程。
1.1随机森林的构造
想要构造⼀个随机森林模型，你需要确定⽤于构造的树的个数（ RandomForestRegressor 或 RandomForestClassifier 的
n_estimators 参数）。⽐如我们想要构造 10 棵树。这些树在构造时彼此完全独⽴，算法对每棵树进⾏不同的随机选择，以确保树和树之间是有区别的。想要构造⼀棵树，⾸先要对数据进⾏⾃助采样（bootstrap sample）。也就是说，从 n_samples 个数据点中有放回地（即同⼀样本可以被多次抽取）重复随机抽取⼀个样本，共抽取n_samples 次。这样会创建⼀个与原数据集⼤⼩相同的数据集，但有些数据点会缺失（⼤约三分之⼀），有些会重复。
举例说明，⽐如我们想要创建列表 [‘a’, ‘b’, ‘c’, ‘d’] 的⾃助采样。⼀种可能的⾃主采样是 [‘b’, ‘d’, ‘d’, ‘c’] ，
另⼀种可能的采样为 [‘d’, ‘a’, ‘d’, ‘a’] 。
接下来，基于这个新创建的数据集来构造决策树。但是，要对我们在介绍决策树时描述的算法稍作修改。在每个结点处，算法随机选择特征的⼀个⼦集，并对其中⼀个特征寻最佳测试，⽽不是对每个结点都寻最佳测试。选择的特征个数由 max_features 参数来控制。每个结点中特征⼦集的选择是相互独⽴的，这样树的每个结点可以使⽤特征的不同⼦集来做出决策。
由于使⽤了⾃助采样，随机森林中构造每棵决策树的数据集都是略有不同的。由于每个结点的特征选择，每棵树中的每次划分都是基于特征的不同⼦集。这两种⽅法共同保证随机森林中所有树都不相同。
在这个过程中的⼀个关键参数是 max_features 。如果我们设置 max_features 等于n_features ，那么每次划分都要考虑数据集的所有特征，在特征选择的过程中没有添加随机性（不过⾃助采样依然存在随机性）。如果设置 max_features 等于 1 ，那么在划分时将⽆法选择对哪个特征进⾏测试，只能对随机选择的某个特征搜索不同的阈值。因此，如果 max_features 较⼤，那么随机森林中的树将会⼗分相似，利⽤最独特的特征可以轻松拟合数据。如果 max_features 较⼩，那么随机森林中的树将会差异很⼤，为了很好地拟合数据，每棵树的深度都要很⼤。
想要利⽤随机森林进⾏预测，算法⾸先对森林中的每棵树进⾏预测。
对于回归问题，我们可以对这些结果取平均值作为最终预测
对于分类问题，则⽤到了“软投票”（soft voting）策略，也就是说，每个算法做出“软”预测，给出每个可能的输出标签的概率。
对所有树的预测概率取平均值，然后将概率最⼤的类别作为预测结果
1.2随机森林的分析
下⾯将由 5 棵树组成的随机森林应⽤到前⾯研究过的 two_moons 数据集上，运⾏代码如下：
semble import RandomForestClassifier
from sklearn.datasets import make_moons
del_selection import train_test_split
import matplotlib.pyplot as plt
import mglearn
X,y = make_moons(n_samples=100, noise=0.25, random_state=3)
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=42)
forest = RandomForestClassifier(n_estimators=5, random_state=2)
forest.fit(X_train, y_train)
fig, axes = plt.subplots(2,3, figsize=(20,10))
for i,(ax, tree)in enumerate(zip(axes.ravel(), forest.estimators_)):
ax.set_title("Tree {}".format(i))
mglearn.plots.plot_tree_partition(X_train, y_train, tree, ax=ax)
mglearn.plots.plot_2d_separator(forest, X_train, fill=True, ax=axes[-1,-1], alpha=.4)
axes[-1,-1].set_title("Random Forest")
mglearn.discrete_scatter(X_train[:,0], X_train[:,1], y_train)
plt.show()
效果图：
我们可以清楚地看到，这 5 棵树学到的决策边界⼤不相同。每棵树都犯了⼀些错误，因为这⾥画出的⼀些训练点实际上并没有包含在这些树的训练集中，原因在于⾃助采样。
随机森林⽐单独每⼀棵树的过拟合都要⼩，给出的决策边界也更符合直觉。在任何实际应⽤中，我们会⽤到更多棵树（通常是⼏百或上千），从⽽得到更平滑的边界。
再举⼀个例⼦，我们将包含 100 棵树的随机森林应⽤在乳腺癌数据集上，运⾏代码如下：
from sklearn.datasets import load_breast_cancer
semble import RandomForestClassifier
del_selection import train_test_split
cancer = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(cancer.data, cancer.target,
random_state=0)
forest = RandomForestClassifier(n_estimators=100, random_state=0)
forest.fit(X_train, y_train)
print("Accuracy on training set: {:.3f}".format(forest.score(X_train, y_train)))
print("Accuracy on test set: {:.3f}".format(forest.score(X_test, y_test)))
输出：
Accuracy on training set:1.000
Accuracy on test set:0.972
在没有调节任何参数的情况下，随机森林的精度为 97%，⽐线性模型或单棵决策树都要好。我们可以调节 max_features 参数，或者像单棵决策树那样进⾏预剪枝。但是，随机森林的默认参数通常就已经可以给出很好的结果。
与决策树类似，随机森林也可以给出特征重要性，计算⽅法是将森林中所有树的特征重要性求和并取平均。⼀般来说，随机森林给出的特征重要性要⽐单棵树给出的更为可靠。
下⾯我们绘制⼀下上⾯得到的随机森林的特征重要性，运⾏代码如下：
from sklearn.datasets import load_breast_cancer
semble import RandomForestClassifier
del_selection import train_test_split
import matplotlib.pyplot as plt
import numpy as np
cancer = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(cancer.data, cancer.target,
random_state=0)
forest = RandomForestClassifier(n_estimators=100, random_state=0)
forest.fit(X_train, y_train)
def plot_feature_importance_cancer(model):
n_features = cancer.data.shape[1]
plt.barh(range(n_features), model.feature_importances_, align='center')
plt.xlabel("Feature importance")
plt.ylabel("Feature")
plt.show()
plot_feature_importance_cancer(forest)
效果图：
如图，如你所见，与单棵树相⽐，随机森林中有更多特征的重要性不为零。与单棵决策树类似，随机森林也给了“worst radius”（最⼤半径）特征很⼤的重要性，但从总体来看，它实际上却选择“worst perimeter”（最⼤周长）作为信息量最⼤的特征。由于构造随机森林过程中的随机性，算法需要考虑多种可能的解释，结果就是随机森林⽐单棵树更能从总体把握数据的特征。
1.3随机森林的优点、缺点和参数
⽤于回归和分类的随机森林是⽬前应⽤最⼴泛的机器学习⽅法之⼀。
这种⽅法⾮常强⼤，通常不需要反复调节参数就可以给出很好的结果，也不需要对数据进⾏缩放。
从本质上看，随机森林拥有决策树的所有优点，同时弥补了决策树的⼀些缺陷。仍然使⽤决策树的⼀个原因是需要决策过程的紧凑表⽰。基本上不可能对⼏⼗棵甚⾄上百棵树做出详细解释，随机森林中树的深度往往⽐决策树还要⼤（因为⽤到了特征⼦集）。因此，如果你需要以可视化的⽅式向⾮专家总结预测过程，那么选择单棵决策树可能更好。虽然在⼤型数据集上构建随机森林可能⽐较费时间，但在⼀台计算机的多个 CPU 内核上并⾏计算也很容易。如果你⽤的是多核处理器（⼏乎所有的现代化计算机都是），你可以⽤n_jobs 参数来调节使⽤的内核个数。使⽤更多的 CPU 内核，可以让速度线性增加（使⽤ 2 个内核，随机森林的训练速度会加倍），但设置 n_jobs ⼤于内核个数是没有⽤的。你可以设置 n_jobs=-1 来使⽤计算机的所有内核。你应该记住，随机森林本质上是随机的，设置不同的
随机状态（或者不设置 random_state参数）可以彻底改变构建的模型。森林中的树越多，它对随机状态选择的鲁棒性就越好。如果你希望结果可以重现，固定 random_state 是很重要的。
对于维度⾮常⾼的稀疏数据（⽐如⽂本数据），随机森林的表现往往不是很好。对于这种数据，使⽤线性模型可能更合适。即使是⾮常⼤的数据集，随机森林的表现通常也很好，训练过程很容易并⾏在功能强⼤的计算机的多个 CPU 内核上。不过，随机森林需要更⼤的内存，训练和预测的速度也⽐线性模型要慢。对⼀个应⽤来说，如果时间和内存很重要的话，那么换⽤线性模型可能更为明智。需要调节的重要参数有 n_estimators 和 max_features ，可能还包括预剪枝选项（如 max_depth ）。 n_estimators 总是越⼤越好。对更多的树取平均可以降低过拟合，从⽽得到鲁棒性更好的集成。不过收益是递减的，⽽且树越多需要的内存也越多，训练时间也越长。
常⽤的经验法则就是“在你的时间 / 内存允许的情况下尽量多”。
前⽂说过， max_features 决定每棵树的随机性⼤⼩，较⼩的 max_features 可以降低过拟合。⼀般来说，好的经验就是使⽤默认值：对于分类，默认值是 max_features=sqrt(n_features) ；对于回归，默认值是 max_features=n_features 。增⼤
max_features 或 max_leaf_nodes 有时也可以提⾼性能。它还可以⼤⼤降低⽤于训练和预测的时间和空间要求。
2.梯度提升回归树（梯度提升机）
梯度提升回归树是另⼀种集成⽅法，通过合并多个决策树来构建⼀个更为强⼤的模型。虽然名字中含有“回归”，但这个模型既可以⽤于回归也可以⽤于分类。与随机森林⽅法不同，梯度提升采⽤连续的⽅式构造树，每棵树都试图纠正前⼀棵树的错误。默认情况下，梯度提升回归树中没有随机化，⽽是⽤到了强预剪枝。梯度提升树通常使⽤深度很⼩（1 到 5 之间）的树，这样模型占⽤的内存更少，预测速度也更快。
梯度提升背后的主要思想是合并许多简单的模型（在这个语境中叫作弱学习器），⽐如深度较⼩的树。每棵树只能对部分数据做出好的预测，因此，添加的树越来越多，可以不断迭代提⾼性能。
梯度提升树经常是机器学习竞赛的优胜者，并且⼴泛应⽤于业界。与随机森林相⽐，它通常对参数设置更为敏感，但如果参数设置正确的话，模型精度更⾼。
除了预剪枝与集成中树的数量之外，梯度提升的另⼀个重要参数是 learning_rate （学习率），⽤于控制每棵树纠正前⼀棵树的错误的强度。较⾼的学习率意味着每棵树都可以做出较强的修正，这样模型更为复杂。通过增⼤ n_estimators 来向集成中添加更多树，也可以增加模型复杂度，因为模型有更多机会纠正训练集上的错误。
二郎神有哪些故事下⾯是在乳腺癌数据集上应⽤ GradientBoostingClassifier 的⽰例。默认使⽤ 100 棵树，最⼤深度是 3，学习率为 0.1，运⾏代码如下：
semble import GradientBoostingClassifier
del_selection import train_test_split
from sklearn.datasets import load_breast_cancer
cancer = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(cancer.data, cancer.target,
random_state=0)
gbrt = GradientBoostingClassifier(random_state=0)stripos
gbrt.fit(X_train, y_train)
print("Accuracy on training set: {:.3f}".format(gbrt.score(X_train, y_train)))
print("Accuracy on test set: {:.3f}".format(gbrt.score(X_test, y_test)))
输出：
Accuracy on training set:1.000
Accuracy on test set:0.965
由于训练集精度达到 100%，所以很可能存在过拟合。为了降低过拟合，我们可以限制最⼤深度来加强预剪枝，也可以降低学习率：
gbrt = GradientBoostingClassifier(random_state=0, max_depth=1)#决策树深度为1
gbrt.fit(X_train,y_train)
print("Accuracy on training set: {:.3f}".format(gbrt.score(X_train, y_train)))
print("Accuracy on test set: {:.3f}".format(gbrt.score(X_test, y_test)))
输出：
Accuracy on training set:0.991
Accuracy on test set:0.972
运⾏代码：
gbrt = GradientBoostingClassifier(random_state=0, learning_rate=0.01)
gbrt.fit(X_train, y_train)
python基础教程书在线阅读print("Accuracy on training set: {:.3f}".format(gbrt.score(X_train, y_train)))
print("Accuracy on test set: {:.3f}".format(gbrt.score(X_test, y_test)))
直方图均衡化处理输出：
Accuracy on training set:0.988
Accuracy on test set:0.965
降低模型复杂度的两种⽅法都降低了训练集精度，这和预期相同。在这个例⼦中，减⼩树的最⼤深度显著提升了模型性能，⽽降低学习率仅稍稍提⾼了泛化性能。
对于其他基于决策树的模型，我们也可以将特征重要性可视化，以便更好地理解模型。由于我们⽤到了 100 棵树，所以即使所有树的深度都是 1，查看所有树也是不现实的，运⾏代码如下：
semble import GradientBoostingClassifier
del_selection import train_test_split
from sklearn.datasets import load_breast_cancer
import matplotlib.pyplot as plt
import numpy as np
cancer = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(cancer.data, cancer.target,
random_state=0)
gbrt = GradientBoostingClassifier(random_state=0, max_depth=1)
gbrt.fit(X_train, y_train)
def plot_feature_importance_cancer(model):
n_features = cancer.data.shape[1]
plt.barh(range(n_features), model.feature_importances_, align='center')
plt.xlabel("Feature importance")
plt.ylabel("Feature")
plt.show()
plot_feature_importance_cancer(gbrt)

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。