Python 中用 XGBoost 和 scikit-learn 进行随机梯度增强

Python中文社区

共 10886字,需浏览 22分钟

 ·

2021-05-16 16:09

集成决策树的一种简单技术涉及在训练数据集的子样本上训练树。可以采用训练数据中行的子集来训练称为袋装的单个树。在计算每个分割点时,如果还使用了训练数据的行的子集,则这称为随机森林。这些技术也可以在称为随机梯度增强的技术中用于梯度树增强模型。
在本文中,您将发现随机梯度增强以及如何使用XGBoost和Python中的scikit-learn来调整采样参数。阅读这篇文章后,您将知道:
  • 在数据子样本上训练树的原理以及如何将其用于梯度增强。
  • 如何使用scikit-learn调整XGBoost中基于行的子采样。
  • 如何在XGBoost中按树和拆分点调整基于列的子采样。
随机梯度提升
梯度增强是一个贪婪的过程。将新的决策树添加到模型中,以更正现有模型的残差。使用贪婪搜索过程创建每个决策树,以选择最能最小化目标函数的分割点。这可能会导致树一次又一次使用相同的属性,甚至使用相同的分割点。
套袋是一种创建决策树集合的技术,每个决策树都来自训练数据中不同的随机行子集。效果是,由于样本的随机性允许创建略有不同的树木,因此从树的集合中获得了更好的性能,从而为集合的预测增加了方差。随机森林通过在选择分割点时对要素(列)进行二次采样,从而进一步扩大了这一步骤,从而进一步增加了树木的整体差异。这些相同的技术可以用于梯度提升中决策树的构建中,这种变化称为随机梯度提升。通常使用训练数据的激进子样本,例如40%到80%。
教程概述
在本教程中,我们将研究不同的二次采样技术在梯度增强中的作用。我们将调整Python的XGBoost库所支持的三种不同的随机梯度增强方式,特别是:
  • 创建每棵树时,对数据集中的行进行二次采样。
  • 创建每棵树时对数据集中的列进行二次采样。
  • 创建每个树时,数据集中每个拆分的列的子采样。
问题描述:Otto数据集
在本教程中,我们将使用“奥托集团产品分类挑战”数据集。该数据集可从Kaggle免费获得(您需要注册到Kaggle才能下载此数据集)。您可以从“数据”页面下载训练数据集train.csv.zip并将解压缩后的train.csv文件放入您的工作目录中。该数据集描述了61,000多种产品的93个混淆细节,这些产品分为10个产品类别(例如,时尚,电子产品等)。输入属性是某种不同事件的计数。目标是对新产品做出预测,将其作为10个类别中每一个类别的概率数组,并使用多类对数损失(也称为交叉熵)对模型进行评估。该竞赛已于2015年5月完成,并且由于示例数量不多,问题难度大,几乎不需要数据准备(除了将字符串类变量编码为整数)的事实,该数据集对于XGBoost还是一个很大的挑战。
在XGBoost中调整行二次采样
行二次抽样涉及选择训练数据集的随机样本而不进行替换。可以在subsample参数的XGBoost类的scikit-learn包装器中指定行子采样。默认值为1.0,该值不进行二次采样。我们可以使用scikit-learn中内置的网格搜索功能来评估从0.1到1.0的不同子样本值对Otto数据集的影响。
[0.10.20.30.40.50.60.70.81.0]
子样本有9个变体,每个模型将使用10倍交叉验证进行评估,这意味着需要训练和测试9×10或90个模型。
下面提供了完整的代码清单。
# XGBoost on Otto dataset, tune subsample
from pandas import read_csv
from xgboost import XGBClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import StratifiedKFold
from sklearn.preprocessing import LabelEncoder
import matplotlib
matplotlib.use('Agg')
from matplotlib import pyplot
# load data
data = read_csv('train.csv')
dataset = data.values
# split data into X and y
X = dataset[:,0:94]
y = dataset[:,94]
# encode string class values as integers
label_encoded_y = LabelEncoder().fit_transform(y)
# grid search
model = XGBClassifier()
subsample = [0.10.20.30.40.50.60.70.81.0]
param_grid = dict(subsample=subsample)
kfold = StratifiedKFold(n_splits=10, shuffle=True, random_state=7)
grid_search = GridSearchCV(model, param_grid, scoring="neg_log_loss", n_jobs=-1, cv=kfold)
grid_result = grid_search.fit(X, label_encoded_y)
# summarize results
print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))
means = grid_result.cv_results_['mean_test_score']
stds = grid_result.cv_results_['std_test_score']
params = grid_result.cv_results_['params']
for mean, stdev, param in zip(means, stds, params):
 print("%f (%f) with: %r" % (mean, stdev, param))
# plot
pyplot.errorbar(subsample, means, yerr=stds)
pyplot.title("XGBoost subsample vs Log Loss")
pyplot.xlabel('subsample')
pyplot.ylabel('Log Loss')
pyplot.savefig('subsample.png')
运行此示例将打印最佳配置以及每个测试配置的日志丢失。
注意:由于算法或评估程序的随机性,或者数值精度的差异,您的结果可能会有所不同。考虑运行该示例几次并比较平均结果。
我们可以看到,获得的最佳结果是0.3,或者使用30%的训练数据集样本训练树。
Best: -0.000647 using {'subsample'0.3}
-0.001156 (0.000286with: {'subsample'0.1}
-0.000765 (0.000430with: {'subsample'0.2}
-0.000647 (0.000471with: {'subsample'0.3}
-0.000659 (0.000635with: {'subsample'0.4}
-0.000717 (0.000849with: {'subsample'0.5}
-0.000773 (0.000998with: {'subsample'0.6}
-0.000877 (0.001179with: {'subsample'0.7}
-0.001007 (0.001371with: {'subsample'0.8}
-0.001239 (0.001730with: {'subsample'1.0}
我们可以绘制这些均值和标准偏差对数损失值,以更好地了解性能如何随子样本值变化。
我们可以看到确实有30%的人具有最佳的平均表现,但是我们也可以看到,随着比率的增加,表现的差异会明显增加。有趣的是,所有子样本值的平均性能都优于不进行子抽样的平均性能(子样本= 1.0)。
在XGBoost中按树调整列二次采样
我们还可以在增强模型中创建每个决策树之前,创建要使用的特征(或列)的随机样本。在scikit-learn的XGBoost包装器中,这由colsample_bytree参数控制。默认值为1.0,表示在每个决策树中使用所有列。我们可以在0.1到1.0之间评估colsample_bytree的值,以0.1为增量。
[0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 1.0]
完整实例如下:
# XGBoost on Otto dataset, tune colsample_bytree
from pandas import read_csv
from xgboost import XGBClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import StratifiedKFold
from sklearn.preprocessing import LabelEncoder
import matplotlib
matplotlib.use('Agg')
from matplotlib import pyplot
# load data
data = read_csv('train.csv')
dataset = data.values
# split data into X and y
X = dataset[:,0:94]
y = dataset[:,94]
# encode string class values as integers
label_encoded_y = LabelEncoder().fit_transform(y)
# grid search
model = XGBClassifier()
colsample_bytree = [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 1.0]
param_grid = dict(colsample_bytree=colsample_bytree)
kfold = StratifiedKFold(n_splits=10, shuffle=True, random_state=7)
grid_search = GridSearchCV(model, param_grid, scoring="neg_log_loss", n_jobs=-1, cv=kfold)
grid_result = grid_search.fit(X, label_encoded_y)
# summarize results
print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))
means = grid_result.cv_results_['mean_test_score']
stds = grid_result.cv_results_['std_test_score']
params = grid_result.cv_results_['params']
for mean, stdev, param in zip(means, stds, params):
 print("%f (%f) with: %r" % (mean, stdev, param))
# plot
pyplot.errorbar(colsample_bytree, means, yerr=stds)
pyplot.title("XGBoost colsample_bytree vs Log Loss")
pyplot.xlabel('colsample_bytree')
pyplot.ylabel('Log Loss')
pyplot.savefig('colsample_bytree.png')
运行此示例将打印最佳配置以及每个测试配置的日志丢失。
注意:由于算法或评估程序的随机性,或数值精度的差异,您的结果可能会有所不同。
我们可以看到,模型的最佳性能是colsample_bytree = 1.0。这表明该问题进行二次采样不会增加价值。
Best: -0.001239 using {'colsample_bytree'1.0}
-0.298955 (0.002177with: {'colsample_bytree'0.1}
-0.092441 (0.000798with: {'colsample_bytree'0.2}
-0.029993 (0.000459with: {'colsample_bytree'0.3}
-0.010435 (0.000669with: {'colsample_bytree'0.4}
-0.004176 (0.000916with: {'colsample_bytree'0.5}
-0.002614 (0.001062with: {'colsample_bytree'0.6}
-0.001694 (0.001221with: {'colsample_bytree'0.7}
-0.001306 (0.001435with: {'colsample_bytree'0.8}
-0.001239 (0.001730with: {'colsample_bytree'1.0}
绘制结果,我们可以看到模型平稳段的性能(至少在此比例下),值为0.5到1.0。
通过拆分在XGBoost中调整列二次采样
不必为每个树对列进行一次子采样,我们可以在决策树的每个拆分中对它们进行子采样。原则上,这是随机森林中使用的方法。我们可以在scikit-learn的XGBoost包装器类的colsample_bylevel参数中设置每个拆分所使用的列样本的大小。和以前一样,我们将比率从10%更改为默认值100%。
下面提供了完整的代码清单。
# XGBoost on Otto dataset, tune colsample_bylevel
from pandas import read_csv
from xgboost import XGBClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import StratifiedKFold
from sklearn.preprocessing import LabelEncoder
import matplotlib
matplotlib.use('Agg')
from matplotlib import pyplot
# load data
data = read_csv('train.csv')
dataset = data.values
# split data into X and y
X = dataset[:,0:94]
y = dataset[:,94]
# encode string class values as integers
label_encoded_y = LabelEncoder().fit_transform(y)
# grid search
model = XGBClassifier()
colsample_bylevel = [0.10.20.30.40.50.60.70.81.0]
param_grid = dict(colsample_bylevel=colsample_bylevel)
kfold = StratifiedKFold(n_splits=10, shuffle=True, random_state=7)
grid_search = GridSearchCV(model, param_grid, scoring="neg_log_loss", n_jobs=-1, cv=kfold)
grid_result = grid_search.fit(X, label_encoded_y)
# summarize results
print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))
means = grid_result.cv_results_['mean_test_score']
stds = grid_result.cv_results_['std_test_score']
params = grid_result.cv_results_['params']
for mean, stdev, param in zip(means, stds, params):
 print("%f (%f) with: %r" % (mean, stdev, param))
# plot
pyplot.errorbar(colsample_bylevel, means, yerr=stds)
pyplot.title("XGBoost colsample_bylevel vs Log Loss")
pyplot.xlabel('colsample_bylevel')
pyplot.ylabel('Log Loss')
pyplot.savefig('colsample_bylevel.png')
运行此示例将打印最佳配置以及每个测试配置的日志丢失。
注意:由于算法或评估程序的随机性,或者数值精度的差异,您的结果可能会有所不同。考虑运行该示例几次并比较平均结果。
我们可以看到,通过将colsample_bylevel设置为70%可获得最佳结果,导致(倒置)对数损失为-0.001062,这比将每棵树的列采样设置为100%时看到的-0.001239好。
如果每棵树的结果建议使用100%的列,则建议不要放弃列二次采样,而应尝试按拆分的列二次采样。
Best: -0.001062 using {'colsample_bylevel'0.7}
-0.159455 (0.007028with: {'colsample_bylevel'0.1}
-0.034391 (0.003533with: {'colsample_bylevel'0.2}
-0.007619 (0.000451with: {'colsample_bylevel'0.3}
-0.002982 (0.000726with: {'colsample_bylevel'0.4}
-0.001410 (0.000946with: {'colsample_bylevel'0.5}
-0.001182 (0.001144with: {'colsample_bylevel'0.6}
-0.001062 (0.001221with: {'colsample_bylevel'0.7}
-0.001071 (0.001427with: {'colsample_bylevel'0.8}
-0.001239 (0.001730with: {'colsample_bylevel'1.0}
我们可以绘制每个colsample_bylevel变化的性能。结果表明,在此比例下的值为0.3后,方差相对较低,并且性能似乎处于平稳状态。


者:沂水寒城,CSDN博客专家,个人研究方向:机器学习、深度学习、NLP、CV

Blog: http://yishuihancheng.blog.csdn.net


赞 赏 作 者



更多阅读



用 XGBoost 进行时间序列预测


5分钟掌握 Python 随机爬山算法


5分钟完全读懂关联规则挖掘算法

特别推荐




点击下方阅读原文加入社区会员

浏览 29
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报