5分钟解析 XGBoost 算法

编辑：ShowMeAI编辑部

XGBoost Algorithm Explained in Less Than 5 Minutes5分钟解析 XGBoost 算法

https://medium.com/@techynilesh/xgboost-algorithm-explained-in-less-than-5-minutes-b561dcc1ccee

XGBoost 是许多数据科学家的首选算法，最初是由陈天奇开发，工作原理是将多个『弱学习器』组合成一个『强学习器』，通过训练许多决策树来工作——每棵树都在数据的一个子集上进行训练，然后将每棵树的预测组合起来形成最终的预测。

XGBoost 的设计目标是高效、灵活、便携，在分类、回归和排名等各种任务中的表现优于其他机器学习算法。作为对 GBM 算法的改进，XGBoost 使用的正则化模型有助于防止过拟合，也有许多可调整的参数能提高算法的性能：

• max_depth：决策树的最大深度
• eta：学习率
• gamma：进行拆分所需的最小损失减少
• subsample：用于训练每棵树的训练数据的一部分

推荐阅读
【2022新书】深度学习R语言实战，568页电子书
用数学和Python入门机器学习核方法 · 电子书
超全干货2万字全文！李航《统计学习方法》读书笔记
《机器学习算法与Python实战》：搭建机器学习开发环境