sklearn-BoostingTree

机器学习; sklearn; boosting tree

创建时间:2019-12-05 17:15

阅读:

参数
属性
方法

[toc]
分类对应GradientBoostingClassifier类
回归对应GradientBoostingRegressor类

class skelarn.ensemble.GradientBoostingClassifier(n_estimators=100,learning_rate=0.1,subsample=1.0,max_features=None,loss='deviance',criterion='friedman_mse',max_depth=3,max_leaf_nodes=None,min_samples_split=2,min_samples_leaf=1,min_impurity_split=1e-07)

class skelarn.ensemble.GradientBoostingRegressor(n_estimators=100,learning_rate=0.1,subsample=1.0,max_features=None,loss='ls',criterion='friedman_mse',max_depth=3,max_leaf_nodes=None,min_samples_split=2,min_samples_leaf=1,min_impurity_split=1e-07)

参数

learning_rate基学习器权重衰减系数$\eta$
subsample选择对样本的采样程度，若小于1，则使用部分样本训练，0.5-0.8
max_features划分时考虑的最大特征数
loss损失函数
对于分类模型
deviance 对数似然损失函数
exponential 指数损失函数
对于回归模型
ls 标准差函数
lad 绝对损失函数
huber Huber损失函数样本噪声较大时的选择
quantile 分位数损失函数
criterion 特征选择标准
max-depth最大决策树深度，对模型影响很大
min_sampels_split内部节点进行再划分所需要最小样本数
min_samples_leaf 叶子节点最少样本数

属性

feature_importances_
estimators_存放训练好的基学习器情况，列表
loss_损失函数列表
train_score_各轮迭代后模型整体损失函数的值，列表

方法

apply(X)获取样本X中各个样本在集成模型各基学习器中叶子节点的位置信息，得到结果是一个矩阵
fit(X_train,y_train)
score(X_test,y_test)
predit(X)
predict_proba(X)预测集X属于各个类别的概率，回归树无该方法
predict_log_proba(X)数组各个元素是预测集X属于各个类别的对数概率，回归树无该方法

转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论，也可以邮件至 jaytp@qq.com