net.add_module("conv1",nn.Conv2d(in_channels=1,out_channels=config.hidden_layer_width,kernel_size

公众号后台回复关键字：源码。获取本文全部源代码。一，xgboost和GBDTxgboost是一种集成学习算法，属于3类常用的集成方法(bagging,boosting,stacking)中的boosting算法类别。它是一个加法模型，基模型一般选择树模型，但也可以选择其它类型的模型如逻辑回归等。xgboost属于梯度提升树(GBDT)模型这个范畴，GBDT的基本想法是让新的基模型（GBDT以CART分类回归树为基模型）去拟合前面模型的偏差，从而不断将加法模型的偏差降低。相比于经典的GBDT，xgboost做了一些改进，从而在效果和性能上有明显的提升（划重点面试常考）。第一，GBDT将目标函数泰勒展开到一阶，而xgboost将目标函数泰勒展开到了二阶。保留了更多有关目标函数的信息，对提升效果有帮助。第二，GBDT是给新的基模型寻找新的拟合标签（前面加法模型的负梯度），而xgboost是给新的基模型寻找新的目标函数（目标函数关于新的基模型的二阶泰勒展开）。第三，xgboost加入了和叶子权重的L2正则化项，因而有利于模型获得更低的方差。第四，xgboost增加了自动处理缺失值特征的策略。通过把带缺失值样本分别划分到左子树或者右子树，比较两种方案下目标函数的优劣，从而自动对有缺失值的样本进行划分，无需对缺失特征进行填充预处理。此外，xgboost还支持候选分位点切割，特征并行等，可以提升性能。二，xgboost基本原理下面从假设空间，目标函数，优化算法3个角度对xgboost的原理进行概括性的介绍。1，假设空间2，目标函数3，优化算法基本思想：贪心法，逐棵树进行学习，每棵树拟合之前模型的偏差。三，第t棵树学什么？要完成构建xgboost模型，我们需要确定以下一些事情。1，如何boost?

results)#================================================================================#

同样是处理分类问题时，在决定选择哪个特征进行决策树的分裂时，3个模型使用不同的判断标准。ID3算法以信息增益作为标准，C4.5算法以信息增益率作为标准，而CART算法以基尼不纯度增益作为标准。

xgboost采用特征并行的方法进行计算选择要分裂的特征，即用多个线程，尝试把各个特征都作为分裂的特征，找到各个特征的最优分割点，计算根据它们分裂后产生的增益，选择增益最大的那个特征作为分裂的特征。