mlr3：嵌套重抽样

主要包括4个部分的内容，今天学习第二部分。

• 模型调优

• 调整超参数

• 方法一：通过`tuninginstancesinglecrite`和`tuner`训练模型

• 方法二：通过`autotuner`训练模型

• 超参数设定的方法

• 参数依赖

• 嵌套重抽样

• 进行嵌套重抽样

• 评价模型

• 把超参数应用于模型

• Hyperband调参

• 特征选择

• filters

• 计算分数

• 计算变量重要性

• 组合方法（wrapper methods）

• 自动选择

嵌套重抽样

既有外部重抽样，也有内部重抽样，彼此嵌套，可以很好的解决过拟合问题，得到更加稳定的模型。

对于概念不清楚的可以自行百度学习，就不在这里赘述了。

可使用下图帮助理解：

进行嵌套重抽样

内部使用4折交叉验证：

外部使用3折交叉验证：

这里演示的数据集比较小，大数据可以使用并行化技术，将在后面介绍。

评价模型

提取内部抽样的模型表现：

提取内部抽样的存档：

可以看到和上面的结果是不一样的哦，每一折都有5次迭代，这就和我们设置的参数有关系了。

查看外部重抽样的模型表现：

查看平均表现：

把超参数应用于模型

现在模型就可以应用于新的数据集了。

以上过程也是有简便写法的，但是需要注意，这里的mlr3tuning需要用github版的，cran版的还有bug，不知道修复了没：

这个rr1本质上和rr是一样的，

查看内部抽样表现：

提取归档资料：

查看模型表现：

“

注意，使用tune_nested()之后，并没有提供方法应用于新的数据集，在咨询开发者之后，得到的说法是：tune_nested()是一种评估算法在整个数据集中的表现的方法，不是用于挑选合适的超参数的方法。重抽样过程会产生很多超参数组合，不应该用于模型中。