逐步 拟合回归模型线性回归的方法和公式

请选择您所选的方法或公式。

逐步法

通过在基于 F 检验的现有模型中添加或删除预测变量,执行变量选择。逐步法是向前选择法与向后消元法程序的组合。如果初始模型使用所有的自由度,则逐步选择操作不会继续。

要删除的变量

Minitab 针对模型中的每个变量计算 F 统计量和 p 值。如果模型包含 j 个变量,那么 F 表示任意变量 xr,公式如下:

表示法

说明
SSE(jXr ) 不包含 xr 的模型的 SS 误差
SSE j 包含 xr 的模型的 SS 误差
MSE j 包含 xr 的模型的 MS 误差

如果任意变量的 p 值均大于删除用 Alpha中指定的值,则 Minitab 将从模型中删除具有最大 p 值的变量,计算回归方程,显示结果并启动下一步操作。

要添加的变量

如果 Minitab 无法删除一个变量,那么程序就会尝试添加一个变量。Minitab 将针对模型中没有的每个变量计算 F 统计量和 p 值。如果模型包含 j 个变量,那么 F 表示任意变量 xa,公式如下:

表示法

说明
SSE j xa 添加到模型之前,出现 SS 误差
SSE(j + Xa ) xa 添加到模型之后,出现 SS 误差
变量 Xa 的自由度
MSE(j + Xa ) xa 添加到模型之后,出现 MS 误差

如果对应于任意变量的 F 统计量的 p 值均小于入选用 Alpha中指定的值,则 Minitab 将向模型添加具有最小 p 值的变量,计算回归方程,显示结果,然后转到新步骤。如果不再需要在模型中添加或删除更多变量,则逐步法程序将终止。

向前选择过程

确定要在模型中保留哪些项的方法。向前选择法会使用与逐步过程相同的方法向模型添加变量。一旦添加,就永远不会删除变量。当所有候选变量的 p 值均大于入选用 Alpha中指定值时,默认向前选择过程会结束。

向后消元过程

确定要在模型中保留哪些变量的方法。向后消元法以包含所有项的模型开始,然后使用与逐步过程相同的方法一次一个删除这些项。不能将变量重新输入模型。当模型中的变量不包含大于删除用 Alpha中指定值的 p 值时,默认向后消元过程将结束。如果初始模型使用所有的自由度,则向后消元操作不会继续。

向前信息标准过程

用于确定要在模型中保留哪些变量的方法。向前信息标准过程在每个步骤中向模型中添加具有最低 p 值的项。如果分析设置允许考虑非分层项,但是要求每个模型都分层,则在步骤 1 中可以向模型中输入其他项。Minitab 为每个步骤计算信息标准。Minitab 对于针对选定的信息标准(AIC 或 BIC)具有最小值的模型显示分析结果。在大多数情况下,该过程一直持续,直到出现以下某种情况为止:
  • 该过程在连续 8 个步骤中找不到标准的改进。
  • 该过程拟合整个模型。
  • 该过程拟合的模型保留 1 个误差自由度。
如果您为该过程指定的设置要求每个步骤都使用分层模型,并且一次只允许输入一项,则该过程将持续到其拟合整个模型或者拟合的模型保留 1 个误差自由度为止。Minitab 对于针对选定的信息标准(AIC 或 BIC)具有最小值的模型显示分析结果。

前进法并验证

前进法并验证过程取决于验证方法。

检验数据集

使用检验数据集时,该过程类似于前进法。在每个步骤中,Minitab 都会向模型中添加具有最小 p 值的项。在每个步骤结束时,Minitab 计算检验 R2 值。在前进法过程结束时,具有最大检验 R2 值的模型为最终模型。

该过程将添加项,直到出现以下情况之一:
  • 该过程在连续 8 个步骤中没有发现标准改进。
  • 该过程拟合全模型。
  • 该过程拟合误差自由度为 1 的的模型。

K 折叠交叉验证

通过交叉验证,该过程为每个折叠重复前进法。前进法在第一个折叠上继续,直到 16 个步骤没有改进误差平方和。对于每个剩余折叠,前进法将继续,直到过程达到以下数字的最小值:
  • 前一次折叠的步骤数
  • 16 个步骤,没有改进误差平方和
  • 拟合全模型的步骤数
  • 拟合误差自由度为 1 的模型的步骤数

完成每个折叠的前进法过程后,Minitab 将计算每个折叠的选择过程中每个步骤中的总体 K 折叠逐步 R2 值。具有最大 K 折叠逐步 R2 值的步骤将成为最终前进法过程中所选模型的步骤。

最后,Minitab 对完整数据集执行前进法。Minitab 在步骤中显示模型的回归结果,其中最大总体 K 折叠逐步 R2 值来自 k 折叠逐步过程。模型选择详细信息表和 K 折叠逐步 R2 与模型选择步骤图将在回归结果步骤后继续执行 8 个步骤。