最佳子集回归的方法和公式

计算例程

在最佳子集回归中,Minitab 会使用称为 Hamiltonian Walk 的过程,该过程是用于计算预测变量所有可能的子集的方法,每个步骤一个子集。在 2**m - 1 个步骤中,Minitab 会计算 2**m - 1 个子集。Minitab 会在每个步骤中评估另一个子集回归。

只需添加或删除一个变量,即可使 Hamiltonian Walk 中的每个子集不同于先前的子集。扫描算子会在 Hamiltonian Walk 的每个步骤将变量“扫描”到回归中或从回归中“扫描”出变量,并计算每个子集的 R2

回归方程

对于具有多个预测变量的模型,方程为:

y = β0 + β1x1 + … + βkxk + ε

拟合方程为:

在只包含一个预测变量的简单线性回归中,模型为;

y=ß0+ ß1x1+ε

使用回归估计 b0 代替 ß0b1 代替 ß1,拟合方程为:

表示法

说明
y响应
xkk 项。每一项都可以是单个预测变量、多项式项或者交互作用项。
ßkk 个总体回归系数
ε服从平均值为 0 的正态分布的误差项
bk对第 k 个总体回归系数的估计
拟合响应

R-sq

R2 也称为确定系数。

公式

表示法

说明
yi i 个观测响应值
平均响应
i 个拟合响应

R-sq(调整)

表示法

说明
MS均方
SS平方和
DF自由度

PRESS

用于评估模型的预测能力,计算公式为:

表示法

说明
n观测值个数
ei第 i 个残差
hi

第 i 个对角线元素为

X (X' X)-1X'

R-sq(预测)

当 R2(预测)的计算可以产生负值时,Minitab 会针对这些情况显示零。

表示法

说明
yi i 个观测响应值
平均响应
n 观测值个数
ei i 个残差
hi X(X'X)–1X' 的第 i 个对角线元素
X 设计矩阵

Mallows Cp

表示法

说明
SSEp考虑采用的模型的平方和误差
MSEm使用所有预测变量的模型的均方误
n观测值个数
p模型中的项数,包括常量

S

表示法

说明
MSE均方误
使用此网站,即表示您同意对数据分析和个性化内容使用 Cookie。  请阅读我们的政策