拟合一般线性模型的方法

请选择您所选的方法或公式。

关于本主题

一般线性模型
设计矩阵
Box-Cox 变换
加权回归
Minitab 如何从拟合一般线性模型中的回归方程中删除高度相关的预测变量

一般线性模型

在矩阵项中，这是一般线性回归模型的公式：

表示法

项	说明
Y	响应向量
X	设计矩阵
β	参数向量
ε	独立正态随机变量的向量

设计矩阵

一般线性模型使用回归方法来拟合您指定的模型。首先，Minitab 会根据因子和协变量以及您指定的模型创建一个设计矩阵。此矩阵的列即是回归的预测变量。

设计矩阵有对应于模型中的项的 n 个行（其中 n = 观测值个数）和几个列区组。第一个区组用于常量，只包含一列，一个包含所有值的列。用于协变量的区组也只包含一列，即协变量列本身。因子的列区组包含 r 个列（其中 r = 因子自由度），并按如下示例所示进行编码。

假设 A 是具有 4 个水平的因子。它的自由度为 3，其区组包含 3 列，分别称为 A1、A2、A3。

A 的水平	A1	A2	A3
1	1	0	0
2	0	1	0
3	0	0	1
4	–1	–1	–1

假设因子 B 具有在每个 A 水平中嵌套的 3 个水平。它的区组包含 (3 - 1) x 4 = 8 个列，分别称为 B11、B12、B21、B22、B31、B32、B41、B42，如下所示进行编码：

A 的水平	B 的水平	B11	B12	B21	B22	B31	B32	B41	B42
1	1	1	0	0	0	0	0	0	0
1	2	0	1	0	0	0	0	0	0
1	3	–1	–1	0	0	0	0	0	0
2	1	0	0	1	0	0	0	0	0
2	2	0	0	0	1	0	0	0	0
2	3	0	0	–1	–1	0	0	0	0
3	1	0	0	0	0	1	0	0	0
3	2	0	0	0	0	0	1	0	0
3	3	0	0	0	0	–1	–1	0	0
4	1	0	0	0	0	0	0	1	0
4	2	0	0	0	0	0	0	0	1
4	3	0	0	0	0	0	0	–1	–1

要计算交互作用项的列，只需将交互作用中的因子和/或协变量的所有对应列相乘即可。例如，假设因子 A 有 6 个水平，C 有 3 个水平，D 有 4 个水平，Z 和 W 是协变量。那么项 A * C * D * Z * W * W 就有 5 x 2 x 3 x 1 x 1 x 1 = 30 个列。要获得这些列，需将 A 的每个列乘以 C 的每个列和 D 的每个列，然后再乘以协变量 Z 一次，W 两次。

Box-Cox 变换

Box-Cox 变换选择能够最小化残差平方和的 lambda 值（如下所示）。由此生成的变换是 Y^λ（当 λ ≠ 0 时）及 ln(Y)（当 λ = 0 时）。当 λ < 0 时，Minitab 还会将变换后响应乘以 −1，以维持未变换响应的顺序。

Minitab 搜索介于 −2 和 2 之间的最优值。此区间以外的值生成的拟合可能较差。

以下是一些常见的变换，其中 Y' 是数据 Y 的变换：

Lambda (λ) 值	变换
λ = 2	Y′ = Y ²
λ = .5	Y′ =
λ = 0	Y′ = ln(Y )
λ = −.5
λ = −1	Y′ = −1 / Y

加权回归

加权最小二乘回归是处理具有非恒定方差的观测值的方法。如果方差不是恒定的，则观测值应具备以下特点：

应当为较大的方差指定相对较小的权重
应当为较小的方差指定相对较大的权重

权重的常用选项是响应中纯误差方程之逆。

估计系数的公式如下所示：

这相当于将加权 SS 误差最小化。

表示法

项	说明
X	设计矩阵
X'	转置设计矩阵
W	对角线上的 n x n 权重矩阵
Y	响应值向量
n	观测值个数
w_i	第 i 个响应值的权重
y_i	第 i 个观测值的响应值
	第 i 个观测值的拟合值

Minitab 如何从拟合一般线性模型中的回归方程中删除高度相关的预测变量

要从回归方程中删除高度相关的预测变量，Minitab 将执行以下步骤：

Minitab 对 X 矩阵执行 QR 分解。
注意
使用 QR 分解来计算 R² 比使用最小二乘回归计算速度更快。
Minitab 针对所有其他预测变量对某个预测变量进行回归，并计算 R² 值。如果 1 - R² < 4 * 2.22e-16，则该预测变量将无法通过检验，并被从模型中删除。
Minitab 对剩余预测变量重复步骤 1 和 2。

示例

假设模型包含预测变量 X1、X2、X3、X4 和 X5 以及响应 Y，Minitab 将执行以下操作：

Minitab 针对 X1-X4 对 X5 进行回归。如果 1 - R² 大于 4 * 2.22e-16，则 X5 保留在方程中。X5 将通过检验并保留在方程中。
Minitab 针对 X1、X2、X3 和 X5 对 X4 进行回归。假设此回归的 1 - R² 大于 4 * 2.22e-16，因此保留在方程中。
Minitab 针对 X1、X2、X4 和 X5 对 X3 进行回归并计算 R² 值。X3 将无法通过检验并从方程中删除。
Minitab 在 X 矩阵上执行新的 QR 分解，并针对剩余预测变量 X1、X4 和 X5 对 X2 进行回归。X2 将通过检验。
Minitab 针对 X2、X4 和 X5 对 X1 进行回归。它将无法通过检验并从方程中删除。

Minitab 针对 X2、X4 和 X5 对 Y 进行回归。结果包括一条消息，表明预测变量 X1 和 X3 无法估计并从模型中删除。

注意

您可以使用 GLM 会话命令的 TOLERANCE 子命令来强制 Minitab 将某个预测变量保留在与另一个预测变量高度关联的模型中。但是，降低公差会很危险，可能会产生不准确的数字结果。