加权回归
加权最小二乘回归是处理具有非恒定方差的观测值的方法。如果方差不是恒定的，则观测值应具备以下特点：
- 应当为较大的方差指定相对较小的权重
- 应当为较小的方差指定相对较大的权重
权重的常用选项是响应中纯误差方程之逆。
表示法
| 项 | 说明 |
|---|---|
| X | 设计矩阵 |
| X' | 转置设计矩阵 |
| W | 对角线上的 n x n 权重矩阵 |
| Y | 响应值向量 |
| n | 观测值个数 |
| wi | 第 i 个响应值的权重 |
| yi | 第 i 个观测值的响应值 |
 | 第 i 个观测值的拟合值 |
Box-Cox 变换
Box-Cox 变换选择能够最小化残差平方和的 lambda 值（如下所示）。由此生成的变换是 Yλ（当 λ ≠ 0 时）及 ln(Y)（当 λ = 0 时）。当 λ < 0 时，Minitab 还会将变换后响应乘以 −1，以维持未变换响应的顺序。
Minitab 搜索介于 −2 和 2 之间的最优值。此区间以外的值生成的拟合可能较差。
以下是一些常见的变换，其中 Y' 是数据 Y 的变换：
| Lambda (λ) 值 | 变换 |
|---|---|
| λ = 2 | Y′ = Y 2 |
| λ = .5 | Y′ =  |
| λ = 0 | Y′ = ln(Y ) |
| λ = −.5 |  |
| λ = −1 | Y′ = −1 / Y |
回归方程
对于具有多个预测变量的模型，方程为：
y = β0 + β1x1 + ... + βkxk + ε
拟合方程为：
在只包含一个预测变量的简单线性回归中，模型为；
y=ß0+ ß1x1+ε
利用回归估计 β0 对 ß0和 b1 对 ß1的拟合方程为：
带有范畴变量的方程
- 每组类别预测水平的独立方程
- 单个方程
- C1
- 响应变量
- C2
- 连续预测器
- C3
- 一个类别预测变量，水平为 红色 和 蓝
- 蓝：C1 = 0.184 + 0.1964*C2
- 红：C1 = 0.011 + 0.1964*C²
单个方程使用指示变量表示类别变量。
C1 = 0.184 + 0.1964*C2 + 0.0*C3_蓝 - 0.173*C3_红
- 蓝色观测（C3_蓝 = 1，C3_红 = 0）：C1 = 0.184 + 0.1964*C2 + 0.0*1- 0.173*0 = 0.184 + 0.1964*C2
- 红色观测（C3_蓝 = 0， C3_红 = 1：C1 = 0.084 + 0.1964*C2 + 0.0*0 - 0.173*1 = 0.011 + 0.1964*C2
表示法
| 项 | 说明 |
|---|---|
| y | 响应 |
| xk | 第K个任 期。每个项可以是单个预测变量、多项式项或交互作用项。 |
| ßk | 第k个 群体回归系数 |
| ε | 服从平均值为 0 的正态分布的误差项 |
| BK | 第K个体 回归系数的估计 |
 | 拟合响应 |
设计矩阵
设计矩阵包含具有 n 行的矩阵 (X) 中的预测变量，其中 n 是观测值数。模型中的每个系数都有对应列。
类别预测变量使用 1、0 或 -1、0、1 编码方式进行编码。X 不包含因子的参考水平列。
要计算交互作用项的列数，请将交互作用项中预测变量的所有对应值相乘。例如，假设预测变量 A 对应的第一个观测值为 4，预测变量 B 对应的值为 2。在设计矩阵中，A 和 B 之间的交互作用项将表示为 8 (4 x 2)。
X'X 逆
Minitab 如何从中的回归方程中删除高度相关的预测变量拟合回归模型
使 rij 为与 Xi 和 Xj 相关联的当前扫掠矩阵中的元素。
一次输入或删除一个变量。对于当前不在其 rkk ≥ 1（默认值为 0.0001 的公差） 的模型中的独立变量，以及当前位于符合以下条件的模型中的每个变量 Xj，可以输入 Xk：
- Minitab 针对相关矩阵 R 执行 SWEEP 方法，并将 X1 … Xp 作为随机变量进行处理。
- 对于任何连续的预测变量，Minitab 将元素 rkk 与公差进行比较；rkk ≥ 公差，其中 k = 1 到 p。
- 对于当前位于模型中的每个变量 Xj，Minitab 检查 (rjj – rjk * (rkj / rkk)) * 公差是否 ≤ 1。
注意
其中，rkk、rjk、rjj 是在执行 k 步长 SWEEP 操作之后，Xj 和 Xk 变量相应的对角和非对角元素。
- 否则，预测变量将无法通过检验并被从模型中删除。
注意
默认的公差值为 8.8e–12。
注意
您可以使用 REGRESS 会话命令的 TOLERANCE 子命令来强制 Minitab 将某个预测变量保留在与另一个预测变量高度关联的模型中。但是，降低公差会很危险，可能会产生不准确的数字结果。
