回归中的多重共线性

关于本主题

什么是多重共线性？
多重共线性的纠正方法

什么是多重共线性？

回归中的多重共线性是一个当模型中一些预测变量与其他预测变量相关时发生的条件。严重的多重共线性可能会产生问题，因为它可以增大回归系数的方差，使它们变得不稳定。以下是不稳定系数导致的一些后果：

即使预测变量和响应之间存在显著关系，系数也可能看起来并不显著。
高度相关的预测变量的系数在样本之间差异很大。
从模型中去除任何高度相关的项都将大幅影响其他高度相关项的估计系数。高度相关项的系数甚至会包含错误的符号。

要度量多重共线性，可以检查预测变量的相关性结构。您也可以查看模型中回归系数的方差膨胀因子 (VIF)。VIF 用于在您的预测变量相关时，度量估计回归系数的方差增加的幅度。如果所有 VIF 都为 1，则不存在多重共线性，但如果有些 VIF 大于 1，则预测变量为相关。VIF 大于 5 时，该项的回归系数的估计结果不理想。

另一个共线性度量就是条件数。Minitab 在最佳子集回归的扩展表中提供条件数。条件数评估整个模型（而非各项）的共线性。条件数越大，模型中各项的共线性越大。Montgomery、Peck 和 Vining¹ 建议，大于 100 的条件数表示中等共线性。当共线性为中等或更差时，应当使用 VIF 和数据关联结构来调查模型中各项之间的关系。

如果某个预测变量与其他预测变量的关联接近完美，则 Minitab 将显示一条消息，指出无法估计该项。无法估计的项的 VIF 值数通常超过十亿。

多重共线性不会影响拟合优度和预测优度。系数（线性判别函数）无法可靠地进行解译，但拟合（分类）值不会受到影响。

注意

多重共线性在判别分析中的效应与在回归中相同。

多重共线性的纠正方法

严重多重共线性的可能解决办法：

如果要对多项式进行拟合，请从预测变量值减去预测变量的均值。
从模型中删除那些高度相关的预测变量。由于它们提供了冗余信息，因此删除它们通常不会显著减少 R²。请考虑使用逐步回归、最佳子集回归或数据集的专门知识来删除这些变量。
使用偏最小二乘或主成分分析。这些方法可以将预测变量的数量减少为更小的不相关分量集。

例如，一家玩具制造商希望预测客户满意度，他们将“强度”和“没有破损”作为预测变量包括在回归模型中。调查者可以确定这两个变量具有强烈负相关，并且具有大于 5 的 VIF。调查者还可以使用偏最小二乘或主成分分析，以便使用这些相关变量来创建“耐久性”部件。

¹ Montgomery, D. C.、Peck, E. A. 和 Vining, G. G. (2012)。Introduction to linear regression analysis（线性回归分析简介），第 5 版。纽约 Hoboken：Wiley。