解释最佳子集回归的所有统计量

解释

使用 R² 来确定模型与数据的拟合优度。R² 值越高，模型拟合数据的优度越高。R² 始终介于 0% 和 100% 之间。

您可以使用拟合线图以图形的方式说明不同的 R² 值。第一个图说明了解释响应中 85.5% 变异的简单回归模型。第二个图说明了解释响应中 22.6% 变异的模型。模型解释的变异越多，数据点距离拟合回归线越近。从理论上讲，如果模型可以解释 100% 的变异，则拟合值将始终等于观测值，并因此所有数据点都将落于拟合线上。但是，即便 R² 为 100%，模型也不需要准确地预测新观测值。

解释

在想要比较具有不同数量的预测变量的情况下，使用调整的 R²。如果向模型添加预测变量，即使模型没有实际改善，R² 也会始终增加。调整的 R² 值包含模型中的预测变量数，以便帮助您选择正确的模型。

第一个模型会生成超过 50% 的 R²。第二个模型会为自身增加冷却速率。调整的 R² 增加，这表明冷却速率会改善模型。提高了加工温度的第三个模型会增加 R²，但不会增加调整的 R²。这些结果表明，加工温度不会改善模型。基于这些结果，您可以考虑从模型中删除烹饪温度。

解释

使用 PRESS 可评估模型的预测能力。通常，PRESS 值越小，模型的预测能力越强。Minitab 使用 PRESS 来计算预测的 R²（通常解释起来更直观）。同时，这些统计量还可以阻止过度拟合模型。在向总体中添加不太重要的效应项的情况下（尽管它们在样本数据中看起来比较重要），可能会产生过度拟合模型。模型针对样本数据而定制，因此可能对于总体预测不太有效。

解释

使用预测的 R² 可确定模型对新观测值的响应进行预测的程度。 具有较大预测 R² 值的模型的预测能力也较出色。

实质上小于 R² 的预测的 R² 可能表明模型过度拟合。在向总体中添加不太重要的影响项的情况下，可能会发生过度拟合模型。模型针对样本数据而定制，因此可能对于总体预测不太有效。

在比较模型方面，预测的 R² 还可能比调整的 R² 更有效，因为它是用模型计算中未包含的观测值计算得出的。

例如，某家金融咨询公司的分析师开发了一个模型，用于预测未来市场状况。该模型看起来前景不错，因为其 R² 为 87%。但是，预测的 R² 仅为 52%，这表明该模型可能过度拟合。

解释

接近于预测变量加上常量数的 Mallows Cp 值表明，模型会生成相对精确和无偏倚的估计值。

大于预测变量加上常量数的 Mallows Cp 值表明，模型存在偏倚且未能很好地拟合数据。

解释

使用 S 可评估模型描述响应值的程度。S 以响应变量的单位进行度量，它表示数据值与拟合值的距离。S 值越低，模型描述响应的程度越高。但是，自身低 S 值并不表明模型符合模型假设。您应检查残差图来验证假设。

例如，您效力一家薯片公司，该公司正在检查影响每个包装内碎薯片百分比的因子。 将模型简化为显著的预测变量，S 的计算结果为 1.79。此结果表明拟合值附近的数据点的标准差为 1.79。如果您在比较模型，则低于 1.79 的值表明拟合较优，值较高则表明拟合较差。

解释

使用 AIC、AICc 和 BIC 比较不同的模型。值越小越合意。但是，对于预测变量集具有最小值的模型，不一定需要很准确地拟合数据。而且，还可使用检验和残差图评估模型与数据的拟合优度。

AICc 和 BIC 评估模型的似然，然后将用来添加项的惩罚应用于模型。惩罚会降低趋势，以使模型过度拟合样本数据。趋势降低可能会生成性能通常更佳的模型。

一般准则是，当参数个数相对于样本数量较小时，BIC 对于添加每个参数所施加的惩罚比 AICc 大。在这些情况下，最小化 BIC 的模型往往比最小化 AICc 的模型小。

在一些常见情况（如筛选设计）下，参数个数相对于样本数量通常较大。在这些情况下，最小化 AICc 的模型往往比最小化 BIC 的模型小。例如，对于包含 13 个游程的明确筛选设计，在一组包含 6 个或多个参数的模型中，最小化 AICc 的模型往往比最小化 BIC 的模型小。

有关 AICc 和 BIC 的更多信息，请参见 Burnham 和 Anderson.¹

解释

使用条件数可以比较具有不同项的模型。条件数 1 表示模型项是不相关的。值越大，表明共线性越高。

尽管特定条件数的结果依赖多个条件，但值大于 100 通常表示需要进行调查。当该模型中的项呈多重共线性，对该模型的解释不如对具有非相关项的模型的解释直接。有关更多信息，请转到回归中的多重共线性。

在这些结果中，当模型中只有 1 个项时，条件数为 1。（当模型有 1 个连续预测变量时，条件数始终为 1。）任何模型的条件数都不会大于 100，因此预测变量之间的多重共线性不可能对结果产生较大的效应。