S 表示数据值与拟合值的距离。S 以响应单位进行度量。
使用 S 可评估模型描述响应值的程度。S 以响应变量单位进行测量,它表示数据值与拟合值的标准差距离。S 值越低,模型描述响应的程度越高。但是,自身低 S 值并不表明模型符合模型假设。您应检查残差图来验证假设。
例如,您效力一家薯片公司,该公司正在检查影响每个包装内碎薯片百分比的因子。将模型简化为显著的预测变量,S 的计算结果为 1.79。此结果表明拟合值附近的数据点的标准差为 1.79。如果您在比较模型,则低于 1.79 的值表明拟合较优,值较高则表明拟合较差。
R2 是由模型解释的响应中的变异百分比。它由 1 减去误差平方和(未由模型解释的变异)与平方总和(模型的总变异)之比计算得出。
调整的 R2 是由模型解释的响应中变异的百分比,相对于观测值个数,已调整了模型中的预测变量数。调整的 R2 是用 1 减去均方误 (MSE) 和均方总和 (MS Total) 之比计算得出。
在想要比较具有不同数量的预测变量的情况下,使用调整的 R2。如果向模型添加预测变量,即使模型没有实际改善,R2 也会始终增加。调整的 R2 值包含模型中的预测变量数,以便帮助您选择正确的模型。
模型 | 马铃薯百分比 | 冷却速度 | 加工温度 | R2 | 调整的 R2 |
---|---|---|---|---|---|
1 | X | 52% | 51% | ||
2 | X | X | 63% | 62% | |
3 | X | X | X | 65% | 62% |
第一个模型会生成超过 50% 的 R2。第二个模型会为自身增加冷却速率。调整的 R2 增加,这表明冷却速率会改善模型。提高了加工温度的第三个模型会增加 R2,但不会增加调整的 R2。这些结果表明,加工温度不会改善模型。基于这些结果,您可以考虑从模型中删除加工温度。
预测误差平方和 (PRESS) 是对拟合值与观测值之间偏差的度量。PRESS 近似于残差误差平方和 (SSE),该平方和是平方残差的总和。但是,PRESS 使用不同的残差计算方法。用于计算 PRESS 的公式相当于从数据集中系统地删除每个观测值、估计回归方程,然后确定模型对已删除观测值的预测能力的一系列过程。
使用 PRESS 可评估模型的预测能力。通常,PRESS 值越小,模型的预测能力越强。Minitab 使用 PRESS 来计算预测的 R2(通常解释起来更直观)。同时,这些统计量还可以阻止过度拟合模型。在向总体中添加不太重要的效应项的情况下(尽管它们在样本数据中看起来比较重要),可能会产生过度拟合模型。模型针对样本数据而定制,因此可能对于总体预测不太有效。
预测的 R2 采用相当于从数据集中系统地删除每个观测值的这种公式来计算,估计回归方程,然后确定模型对已删除观测值的预测优度。预测的 R2 值范围在 0% 和 100% 之间。(当预测 R2 的计算可以产生负值时,Minitab 会针对这些情况显示零。)
使用预测的 R2 可确定模型对新观测值的响应进行预测的程度。具有较大预测 R2 值的模型的预测能力也较出色。
实质上小于 R2 的预测的 R2 可能表明模型过度拟合。在向总体中添加不太重要的影响项的情况下,可能会发生过度拟合模型。模型针对样本数据而定制,因此可能对于总体预测不太有效。
在比较模型方面,预测的 R2 还可能比调整的 R2 更有效,因为它是用模型计算中未包含的观测值计算得出的。
例如,某家金融咨询公司的分析师开发了一个模型,用于预测未来市场状况。该模型看起来不错,因为其 R 2 为 87%。但是,预测的 R 2 仅为 52%,这表明该模型可能过度拟合。
更正的 Akaike 信息标准 (AICc) 和 Bayesian 信息标准 (BIC) 是针对模型相对质量的度量,说明模型中的拟合与项数。
使用 AIC、AICc 和 BIC 比较不同的模型。值越小越合意。但是,对于预测变量集具有最小值的模型,不一定需要很准确地拟合数据。而且,还可使用检验和残差图评估模型与数据的拟合优度。
AICc 和 BIC 评估模型的似然,然后将用来添加项的惩罚应用于模型。惩罚会降低趋势,以使模型过度拟合样本数据。趋势降低可能会生成性能通常更佳的模型。
一般准则是,当参数个数相对于样本数量较小时,BIC 对于添加每个参数所施加的惩罚比 AICc 大。在这些情况下,最小化 BIC 的模型往往比最小化 AICc 的模型小。
在一些常见情况(如筛选设计)下,参数个数相对于样本数量通常较大。在这些情况下,最小化 AICc 的模型往往比最小化 BIC 的模型小。例如,对于包含 13 个游程的明确筛选设计,在一组包含 6 个或多个参数的模型中,最小化 AICc 的模型往往比最小化 BIC 的模型小。
有关 AICc 和 BIC 的更多信息,请参见 Burnham 和 Anderson.1
Mallows Cp 可以帮助您在竞争多元回归模型之间进行选择。Mallows Cp 会利用预测变量的子集来比较模型与全模型。它可帮助您在模型中的预测变量数方面实现重要平衡。具有过多预测变量的模型的精确度相对较差,而预测变量过少的模型又会产生偏倚的估计值。仅当使用相同的预测变量完整集合时,采用 Mallows Cp 比较回归模型才有效。
接近于预测变量加上常量数的 Mallows Cp 值表明,模型会生成相对精确和无偏倚的估计值。
大于预测变量加上常量数的 Mallows Cp 值表明,模型存在偏倚且未能很好地拟合数据。