S 表示数据值和拟合值之间距离的标准偏差。S 以响应单位进行度量。
使用 S 可评估模型描述响应值的程度。S 以响应变量的单位进行度量,它表示数据值与拟合值的距离。S 值越低,模型描述响应的程度越高。但是,自身低 S 值并不表明模型符合模型假设。您应检查残差图来验证假设。
例如,您效力一家薯片公司,该公司正在检查影响每个包装内碎薯片百分比的因子。 将模型简化为显著的预测变量,S 的计算结果为 1.79。此结果表明拟合值附近的数据点的标准差为 1.79。如果您在比较模型,则低于 1.79 的值表明拟合较优,值较高则表明拟合较差。
预测误差平方和 (PRESS) 是对拟合值与观测值之间偏差的度量。PRESS 近似于残差误差平方和 (SSE),该平方和是平方残差的总和。但是,PRESS 使用不同的残差计算方法。用于计算 PRESS 的公式相当于从数据集中系统地删除每个观测值、估计回归方程,然后确定模型对已删除观测值的预测能力的一系列过程。
使用 PRESS 可评估模型的预测能力。通常,PRESS 值越小,模型的预测能力越强。Minitab 使用 PRESS 来计算预测的 R2(通常解释起来更直观)。同时,这些统计量还可以阻止过度拟合模型。在向总体中添加不太重要的效应项的情况下(尽管它们在样本数据中看起来比较重要),可能会产生过度拟合模型。模型针对样本数据而定制,因此可能对于总体预测不太有效。
R2 是由模型解释的响应中的变异百分比。它由 1 减去误差平方和(未由模型解释的变异)与平方总和(模型的总变异)之比计算得出。
使用 R2 来确定模型与数据的拟合优度。R2 值越高,模型拟合数据的优度越高。R2 始终介于 0% 和 100% 之间。
如果向模型添加其他预测变量,则 R2 会始终增加。例如,最佳的 5 预测变量模型的 R2 始终比最佳的 4 预测变量模型的高。因此,比较相同大小的模型时 R2 最有效。
样本数量较小则不能提供对于响应变量和预测变量之间关系强度的精确估计。如果需要 R2 更为精确,则应当使用较大的样本(通常为 40 或更多)。
拟合优度统计量只是模型拟合数据优度的一种度量。即使模型具有合意的值,您也应当检查残差图,以验证模型是否符合模型假设。
预测的 R2 采用相当于从数据集中系统地删除每个观测值的这种公式来计算,估计回归方程,然后确定模型对已删除观测值的预测优度。预测的 R2 值范围在 0% 和 100% 之间。(当预测 R2 的计算可以产生负值时,Minitab 会针对这些情况显示零。)
使用预测的 R2 可确定模型对新观测值的响应进行预测的程度。 具有较大预测 R2 值的模型的预测能力也较出色。
实质上小于 R2 的预测的 R2 可能表明模型过度拟合。在向总体中添加不太重要的影响项的情况下,可能会发生过度拟合模型。模型针对样本数据而定制,因此可能对于总体预测不太有效。
在比较模型方面,预测的 R2 还可能比调整的 R2 更有效,因为它是用模型计算中未包含的观测值计算得出的。
例如,某家金融咨询公司的分析师开发了一个模型,用于预测未来市场状况。该模型看起来前景不错,因为其 R2 为 87%。但是,预测的 R2 仅为 52%,这表明该模型可能过度拟合。
调整的 R2 是由模型解释的响应中变异的百分比,相对于观测值数,已调整了模型中的预测变量数。调整的 R2 是用 1 减去均方误 (MSE) 和均方总和 (MS Total) 之比计算得出。
在想要比较具有不同数量的预测变量的情况下,使用调整的 R2。如果向模型添加预测变量,即使模型没有实际改善,R2 也会始终增加。调整的 R2 值包含模型中的预测变量数,以便帮助您选择正确的模型。
模型 | 马铃薯百分比 | 冷却速率 | 加工温度 | R2 | 调整的 R2 |
---|---|---|---|---|---|
0 | X | 52% | 51% | ||
1 | X | X | 63% | 62% | |
3 | X | X | X | 65% | 62% |
第一个模型会生成超过 50% 的 R2。第二个模型会为自身增加冷却速率。调整的 R2 增加,这表明冷却速率会改善模型。提高了加工温度的第三个模型会增加 R2,但不会增加调整的 R2。这些结果表明,加工温度不会改善模型。基于这些结果,您可以考虑从模型中删除烹饪温度。
Mallows Cp 可以帮助您在竞争多元回归模型之间进行选择。Mallows Cp 会利用预测变量的子集来比较模型与全模型。它可帮助您在模型中的预测变量数方面实现重要平衡。具有过多预测变量的模型的精确度相对较差,而预测变量过少的模型又会产生偏倚的估计值。仅当使用相同的预测变量完整集合时,采用 Mallows Cp 比较回归模型才有效。
接近于预测变量加上常量数的 Mallows Cp 值表明,模型会生成相对精确和无偏倚的估计值。
大于预测变量加上常量数的 Mallows Cp 值表明,模型存在偏倚且未能很好地拟合数据。