S 表示数据值和拟合值之间距离的标准偏差。S 以响应单位进行度量。
使用 S 可评估模型描述响应值的程度。S 以响应变量的单位进行度量,它表示数据值与拟合值的距离。S 值越低,模型描述响应的程度越高。但是,自身低 S 值并不表明模型符合模型假设。您应检查残差图来验证假设。
例如,您效力一家薯片公司,该公司正在检查影响每个包装内碎薯片百分比的因子。 将模型简化为显著的预测变量,S 的计算结果为 1.79。此结果表明拟合值附近的数据点的标准差为 1.79。如果您在比较模型,则低于 1.79 的值表明拟合较优,值较高则表明拟合较差。
R2 是由模型解释的响应中的变异百分比。它由 1 减去误差平方和(未由模型解释的变异)与平方总和(模型的总变异)之比计算得出。
使用 R2 来确定模型与数据的拟合优度。R2 值越高,模型拟合数据的优度越高。R2 始终介于 0% 和 100% 之间。
如果向模型添加其他预测变量,则 R2 会始终增加。例如,最佳的 5 预测变量模型的 R2 始终比最佳的 4 预测变量模型的高。因此,比较相同大小的模型时 R2 最有效。
样本数量较小则不能提供对于响应变量和预测变量之间关系强度的精确估计。如果需要 R2 更为精确,则应当使用较大的样本(通常为 40 或更多)。
拟合优度统计量只是模型拟合数据优度的一种度量。即使模型具有合意的值,您也应当检查残差图,以验证模型是否符合模型假设。
调整的 R2 是由模型解释的响应中变异的百分比,相对于观测值数,已调整了模型中的预测变量数。调整的 R2 是用 1 减去均方误 (MSE) 和均方总和 (MS Total) 之比计算得出。
在想要比较具有不同数量的预测变量的情况下,使用调整的 R2。如果向模型添加预测变量,即使模型没有实际改善,R2 也会始终增加。调整的 R2 值包含模型中的预测变量数,以便帮助您选择正确的模型。
模型 | 马铃薯百分比 | 冷却速率 | 加工温度 | R2 | 调整的 R2 |
---|---|---|---|---|---|
0 | X | 52% | 51% | ||
1 | X | X | 63% | 62% | |
3 | X | X | X | 65% | 62% |
第一个模型会生成超过 50% 的 R2。第二个模型会为自身增加冷却速率。调整的 R2 增加,这表明冷却速率会改善模型。提高了加工温度的第三个模型会增加 R2,但不会增加调整的 R2。这些结果表明,加工温度不会改善模型。基于这些结果,您可以考虑从模型中删除烹饪温度。
预测误差平方和 (PRESS) 是对拟合值与观测值之间偏差的度量。PRESS 近似于残差误差平方和 (SSE),该平方和是平方残差的总和。但是,PRESS 使用不同的残差计算方法。用于计算 PRESS 的公式相当于从数据集中系统地删除每个观测值、估计回归方程,然后确定模型对已删除观测值的预测能力的一系列过程。
使用 PRESS 可评估模型的预测能力。通常,PRESS 值越小,模型的预测能力越强。Minitab 使用 PRESS 来计算预测的 R2(通常解释起来更直观)。同时,这些统计量还可以阻止过度拟合模型。在向总体中添加不太重要的效应项的情况下(尽管它们在样本数据中看起来比较重要),可能会产生过度拟合模型。模型针对样本数据而定制,因此可能对于总体预测不太有效。
预测的 R2 采用相当于从数据集中系统地删除每个观测值的这种公式来计算,估计回归方程,然后确定模型对已删除观测值的预测优度。预测的 R2 值范围在 0% 和 100% 之间。(当预测 R2 的计算可以产生负值时,Minitab 会针对这些情况显示零。)
使用预测的 R2 可确定模型对新观测值的响应进行预测的程度。 具有较大预测 R2 值的模型的预测能力也较出色。
实质上小于 R2 的预测的 R2 可能表明模型过度拟合。在向总体中添加不太重要的影响项的情况下,可能会发生过度拟合模型。模型针对样本数据而定制,因此可能对于总体预测不太有效。
在比较模型方面,预测的 R2 还可能比调整的 R2 更有效,因为它是用模型计算中未包含的观测值计算得出的。
例如,某家金融咨询公司的分析师开发了一个模型,用于预测未来市场状况。该模型看起来前景不错,因为其 R2 为 87%。但是,预测的 R2 仅为 52%,这表明该模型可能过度拟合。
更正的 Akaike 信息标准 (AICc) 和 Bayesian 信息标准 (BIC) 是针对模型相对质量的度量,说明模型中的拟合与项数。
使用 AIC、AICc 和 BIC 比较不同的模型。值越小越合意。但是,对于预测变量集具有最小值的模型,不一定需要很准确地拟合数据。而且,还可使用检验和残差图评估模型与数据的拟合优度。
AICc 和 BIC 评估模型的似然,然后将用来添加项的惩罚应用于模型。惩罚会降低趋势,以使模型过度拟合样本数据。趋势降低可能会生成性能通常更佳的模型。
一般准则是,当参数个数相对于样本数量较小时,BIC 对于添加每个参数所施加的惩罚比 AICc 大。在这些情况下,最小化 BIC 的模型往往比最小化 AICc 的模型小。
在一些常见情况(如筛选设计)下,参数个数相对于样本数量通常较大。在这些情况下,最小化 AICc 的模型往往比最小化 BIC 的模型小。例如,对于包含 13 个游程的明确筛选设计,在一组包含 6 个或多个参数的模型中,最小化 AICc 的模型往往比最小化 BIC 的模型小。
有关 AICc 和 BIC 的更多信息,请参见 Burnham 和 Anderson.1
使用检验 S 评估模型对新数据的表现。检验 S 的值越低,模型的预测越接近检验数据集中的实际值。
明显小于检验 S 值的 S 值可能表示模型过度拟合。当您为在总体中不重要的效应添加项时,将出现过度拟合模型。该模型变为根据样本数据定制的模型,因此对于预测总体数据可能没有帮助。
例如,您在一家薯片公司工作,负责检查影响每个容器碎屑百分比的因子。您将模型减小到包含重要的预测变量,发现 S 为 1.79,而检验 S 为 17.63。由于检验 S 与训练集的 S 非常不同,因此您判定检验 S 可以更好地指示模型如何执行新数据。
低检验 S 值本身并不表示模型满足模型假设。您应该检查残差图以验证假设。
使用检验 R2 确定模型与新数据的拟合度。具有较大检验 R2 值的模型往往对新数据的表现更好。您可以使用检验 R2 来比较不同模型的性能。
明显小于 R2 的检验 R2 可能表示模型过度拟合。当您为在总体中不重要的效应添加项时,将出现过度拟合模型。该模型变为根据训练数据定制的模型,因此对于预测总体数据可能没有帮助。
例如,一家金融咨询公司的分析师开发了一个模型,用于预测未来的市场状况。该模型看似很理想,因为它的 R2 为 87%。但是,检验 R2 为 52%,这表明模型可能过度拟合。
高检验 R2 值本身并不表示模型满足模型假设。您应该检查残差图以验证假设。
使用 K 折叠 S 评估模型对新数据的表现。K 折叠 S 的值越低,则当折叠中的数据不是模型估计的一部分时,模型的预测越接近折叠中的实际值。
明显小于 K 折叠 S 值的 S 值可能表示模型过度拟合。当您为在总体中不重要的效应添加项时,将出现过度拟合模型。该模型变为根据样本数据定制的模型,因此对于预测总体数据可能没有帮助。
例如,您在一家薯片公司工作,负责检查影响每个容器碎屑百分比的因子。您将模型减小到包含重要的预测变量,发现 S 为 1.79,而 K 折叠 S 为 17.63。由于 K 折叠 S 与训练集的 S 非常不同,因此您判定 K 折叠 S 可以更好地指示模型如何执行新数据。
低 K 折叠 S 值本身并不表示模型满足模型假设。您应该检查残差图以验证假设。
使用 K 折叠 R2 确定模型与新数据的拟合度。具有较大 K 折叠 R2 值的模型往往对新数据的表现更好。您可以使用 K 折叠 R2 来比较不同模型的性能。
明显小于 R2 的 K 折叠 R2 可能表示模型过度拟合。当您为在总体中不重要的效应添加项时,将出现过度拟合模型。该模型变为根据训练数据定制的模型,因此对于预测总体数据可能没有帮助。
例如,一家金融咨询公司的分析师开发了一个模型,用于预测未来的市场状况。该模型看似很理想,因为它的 R2 为 87%。但是,K 折叠 R2 为 52%,这表明模型可能过度拟合。
高 K 折叠 R2 值本身并不表示模型满足模型假设。您应该检查残差图以验证假设。
使用 k 折叠逐步 R2 确定模型中的项数。Minitab 在使用 k 折叠交叉验证执行前进法并验证时计算 k 折叠逐步 R 平方。K 折叠逐步 R2 从每个折叠的单独前进法中得出。Minitab 使用 k 折叠逐步 R2 来确定前进法中的最佳步骤。完成每个折叠的前进法后,Minitab 会对完整数据集执行前进法。Minitab 使用完整数据集,根据 k 折叠逐步 R2 标准以最佳步骤为模型生成回归结果。
要使用 k 折叠交叉验证评估模型的预测性能,请改用 k 折叠 R2 统计量。
Mallows Cp 可以帮助您在竞争多元回归模型之间进行选择。Mallows Cp 会利用预测变量的子集来比较模型与全模型。它可帮助您在模型中的预测变量数方面实现重要平衡。具有过多预测变量的模型的精确度相对较差,而预测变量过少的模型又会产生偏倚的估计值。仅当使用相同的预测变量完整集合时,采用 Mallows Cp 比较回归模型才有效。
接近于预测变量加上常量数的 Mallows Cp 值表明,模型会生成相对精确和无偏倚的估计值。
大于预测变量加上常量数的 Mallows Cp 值表明,模型存在偏倚且未能很好地拟合数据。