拟合回归模型中拟合值与残差的方法和公式

请选择您所选的方法或公式。

拟合

项	说明
	拟合值
x_k	第 k 个项。每个项都可以是单个预测变量、多项式项或交互作用项。
b_k	第 k 个回归系数的估计值

具有一个预测变量的回归模型中拟合值的标准误为：

具有多个预测变量的回归模型中拟合值的标准误为：

对于加权回归，在公式中包括权重矩阵：

当数据具有测试数据集或 K 折交叉验证时，公式相同。的值 s² 是从培训数据。设计矩阵和重量矩阵也来自训练数据。

项	说明
s²	mean square error
n	number of observations
x₀	new value of the predictor
	mean of the predictor
x_i	i^（序号） predictor value
x₀	vector of values that produce the fitted values, one for each column in the design matrix, beginning with a 1 for the constant term
x₀	transpose of the new vector of predictor values
X	design matrix
W	weight matrix

对于回归，以下公式为拟合值提供置信边界：

对于加权回归，公式包括权重：

其中 t_v 是 t 分布的 1–α/2 分位数， v 自由度（对于双侧区间）。对于单侧边界，t_v 是 t 分布的 1–α 分位数， v 自由度。

当您使用检验数据集或 k 折叠交叉验证时，自由度和均方误来自训练数据集。

使用 Box-Cox 变换时，将逆变换应用于置信区间公式，以发现原始响应单位中的边界。例如，如果 Box-Cox 变换是自然对数，则以下公式给出逆变换：

项	说明
	fitted value
	quantile from the t distribution
	degrees of freedom
	mean square error
	leverage for the i（序号） observation
w_i	weight for the i（序号） observation

残差是观测值与相应拟合值之间的差分。该模型不解释这部分观测值。观测值的残差为：

项	说明
y_i	观测的第 i 个响应值
	第 i 个响应拟合值

标准化残差也称为“内部 t 化残差”。

对于验证数据，标准化残差公式的分母将加上杠杆率，而不是减去杠杆率。

对于加权回归，公式包括权重：

项	说明
e_i	i（序号） residual in the validation data set
h_i	leverage for the i（序号） validation row
s²	mean square error for the training data set
w_i	weight for the i（序号） observation in the validation data set

也称为外部 t 化残差。公式为：

此公式的其他表现形式为：

估计第 i 个观测值的模型会从数据集中忽略第 i 个观测值。因此，第 i 个观测值无法对估计值产生影响。每个删后残差均具有学生 t 分布，其中具有自由度。