线性回归中的 拟合回归模型拟合值和残差的方法和公式

请选择您所选的方法或公式。

拟合

表示法

说明
拟合值
xkk 个项。每个项都可以是单个预测变量、多项式项或交互作用项。
bkk 个回归系数的估计值

拟合值的标准误(拟合值 SE)

具有一个预测变量的回归模型中拟合值的标准误为:

具有多个预测变量的回归模型中拟合值的标准误为:

对于加权回归,在公式中包括权重矩阵:

当数据具有测试数据集或 K 折交叉验证时,公式相同。的值 s2 是从培训数据。设计矩阵和重量矩阵也来自训练数据。

表示法

说明
s2mean square error
nnumber of observations
x0new value of the predictor
mean of the predictor
xii(序号) predictor value
x0 vector of values that produce the fitted values, one for each column in the design matrix, beginning with a 1 for the constant term
x0transpose of the new vector of predictor values
Xdesign matrix
Wweight matrix

拟合值 (CI) 的置信区间

公式

对于回归,以下公式为拟合值提供置信边界:

对于加权回归,公式包括权重:

其中 tv 是 t 分布的 1–α/2 分位数, v 自由度(对于双侧区间)。对于单侧边界,tv 是 t 分布的 1–α 分位数, v 自由度。

当您使用检验数据集或 k 折叠交叉验证时,自由度和均方误来自训练数据集。

使用 Box-Cox 变换时,将逆变换应用于置信区间公式,以发现原始响应单位中的边界。例如,如果 Box-Cox 变换是自然对数,则以下公式给出逆变换:

表示法

说明
fitted value
quantile from the t distribution
degrees of freedom
mean square error
leverage for the i(序号) observation
wiweight for the i(序号) observation

残差

残差是观测值与相应拟合值之间的差分。该模型不解释这部分观测值。观测值的残差为:

表示法

说明
yi观测的第 i 个响应值
i 个响应拟合值

标准化残差 (Std Resid)

标准化残差也称为“内部 t 化残差”。

公式

表示法

说明
ei i 个残差
hi X(X'X)–1X' 的第 i 个对角线元素
s2 均方误
X设计矩阵
X'转置设计矩阵

标准化残差 (Std Resid) 并验证

对于验证数据,标准化残差公式的分母将加上杠杆率,而不是减去杠杆率。

公式

对于加权回归,公式包括权重:

表示法

说明
eii(序号) residual in the validation data set
hi leverage for the i(序号) validation row
s2mean square error for the training data set
wiweight for the i(序号) observation in the validation data set

删后(t 化)残差

也称为外部 t 化残差。公式为:

此公式的其他表现形式为:

估计第 i 个观测值的模型会从数据集中忽略第 i 个观测值。因此,第 i 个观测值无法对估计值产生影响。每个删后残差均具有学生 t 分布,其中具有 自由度。

表示法

说明
ei第 i 个残差
s(i)2未使用第 i 个观测值计算得出的均方误差
hi X(X'X)–1X' 的第 i 个对角线元素
n观测值个数
p项数,包括常量
SSE误差平方和