非线性回归中的方法

观测值 n 的预期函数可表示为：

Minitab 将所有 N 个观测值的预期函数视为参数的向量值函数，如下所示：

它是一个具有如下元素的 N X 1 向量：。

η 的 Jacobian 是 N X P 矩阵，其元素等于预期函数相对于参数的偏导数：

让 Vⁱ = V(θⁱ) 作为在 θⁱ 处评估得出的 Jacobian，即第 i 次迭代后的参数估计值。

然后，η 的线性近似为：

它构成 Gauss-Newton 法和近似推断的基础。

让 θ* 表示最小二乘估计值。

默认情况下，Minitab 会使用 Gauss-Newton 法确定最小二乘估计值。该方法使用预期函数的线性近似逐步改进 θ 的初始猜测 θ⁰，随后该方法将不断改进估计值，直到相对偏移落在规定公差¹ 下方。也就是说，Minitab 会将有关 θ⁰ 的一阶泰勒级数预期函数 f(x_n,θ) 展开为：

其中

其中，p = 1, 2,..., p

包括所有 N 个案例

其中，V⁰ 是具有元素 {v_np} 的 NxP 导数矩阵。这相当于取残差的近似值，z(θ) = y - η(θ)，方法为：

其中

并且

Minitab 会计算 Gauss 增量 δ⁰ 以最小化近似残差平方和 ，使用：

因此：.

点

现在应该比 η(θ⁰) 更靠近 y，Minitab 会使用值 θ¹ = θ⁰ + δ⁰ 执行其他迭代，方法是计算新残差 z¹ = y - η(θ¹)、一个新迭代矩阵 V¹ 和一个新增量。Minitab 会在收敛前重复执行此过程，这出现在因增量太小而导致参数向量元素中的变化毫无用处时。

有时，Gauss-Newton 增量会使平方和增大。出现此情况时，线性近似仍然是对 η(θ⁰) 周围足够小的区域的实际面积的相近的估算。为降低平方和，Minitab 会引入步长因子 λ，然后计算：

Minitab 会从 λ = 1 开始，然后将该值除以二，直到 S(θ¹) < S( θ⁰)。

1. Bates 和 Watts (1988)。Nonlinear Regression Analysis and Its Applications（非线性回归分析及其应用）。John Wiley & Sons, Inc.

当梯度矩阵 V 中的列共线时，该矩阵可能会变为奇异阵，从而导致 Gauss-Newton 迭代的不规律性。为处理奇异阵，Minitab 可以将 Gauss-Newton 增量修改为 Levenberg 折衷值：

或 Marquardt 折衷值：

其中，k 是条件因子，D 是对角线矩阵，该矩阵的条目与 V^TV 的对角线元素相等。δ(k) 的方向介于 Gauss-Newton 增量 (k → 0) 方向和最陡下降方向中间：

.¹

1. Bates 和 Watts (1988)。Nonlinear Regression Analysis and Its Applications（非线性回归分析及其应用）。John Wiley & Sons, Inc.

默认情况下，当相对偏移小于 1.0e-5 时，Minitab 声明收敛。这可以确保任何推断都不会受如下情况的重大影响：当前参数向量小于置信圆盘区域半径（根据最小二乘点计算得出）的 0.001%。¹

1. Bates 和 Watts (1988)。Nonlinear Regression Analysis and Its Applications（非线性回归分析及其应用）。John Wiley & Sons, Inc.