什么是非线性回归

非线性回归生成一个用于描述连续响应变量与一个或多个预测变量之间的非线性关系的方程,并预测新观测值。当无法对线性参数的关系充分建模时,请使用非线性回归而不是普通最小二乘回归。当模型中的各项之间是相加关系,并且每一项只包含一个与该项相乘的参数时,参数是线性的。

非线性回归与线性回归比较

要对非线性回归有基本的了解,了解线性回归和非线性回归之间的异同很重要。

相似点

两种分析:
  • 都在数学上描述一个响应变量和一个或多个预测变量之间的关系。
  • 都可以为曲线关系建模。
  • 都可以使残差误差平方和 (SSE) 最小化。
  • 都同样假设可以使用残差图检查效果。

差值

线性回归和非线性回归之间的根本差别,以及两种分析的命名依据,在于可接受何种形式的模型函数。特别是,线性回归要求线性参数,而非线性回归则不要求。当使用线性参数无法对数学关系充分建模时,请使用非线性回归而不是线性回归。

线性回归函数的参数必须是线性的,这限制方程只能有一种基本形式。当模型中的各项之间是相加关系,并且每一项只包含一个与该项相乘的参数时,参数是线性的:

响应 = 常量 + 参数 * 预测变量 + … + 参数 * 预测变量

或者 y = βo + β1X1 + β2X2 + ... + βkXk

然而,非线性方程可以采取许多不同的形式。事实上,因为有无限多种可能性,您必须指定 Minitab 用于执行非线性回归的预期函数。以下示例说明了变异性(θ 代表参数):
  • y = θX(凸曲线 2、1 个参数、1 个预测变量)
  • y = θ1 * X1/(θ2+ X1)(Michaelis-Menten 方程、2 个参数、1 个预测变量)
  • y = θ1 - θ2 * (ln (X1 + θ3) - ln (X2))(Nernst 方程、3 个参数、2 个预测变量)

是否选择预期函数通常取决于之前对系统中的响应曲线形状或物理和化学属性行为的了解。可能的非线性形状包括凹、凸、指数增长或衰减、S 形 (S) 和渐近曲线。您必须指定既具备您之前已了解的知识又满足非线性回归假设的函数。

虽然可以十分灵活地指定许多不同的预期函数,但是可能需要付出很多精力才能确定可以为数据提供最佳拟合的函数。这通常需要额外的研究、专业领域知识和试错分析。另外,对于非线性方程,在确定每个预测变量对响应的影响时可能不如线性方程那样直观。

非线性回归使用不同于线性回归的过程来使残差误差平方和 (SSE) 最小化。