非線形回帰の方法

観測値nの予想関数は以下によって示されます。

N個のすべての観測値に対する予想関数を、以下のようなパラメータのベクトル値関数として検討します。

N × 1ベクトルであり、次の要素を含みます.

ηのヤコビアンは、以下のパラメータに関する予想関数の偏導関数と等しい要素を持つN × P行列です。

Vⁱ = V(θⁱ)がθⁱで評価されるヤコビアン、つまり反復iの後のパラメータ推定値であるとします。

ηの線形近似は以下になります。

これは、ガウス・ニュートン法と近似的推論の基礎を形成します。

θ*が最小二乗推定値を示すとします。

デフォルトでは、ガウス・ニュートン法を使用して、最小二乗推定値を判断します。この方法では、予想関数に対して線形近似を使用して、θの最初の推定θ⁰を繰り返し改善し、相対オフセットが指定された許容範囲¹を下回るまで推定値を改善し続けます。それは、θ⁰の最初のテイラー級数で予想関数f(x_n,θ)を以下のように拡張するということです。

ここで、

p = 1, 2,..., p

N個のケースすべてを含む

V⁰は、要素{v_np}のN × P導関数行列です。これは、以下によって、残差z(θ) = y - η(θ)を近似させることに相当します。

ここで、

および

ガウスの増分δ⁰を計算して、近似残差平方和を最小化します、以下を使用します。

以後同様: .

点

これはη(θ⁰)よりもyに近づける必要があり、値θ¹ = θ⁰ + δ⁰を使用し、新しい残差z¹ = y - η(θ¹)、新しい導関数行列V¹、および新しい増分を計算して、もう一度反復を実行します。増分が小さすぎて、パラメータのベクトルの要素に有用な変化が見られなくなるほど収束するまで、このプロセスは繰り返されます。

時には、ガウス・ニュートンの増分により、平方和が増加することがあります。これが発生すると、線形近似は、η(θ⁰)周辺の十分に小さな領域の実際の曲面にかなり近似します。平方和を減少させるには、ステップ因子λを導入して計算します。

λ = 1ではじまり、S(θ¹) < S( θ⁰)となるまで半分に割っていきます。

1. Bates and Watts (1988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc.

勾配行列Vの列に共線性がある場合、特異になり、ガウス・ニュートン反復の不規則な振る舞いの原因になることがあります。特異点を処理するために、ガウス・ニュートンの増分を以下のようなレーベンバーグの折衷案に変更できます。

マルカートの折衷案:

kは条件付き因子であり、DはV^TVの対角要素と等しいエントリを持つ対角行列です。δ(k)の方向は、ガウス・ニュートン増分(k → 0)の方向と最急降下方向の中間です。

。¹

1. Bates、Watts（1988）、Nonlinear Regression Analysis and Its Applications、John Wiley & Sons, Inc.

デフォルトでは、相対オフセットが1.0e-5未満の場合、収束が宣言されます。これにより確実に、現在のパラメータのベクトルが、最小二乗の信頼領域ディスクの半径の0.001%未満であるという事実から、推論に実質的な影響を受けることがなくなります。¹

1. Bates、Watts（1988）、Nonlinear Regression Analysis and Its Applications、John Wiley & Sons, Inc.