Methoden in Nichtlineare Regression

Wählen Sie die gewünschte Methode oder Formel aus.

Notation

Die Modellfunktion für Beobachtung n wird wie folgt angegeben:
Minitab betrachtet die Modellfunktion für alle N Beobachtungen als vektorwertige Funktion der Parameter:
ein (N X 1)-Vektor mit den Elementen .

Die Jacobi-Matrix von η ist eine (N X P)-Matrix mit Elementen, die gleich den partiellen Ableitungen der Modellfunktion in Bezug auf die Parameter sind:

Sei Vi = V(θi) die Jacobi-Matrix, ausgewertet bei θi, dem Parameterschätzwert nach der i-ten Iteration.

Dann ist eine lineare Approximation für η:

was die Grundlage für die Gauß-Newton-Methode und für näherungsweise Rückschlüsse bildet.

Sei θ* der Schätzwert der kleinsten Quadrate.

Gauß-Newton

Standardmäßig verwendet Minitab die Gauß-Newton-Methode zum Ermitteln des Schätzwerts der kleinsten Quadrate. Die Methode verwendet eine lineare Approximation an die Modellfunktion, um einen anfänglichen Schätzwert von θ0 für θ iterativ zu verbessern. Anschließend verbessert die Methode die Schätzwerte weiter, bis der relative Versatz unterhalb der vorgeschriebenen Toleranz1 liegt. Das heißt, Minitab erweitert die Modellfunktion f(xn,θ) in einer Taylorreihe erster Ordnung um θ0 wie folgt:
Dabei gilt Folgendes:
mit p = 1, 2,..., p

Einschließlich aller N Fälle

Hiebei ist V0 die NxP-Funktionalmatrix mit den Elementen {vnp}. Dies entspricht der Approximation der Residuen z(θ) = yη(θ) als:

Dabei gilt Folgendes:

und

Minitab berechnet das Gauß-Inkrement δ0 zum Minimieren der ungefähren Summe der Quadrate der Residuen unter Verwendung von:

und somit: .

Der Punkt

sollte jetzt näher an y als η(θ0) sein, und Minitab verwendet den Wert θ1 = θ0 + δ0 zum Durchführen einer weiteren Iteration, indem neue Residuen z1 = yη(θ1), eine neue Funktionalmatrix V1 und ein neues Inkrement berechnet werden. Minitab wiederholt diesen Vorgang bis zur Konvergenz, die erreicht ist, wenn das Inkrement so klein ist, dass es keine sinnvolle Änderung der Elemente des Parametervektors gibt.

Manchmal führt das Gauß-Newton-Inkrement zu einer Zunahme bei der Summe der Quadrate. In diesem Fall ist die lineare Approximation dennoch eine nahe Approximation an die tatsächliche Oberfläche für einen hinreichend kleinen Bereich um η(θ0). Um die Summe der Quadrate zu verringern, bindet Minitab den Schrittfaktor λ ein und berechnet Folgendes:

Minitab beginnt mit λ = 1 und dividiert diesen Wert durch zwei, bis S(θ1) < S( θ0) .
  1. Bates and Watts (1988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc.

Levenberg-Marquardt

Wenn die Spalten in der Gradientenmatrix V Kollinearität aufweisen, kann diese singulär werden und damit zu Sprüngen bei den Gauß-Newton-Iterationen führen. Um die Singularität zu beherrschen, kann Minitab das Gauß-Newton-Inkrement in den Levenberg-Kompromiss ändern:
Alternativ kann er auch in den Marquardt-Kompromiss geändert werden:
Hierbei ist k ein Konditionierungsfaktor und D eine Diagonalmatrix mit Einträgen, die gleich den Diagonalelementen von VTV sind. Die Richtung von δ(k) liegt zwischen der Richtung des Gauß-Newton-Inkrements (k → 0) und der Richtung des steilsten Abstiegs:

.1

  1. Bates and Watts (1988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc.

Relativer Versatz als Konvergenzkriterium

Standardmäßig stellt Minitab die Konvergenz fest, wenn der relative Versatz kleiner als 1,0e-5 ist. Damit wird sichergestellt, dass sich die Tatsache, dass der aktuelle Parametervektor weniger als 0,001 % des Radius des Konfidenzbereichskreises vom Punkt der kleinsten Quadrate entfernt ist, nicht wesentlich auf die Rückschlüsse auswirkt.1

1. Bates und Watts (1988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc.

Durch Ihre Nutzung dieser Website stimmen Sie zu, dass Cookies verwendet werden. Cookies dienen zu Analysezwecken und zum Bereitstellen personalisierter Inhalte.  Lesen Sie unsere Richtlinien