Methoden für Regression der partiellen kleinsten Quadrate

Minitab verwendet den von Herman Wold entwickelten nichtlinearen iterativen Algorithmus der partiellen kleinsten Quadrate (Nonlinear Iterative Partial Least Squares, NIPALS)¹, um Probleme im Zusammenhang mit schlecht konditionierten Daten zu lösen. Das PLS-Verfahren verringert die Anzahl von Prädiktoren, indem unkorrelierte Komponenten auf der Grundlage der Kovarianz zwischen dem Prädiktor und den Antwortvariablen extrahiert werden. PLS ähnelt der Regression der Hauptkomponenten und der Ridge-Regression, weist aber eine andere Berechnungsmethode auf.

Der PLS-Algorithmus erzeugt eine Sequenz von Modellen, wobei jedes nachfolgende Modell jeweils eine zusätzliche Komponente enthält. Die Komponenten werden einzeln berechnet; begonnen wird mit der standardisierten x- und y-Matrix. Nachfolgende Komponenten werden aus der Matrix der x- und y-Residuen berechnet; die Iterationen werden beendet, wenn die maximale Anzahl von Komponenten erreicht wird oder die x-Residuen zu einer Nullmatrix werden. Wenn die Anzahl der Komponenten gleich der Anzahl der Prädiktoren ist, ist das PLS-Modell gleich dem Modell der Regression kleinster Quadrate. Mit Hilfe der Kreuzvalidierung wird die Anzahl der Komponenten ermittelt, bei der der Prognosefehler minimiert wird.

Die PLS-Regression zerlegt gleichzeitig sowohl die Prädiktoren als auch die Antwortvariablen. Nachdem Minitab die Anzahl der Komponenten bestimmt und die Ladungen berechnet hat, werden die Regressionskoeffizienten für jeden Prädiktor berechnet. Ausführlichere Informationen über PLS und den nichtlinearen iterativen Algorithmus der partiellen kleinsten Quadrate (NIPALS) finden Sie in ²³⁴.

Hierbei werden die Prognosefähigkeiten möglicher Modelle berechnet, um Sie beim Ermitteln der geeigneten Anzahl von Komponenten für das Modell zu unterstützen. Wenn die Daten mehrere Antwortvariablen enthalten, validiert Minitab die Komponenten für alle Antwortvariablen gleichzeitig.

Verfahren der Kreuzvalidierung

Für jedes potenzielle Modell verfährt Minitab folgendermaßen:

1. Je nach verwendeter Kreuzvalidierungsmethode wird eine Beobachtung oder Gruppe von Beobachtungen entfernt.
2. Das Modell wird ohne die Beobachtung bzw. Gruppe von Beobachtungen neu berechnet.
3. Anhand des neu berechneten Modells wird der Wert der Antwortvariablen bzw. der kreuzvalidierte angepasste Wert für die entfernte Beobachtung bzw. Gruppe von Beobachtungen prognostiziert, und der kreuzvalidierte Residuenwert wird berechnet.
4. Die Schritte 1 bis 3 werden so oft wiederholt, bis alle Beobachtungen entfernt und angepasst wurden.
5. Die Werte für die Summe der quadrierten Prognosefehler (PRESS) und das prognostizierte R² werden berechnet.

Nach den Schritten 1 bis 5 für jedes Modell wählt Minitab das Modell mit der Anzahl von Komponenten aus, das das größte prognostizierte R² und den kleinsten PRESS-Wert ergibt. Bei mehreren Antwortvariablen wählt Minitab das Modell mit dem größten durchschnittlichen prognostizierten R² und dem kleinsten durchschnittlichen PRESS-Wert aus.