Methoden und Formeln für die schrittweise Einführung Regressionsmodell anpassen und Lineare Regression

Wählen Sie die gewünschte Methode oder Formel aus.

In diesem Thema

Methode der schrittweisen Regression
Verfahren der Vorwärtsauswahl
Verfahren der Rückwärtselimination
Verfahren des vorwärts gerichteten Informationskriteriums
Vorwärtsauswahl mit Validierung

Methode der schrittweisen Regression

Die Variablenauswahl erfolgt durch das Aufnehmen von Prädiktoren in das vorhandene Modell bzw. Entfernen von Prädiktoren aus dem vorhandenen Modell auf der Grundlage des F-Tests. Die schrittweise Regression stellt eine Kombination aus den Verfahren der Vorwärtsauswahl und der Rückwärtselimination dar. Die schrittweise Auswahl wird nicht begonnen, wenn das Anfangsmodell alle Freiheitsgrade verwendet.

Zu entfernende Variablen

Minitab berechnet die F-Statistik und den p-Wert für jede Variable im Modell. Wenn das Modell j Variablen enthält, wird F für eine Variable x_r mit dieser Formel ausgedrückt:

Notation

Begriff	Beschreibung
SSE_{(j – X_r )}	SS Fehler für das Modell, das x_r nicht enthält
SSE _j	SS Fehler für das Modell, das x_r enthält
MSE _j	MS Fehler für das Modell, das x_r enthält

Wenn der p-Wert für eine Variable größer als der in Alpha für Ausschluss angegebene Wert ist, entfernt Minitab die Variable mit dem größten p-Wert aus dem Modell, berechnet die Regressionsgleichung, zeigt die Ergebnisse an und leitet den nächsten Schritt ein.

Hinzuzufügende Variablen

Wenn Minitab eine Variable nicht entfernen kann, wird durch das Verfahren versucht, eine Variable hinzuzufügen. Minitab berechnet die F-Statistik und den p-Wert für jede Variable, die nicht im Modell enthalten ist. Wenn das Modell j Variablen enthält, wird F für eine Variable x_a mit dieser Formel ausgedrückt:

Notation

Begriff	Beschreibung
SSE _j	SS Fehler, bevor x_a dem Modell hinzugefügt wird
SSE_(j+_{X_a )}	SS Fehler, nachdem x_a dem Modell hinzugefügt wurde
	Freiheitsgrade für Variable X_a
MSE_(j+_{X_a )}	MS Fehler, nachdem x_a dem Modell hinzugefügt wurde

Wenn der p-Wert für die F-Statistik einer Variablen kleiner als der in Alpha für Aufnahme angegebene Wert ist, fügt Minitab dem Modell die Variable mit dem kleinsten p-Wert hinzu, berechnet die Regressionsgleichung, zeigt die Ergebnisse an und fährt dann mit einem neuen Schritt fort. Wenn keine weiteren Variablen in das Modell aufgenommen bzw. aus dem Modell entfernt werden können, wird das Verfahren der schrittweisen Regression beendet.

Verfahren der Vorwärtsauswahl

Hierbei handelt es sich um eine Methode, mit der ermittelt wird, welche Terme in einem Modell beibehalten werden sollen. Bei der Vorwärtsauswahl werden dem Modell Variablen auf dieselbe Weise wie beim schrittweisen Verfahren hinzugefügt. Nachdem eine Variable hinzugefügt wurde, wird sie nicht mehr entfernt. Der Standardvorgang der Vorwärtsauswahl wird beendet, wenn keine der potenziellen Variablen einen p-Wert aufweist, der kleiner als der in Alpha für Aufnahme angegebene Wert ist.

Verfahren der Rückwärtselimination

Hierbei handelt es sich um eine Methode, mit der ermittelt wird, welche Variablen in einem Modell beibehalten werden sollen. Bei der Rückwärtselimination wird mit dem Modell begonnen, das alle Terme enthält, und die Terme werden wie beim schrittweisen Verfahren jeweils einzeln entfernt. Entfernte Variablen können nicht mehr in das Modell aufgenommen werden. Der Standardvorgang der Rückwärtselimination wird beendet, wenn keine der im Modell enthaltenen Variablen einen p-Wert aufweist, der größer als der in Alpha für Ausschluss angegebene Wert ist. Die Rückwärtselimination wird nicht begonnen, wenn das Anfangsmodell alle Freiheitsgrade verwendet.

Verfahren des vorwärts gerichteten Informationskriteriums

Hierbei handelt es sich um eine Methode, mit der ermittelt wird, welche Variablen in einem Modell beibehalten werden sollen. Beim Verfahren des vorwärts gerichteten Informationskriteriums wird dem Modell bei jedem Schritt der Term mit dem niedrigsten p-Wert hinzugefügt. Bei jedem Schritt können weitere Terme in das Modell aufgenommen werden, wenn die Einstellungen für die Analyse die Berücksichtigung nicht hierarchischer Terme zulassen, aber erfordern, dass alle Modelle hierarchisch sind. Minitab berechnet das Informationskriterium für jeden Schritt. Minitab zeigt die Ergebnisse für die Analyse des Modells mit dem kleinsten Wert für das ausgewählte Informationskriterium (AICc oder BIC) an. In den meisten Fällen wird das Verfahren fortgesetzt, bis eine der folgenden Bedingungen eintritt:

Das Verfahren findet keine Verbesserung des Kriteriums für 8 aufeinander folgende Schritte.
Das Verfahren passt das vollständige Modell an.
Das Verfahren passt ein Modell an, das einen Freiheitsgrad für Fehler lässt.

Wenn Sie Einstellungen für das Verfahren festlegen, nach denen bei jedem Schritt ein hierarchisches Modell erforderlich ist und jeweils nur ein Term aufgenommen werden darf, wird das Verfahren fortgesetzt, bis es entweder das vollständige Modell oder ein Modell anpasst, das einen Freiheitsgrad für Fehler lässt. Minitab zeigt die Ergebnisse für die Analyse des Modells mit dem kleinsten Wert für das ausgewählte Informationskriterium (AICc oder BIC) an.

Vorwärtsauswahl mit Validierung

Die Vorwärtsauswahl mit Validierung hängt von der Validierungsmethode ab.

Testdatensatz

Bei Verwendung eines Testdatensatzes ähnelt das Verfahren der Vorwärtsauswahl. Bei jedem Schritt fügt Minitab dem Modell den Term mit dem kleinsten p-Wert hinzu. Am Ende jedes Schritts berechnet Minitab das R² für den Test. Am Ende des Verfahrens der Vorwärtsauswahl ist das Modell mit dem größten R² für den Test das endgültige Modell.

Das Verfahren fügt Terme hinzu, bis eine der folgenden Bedingungen eintritt:

Das Verfahren stellt in acht aufeinander folgenden Schritten keine Verbesserung im Kriterium fest.
Das Verfahren passt das vollständige Modell an.
Das Verfahren passt ein Modell an, das einen Freiheitsgrad für Fehler lässt.

Kreuzvalidierung mit K Faltungen

Bei der Kreuzvalidierung wird die Vorwärtsauswahl für jede Faltung wiederholt. Die Vorwärtsauswahl wird für die erste Faltung fortgesetzt, bis 16 Schritte ohne Verbesserung der Summe der Quadrate für Fehler ausgeführt wurden. Für jede verbleibende Faltung wird das Verfahren der Vorwärtsauswahl fortgesetzt, bis das Minimum der folgenden Werte erreicht wurde:

Die Anzahl der Schritte aus einer vorherigen Faltung
16 Schritte ohne Verbesserung der Summe der Quadrate für Fehler
Die Anzahl der Schritte, um ein vollständiges Modell anzupassen
Die Anzahl von Schritten zum Anpassen eines Modells, das 1 Freiheitsgrad für Fehler übrig lässt.

Sobald die Vorwärtsauswahlverfahren für jede Faltung abgeschlossen sind, berechnet Minitab die Gesamtwerte für R² für K Faltungen mit schrittweiser Methode für jeden Schritt, der im Auswahlverfahren für jede Faltung enthalten ist. Der Schritt mit dem maximalen R² für K Faltungen mit schrittweiser Methode wird zum Schritt für das ausgewählte Modell in einem endgültigen Vorwärtsauswahlverfahren.

Abschließend führt Minitab eine Vorwärtsauswahl für den gesamten Datensatz durch. Minitab zeigt Regressionsergebnisse für das Modell im Schritt mit dem maximalen Gesamt-R² für K Faltungen mit schrittweiser Methode aus den Verfahren für K Faltungen mit schrittweiser Methode an. Die Tabelle der Modellauswahldetails und die Grafik des R² für K Faltungen mit schrittweiser Methode im Vergleich zum Modellauswahlschritt wird für acht Schritte über den Schritt für die Regressionsergebnisse hinaus fortgesetzt.