Verwendung der Regression der besten Teilmengen und der schrittweisen Regression

Probleme bei der schrittweisen Regression

Bei der Verwendung der Verfahren zur Variablenauswahl wie der Regression der besten Teilmengen und der schrittweisen Regression sollten Sie vorsichtig vorgehen. Bei automatischen Verfahren kann vorhandenes Expertenwissen hinsichtlich der Daten nicht berücksichtigt werden. Das Verfahren kann nicht die praktische Bedeutung eines der Prädiktoren berücksichtigen.

Ein verwandtes Problem der Nichtberücksichtigung von Sonderkenntnissen durch das Verfahren besteht darin, dass das Verfahren, wenn zwei Prädiktoren stark korreliert sind, nur einen der beiden Prädiktoren auswählen kann, obwohl beides wichtig sein kann. Beispielsweise kann das Verfahren einen Prädiktor entfernen, der billig und einfach zu Gunsten eines korrelierten Prädiktors zu messen ist, der schwierig und teuer zu messen ist. Der Analytiker müsste sein Wissen über die Daten nutzen, um Über Kriterien zu beurteilen, die das Verfahren nicht berücksichtigen kann.

Ein weiteres Problem bei schrittweisen Verfahren ist, dass die verschiedenen Modelle unterschiedliche Kriterien optimieren können. Beispielsweise ist das Modell mit dem höchsten eingestellten R²-Wert nicht unbedingt das Modell mit dem höchsten Test-R²-Wert. Der Analytiker muss die verschiedenen Kriterien berücksichtigen, um ein endgültiges Modell auszuwählen.

Um sicherzustellen, dass das Modell nicht nur an einen bestimmten Datensatz angepasst ist, sollten Sie das mit dem Auswahlverfahren gefundene Modell anhand eines neuen Datensatzes überprüfen. Sie können auch den ursprünglichen Datensatz nach dem Zufallsprinzip in zwei Teile unterteilen, auf einen Teil die Regression der besten Teilmengen anwenden, um ein Modell auszuwählen, und dann die Anpassung mit dem zweiten Teil überprüfen. Mit diesem Verfahren kann sichergestellt werden, dass das ausgewählte Modell auch für andere Datensätze gültig ist. Gehen Sie zum Abschnitt über schrittweise Prozeduren mit automatischer Validierung, um mehr über Befehle zu erfahren, die Ihre Daten automatisch partitionieren und Validierungsstatistiken berechnen können.

Schrittweise Verfahren

Alle Analysen, die automatische schrittweise Verfahren in Minitab enthalten, umfassen die folgenden Verfahren. Mit den folgenden Methoden können Sie schnell eine große Anzahl verschiedener Modelle in Bezug auf ihre Modellzusammenfassungsstatistiken für die Daten auswerten, die Sie zum Erstellen des Modells verwenden.

• Die schrittweise Standardregression fügt einen Prädiktor für jeden Schritt hinzu oder entfernt ihn. Minitab beendet das Verfahren, sobald alle Variablen, die nicht im Modell enthalten sind, p-Werte aufweisen, die größer als der angegebene Alpha-für-Aufnahme-Wert sind, und alle Variablen, die im Modell enthalten sind, p-Werte aufweisen, die kleiner oder gleich dem angegebenen Alpha-für-Ausschluss-Wert sind.
• Beim Verfahren des vorwärts gerichteten Informationskriteriums wird dem Modell bei jedem Schritt der Term mit dem niedrigsten p-Wert hinzugefügt. Weitere Terme können in einem Schritt in das Modell aufgenommen werden, wenn die Einstellungen für die Analyse die Berücksichtigung nicht-hierarchischer Terme zulassen, die einzelnen Modelle jedoch hierarchisch sein müssen. Minitab berechnet das Informationskriterium für jeden Schritt. In den meisten Fällen wird das Verfahren fortgesetzt, bis eine der folgenden Bedingungen eintritt:
  • Das Verfahren findet in acht aufeinander folgenden Schritten kein neues Minimum des Kriteriums.
  • Das Verfahren passt das vollständige Modell an.
  • Das Verfahren passt ein Modell an, das 1 Freiheitsgrad für Fehler übrig lässt.
  Wenn Sie Einstellungen für das Verfahren angeben, die bei jedem Schritt ein hierarchisches Modell erfordern und nur die Aufnahme jeweils eines Terms zulassen, wird das Verfahren fortgesetzt, bis entweder das vollständige Modell oder ein Modell angepasst wird, bei dem 1 Freiheitsgrad für Fehler übrig gelassen wird. Minitab zeigt die Ergebnisse für die Analyse des Modells mit dem kleinsten Wert für das ausgewählte Informationskriterium (AICc oder BIC) an.
• Die Vorwärtsauswahl beginnt mit einem leeren Modell oder einem Modell mit von Ihnen angegebenen Begriffen. Anschließend fügt Minitab in jedem Schritt den Term mit der größten Signifikanz hinzu. Minitab beendet das Verfahren, sobald alle Variablen, die nicht im Modell enthalten sind, p-Werte aufweisen, die größer als der angegebene Alpha-für-Aufnahme-Wert sind.
• Bei der Rückwärtselimination sind anfangs alle Prädiktoren im Modell enthalten, und Minitab entfernt in jedem Schritt die am wenigsten signifikante Variable. Minitab beendet das Verfahren, sobald alle Variablen, die im Modell enthalten sind, p-Werte aufweisen, die kleiner oder gleich dem angegebenen Alpha-für-Ausschluss-Wert sind.

Schrittweise Regressionsverfahren mit automatischer Validierung

Die schrittweise Prozedur, die Minitab automatisch mit einem Testdatensatz ausführen kann, wird als Vorwärtsauswahl mit Validierung mit einem Testdatensatz bezeichnet. In diesem Verfahren ist das ursprüngliche Modell leer oder enthält Modellbegriffe, die Sie speziell auswählen. Dann fügt Minitab den nächsten potenziellen Begriff mit dem kleinsten p-Wert bei jedem Schritt hinzu. Minitab berechnet den Test R² für das Modell bei jedem Schritt als R²-Wert für das Modell im Testdatensatz. Die Modellergebnisse, die Minitab präsentiert, beziehen sich auf das Modell mit dem maximalen Wert des Test-R²-Werts.

Für Regressionsmodell anpassenkönnen Sie eine zweite Validierungstechnik auswählen, die mit einer schrittweisen Auswahl, der so genannten Vorwärtsauswahl, mit k-fal-Kreuzvalidierung durchgeführt werden soll. In der k-falten-Kreuzvalidierung unterteilt Minitab das Dataset in k-Teilmengen. Die Teilmengen werden Faltungen genannt. Meistens verwendet die Validierung 10-fache, aber andere Zahlen sind möglich. Die Falten haben so nahe wie möglich eine möglichst große Anzahl von Beobachtungen. Minitab führt vorwärts Auswahl k-Zeiten. Für jede Vorwärtsauswahl sind k-1 Falten der Trainingsdatensatz und die letzte Falte der Testdatensatz. Wie bei anderen Forward-Auswahlverfahren ist das ursprüngliche Modell leer oder enthält Modellbegriffe, die Sie speziell auswählen. Dann fügt Minitab den nächsten potenziellen Begriff mit dem kleinsten p-Wert bei jedem Schritt hinzu. Für jeden Schritt berechnet Minitab den k-fachen R²-Wert, indem die Informationen aus den verschiedenen schrittweisen Auswahlverfahren kombiniert werden.

Hierarchie

Ein hierarchisches Modell ist ein Modell, in dem für jeden Term im Modell alle darin enthaltenen untergeordneten Terme ebenfalls im Modell enthalten sein müssen. Angenommen, Sie verfügen über ein Modell mit vier Faktoren: A, B, C und D. Wenn der Term A * B * C im Modell enthalten ist, müssen die Terme A B C A * B A * C B * C ebenfalls im Modell enthalten sein, auch wenn einige Terme von D sich nicht unbedingt im Modell befinden müssen.

Die Begriffe, die ein Modell in einem Schritt eingeben oder verlassen, hängen von den Spezifikationen für die Hierarchie ab. Standardmäßig erfordert Minitab Statistical Software bei jedem Schritt ein hierarchisches Modell, erfordert Hierarchie für alle Begriffe und lässt nur einen Begriff zu, um das Modell bei jedem Schritt einzugeben. Diese Einstellungen begrenzen die Begriffe, die Minitab bei jedem Schritt berücksichtigt. Beispielsweise kann eine zweiseitige Interaktion nicht in das Modell eingegeben werden, es sei denn, die beiden Begriffe niedrigerer Ordnung in der Interaktion befinden sich bereits im Modell. Sie können diese Einstellungen anpassen, indem Sie auf Hierarchie , wenn Sie eine stufenweise Methode auswählen.

Vergleich der Regression der besten Teilmengen und der schrittweisen Regression

Beste Teilmengen ist eine Analyse in Minitab Statistical Software. Die schrittweise Regression ist eine Option in mehreren Analysen. Beide automatisierten Modellauswahltechniken liefern Informationen über die Passform verschiedener Modelle. Anhand der verschiedenen Modelle können Sie alle Modelle identifizieren, die einer weiteren Erforschung bedürfen.