Interpretieren aller Statistiken für Regression der besten Teilmengen

Interpretation

Verwenden Sie das R², um zu ermitteln, wie gut das Modell an die Daten angepasst ist. Je höher das R2, desto besser ist das Modell an die Daten angepasst. Das R² liegt immer zwischen 0 % und 100 %.

Sie können eine Darstellung der Anpassungslinie verwenden, um verschiedene Werte von R² grafisch zu veranschaulichen. Das erste Diagramm zeigt ein einfaches Regressionsmodell, das 85,5 % der Streuung der Antwortvariablen erklärt. Das zweite Diagramm zeigt ein Modell, das 22,6 % der Streuung der Antwortvariablen erklärt. Je größer der vom Modell erklärte Anteil der Streuung, desto näher liegen die Datenpunkte an der angepassten Regressionslinie. Würde ein Modell theoretisch 100 % der Streuung erklären, wären die angepassten Werte immer gleich den beobachteten Werten, und sämtliche Datenpunkte würden auf der Anpassungslinie liegen. Selbst bei einem R² von 100 % werden neue Beobachtungen vom Modell jedoch nicht unbedingt genau prognostiziert.

Interpretation

Verwenden Sie das korrigierte R², wenn Sie Modelle vergleichen möchten, die eine unterschiedliche Anzahl von Prädiktoren enthalten. R² nimmt stets zu, wenn Sie einen zusätzlichen Prädiktor in das Modell aufnehmen, selbst wenn damit keine tatsächliche Verbesserung des Modells verbunden ist. Der Wert des korrigierten R² berücksichtigt die Anzahl der Prädiktoren im Modell, so dass Ihnen das Auswählen des richtigen Modells erleichtert wird.

Das erste Modell ergibt ein R² von über 50 %. Beim zweiten Modell wird der Prädiktor „Abkühlgeschwindigkeit“ hinzugefügt. Das korrigierte R² nimmt zu, und dies weist darauf hin, dass „Abkühlgeschwindigkeit“ das Modell verbessert. Im dritten Modell, bei dem der Prädiktor „Frittiertemperatur“ hinzugefügt wird, nimmt das R² zu, jedoch nicht das korrigierte R². Diese Ergebnisse deuten darauf hin, dass das Modell durch „Frittiertemperatur“ nicht verbessert wird. Auf der Grundlage dieser Ergebnisse erwägen Sie, „Frittiertemperatur“ aus dem Modell zu entfernen.

Interpretation

Verwenden Sie PRESS, um die Prognosefähigkeit des Modells zu beurteilen. Im Allgemeinen gilt: Je kleiner der PRESS-Wert, desto besser ist die Prognosefähigkeit des Modells. Minitab verwendet PRESS, um das prognostizierte R² zu berechnen, das im Allgemeinen intuitiver zu interpretieren ist. Kombiniert können diese Statistiken eine übermäßige Anpassung des Modells verhindern. Ein übermäßig angepasstes Modell liegt vor, wenn Sie Terme für Effekte hinzufügen, die in der Grundgesamtheit unbedeutend sind, obwohl sie in den Stichprobendaten als wichtig erscheinen. Das Modell wird somit an die Stichprobendaten angepasst und ist daher möglicherweise beim Aufstellen von Prognosen für die Grundgesamtheit nicht nützlich.

Interpretation

Verwenden Sie das prognostizierte R2, um zu ermitteln, wie genau das Modell Werte der Antwortvariablen für neue Beobachtungen prognostiziert. Modelle mit einem höheren prognostizierten R² zeichnen sich durch eine bessere Prognosefähigkeit aus.

Ein prognostiziertes R², das wesentlich kleiner als R² ist, kann auf eine übermäßige Anpassung des Modells hinweisen. Ein übermäßig angepasstes Modell liegt vor, wenn Sie Terme für Effekte hinzufügen, die in der Grundgesamtheit unbedeutend sind. Das Modell wird somit an die Stichprobendaten angepasst und ist daher möglicherweise beim Aufstellen von Prognosen für die Grundgesamtheit nicht nützlich.

Das prognostizierte R² kann zudem beim Vergleichen von Modellen nützlicher als das korrigierte R² sein, da der Wert mit Beobachtungen berechnet wird, die in der Modellberechnung nicht enthalten sind.

Ein Analytiker bei einem Finanzberatungsunternehmen entwickelt beispielsweise ein Modell zum Prognostizieren künftiger Marktbedingungen. Das Modell sieht vielversprechend aus, denn es weist ein R² von 87 % auf. Das prognostizierte R² beträgt hingegen lediglich 52 %, was darauf hinweist, dass das Modell möglicherweise übermäßig angepasst ist.

Interpretation

Ein Mallows-Cp, das annähernd gleich der Anzahl der Prädiktoren plus der Konstanten ist, weist darauf hin, dass das Modell relativ genaue und unverzerrte Schätzwerte liefert.

Ein Mallows-Cp, das größer als die Anzahl der Prädiktoren plus der Konstanten ist, weist darauf hin, dass das Modell verzerrt und nicht gut an die Daten angepasst ist.

Interpretation

Verwenden Sie S, um zu ermitteln, wie genau das Modell die Antwortvariable beschreibt. S wird in der Maßeinheit der Antwortvariablen ausgedrückt und stellt den Abstand der Datenwerte von den angepassten Werten dar. Je niedriger der Wert von S, desto genauer beschreibt das Modell die Antwortvariable. Ein niedriger Wert von S allein bedeutet jedoch nicht zwangsläufig, dass das Modell die Modellannahmen erfüllt. Prüfen Sie die Annahmen anhand der Residuendiagramme.

Angenommen, Sie sind für einen Hersteller von Kartoffelchips tätig, der die Faktoren untersucht, die den Prozentsatz der zerkrümelten Kartoffelchips in jeder Packung beeinflussen. Sie reduzieren das Modell auf die signifikanten Prädiktoren, und für S wird der Wert 1,79 berechnet. Dieses Ergebnis gibt an, dass die Standardabweichung der Datenpunkte um die angepassten Werte 1,79 beträgt. Beim Vergleichen von Modellen weisen Werte kleiner als 1,79 auf eine bessere und Werte größer als 1,79 auf eine schlechtere Anpassung hin.

Interpretation

Anhand des AICc und des BIC können Sie verschiedene Modelle vergleichen. Erwünscht sind kleinere Werte. Das Modell mit dem kleinsten Wert für eine Gruppe von Prädiktoren ist jedoch nicht zwangsläufig gut an die Daten angepasst. Verwenden Sie auch die Tests und Residuendiagramme, um zu beurteilen, wie gut das Modell an die Daten angepasst ist.

Sowohl AICc als auch BIC werten die Likelihood des Modells aus und wenden dann einen Abzug für das Hinzufügen von Termen zum Modell an. Durch den Abzug wird die Tendenz zur Überanpassung des Modells an die Stichprobendaten reduziert. Durch diese Reduzierung kann ein Modell zustande kommen, das insgesamt eine bessere Leistung erbringt.

Als Faustregel gilt: Wenn die Anzahl der Parameter im Verhältnis zum Stichprobenumfang klein ist, ist der Abzug für das Hinzufügen der einzelnen Parameter für BIC größer als für AICc. In diesen Fällen ist das Modell, bei dem BIC minimiert wird, tendenziell kleiner als das Modell, bei dem AICc minimiert wird.

In einigen gängigen Fällen, z. B. bei Screening-Versuchsplänen, ist die Anzahl der Parameter im Verhältnis zum Stichprobenumfang in der Regel groß. In diesen Fällen ist das Modell, bei dem AICc minimiert wird, tendenziell kleiner als das Modell, bei dem BIC minimiert wird. Bei einem definitiven Screening-Versuchsplan mit 13 Durchläufen ist beispielsweise in der Gruppe der Modelle mit 6 oder mehr Parametern das Modell, bei dem AICc minimiert wird, tendenziell kleiner als das Modell, bei dem BIC minimiert wird.

Weitere Informationen zu AICc und BIC finden Sie in Burnham und Anderson.¹

Interpretation

Verwenden Sie die Bedingungszahl, um Modelle mit unterschiedlichen Termen miteinander zu vergleichen. Die Bedingungszahl 1 gibt an, dass die Modellterme unkorreliert sind. Größere Werte weisen auf eine höhere Multikollinearität hin.

Während die Auswirkungen einer bestimmten Bedingungszahl von verschiedenen Bedingungen abhängen, weisen Werte über 100 in der Regel darauf hin, dass eine nähere Untersuchung erforderlich ist. Wenn Terme im Modell multikollinear sind, ist die Interpretation des Modells komplizierter als bei einem Modell mit unkorrelierten Termen. Weitere Informationen finden Sie unter Multikollinearität bei der Regression.

In diesen Ergebnissen ist die Bedingungszahl 1, wenn das Modell nur einen Term aufweist. (Die Bedingungszahl ist immer 1, wenn das Modell einen stetigen Prädiktor aufweist.) Keines der Modelle weist eine Bedingungszahl größer als 100 auf; es ist also unwahrscheinlich, dass die Multikollinearität unter den Prädiktoren große Auswirkungen auf die Ergebnisse hat.