Beispiel für Bestes Modell ermitteln (binäre Antwort)

Interpretieren der Ergebnisse

In der Tabelle Modellauswahl wird die Leistung der verschiedenen Modelltypen verglichen. Das Random Forests-Modell® hat den Minimalwert der durchschnittlichen –log-Likelihood. Die folgenden Ergebnisse beziehen sich auf das beste Random Forests-Modell®.

Der Plot Fehlklassifikationsrate vs. Anzahl der Bäume zeigt die gesamte Kurve über die Anzahl der angebauten Bäume. Die Fehlklassifizierungsrate liegt bei ca. 0,16.

Die Modellübersichtstabelle zeigt, dass die durchschnittliche negative logLikelihood etwa 0,39 beträgt.

Das Diagramm „Relative Variablenwichtigkeit“ zeigt die Prädiktoren in der Reihenfolge ihrer Auswirkungen auf die Modellverbesserung, wenn Teilungen anhand eines Prädiktors über die Abfolge der Bäume hinweg vorgenommen werden. Die wichtigste Prädiktorvariable ist „THAL“. Wenn der Beitrag der obersten Prädiktorvariablen, „THAL“, 100 % beträgt, hat die nächst wichtige Variable, „Hauptgefäße“, einen Beitrag von 98,9 %. Das heißt, dass „Hauptgefäße“ in diesem Klassifikationsmodell 98,9 % so wichtig wie „THAL“ ist.

Die Konfusionsmatrix zeigt, wie gut das Modell die Klassen korrekt trennt. In diesem Beispiel beträgt die Wahrscheinlichkeit, dass ein Ereignis richtig vorhergesagt wird, etwa 87 %. Die Wahrscheinlichkeit, dass ein Nicht-Ereignis richtig vorhergesagt wird, beträgt ca. 81 %.

Die Fehlklassifizierungsrate gibt an, ob das Modell neue Beobachtungen genau vorhersagen kann. Für die Vorhersage von Ereignissen beträgt der Out-of-Bag-Fehlklassifikationsfehler etwa 13 %. Für die Vorhersage von Nichtereignissen beträgt der Fehlklassifizierungsfehler ca. 19 %. Insgesamt beträgt der Fehlklassifizierungsfehler für die Testdaten etwa 16 %.

Die Fläche unter der ROC-Kurve für das Random Forests-Modell® beträgt etwa 0,90 für die Out-of-Bag-Daten.

Interpretieren der Ergebnisse

Diese Analyse erzeugt 300 Bäume, und die optimale Anzahl von Bäumen beträgt 46. Das Modell verwendet eine Lernrate von 0,1 und einen Teilstichprobenbruch von 0,5. Die maximale Anzahl an Terminalknoten pro Baum beträgt 6.