Hinweis
Dieser Befehl ist mit Predictive Analytics-Modul verfügbar. Klicken Sie hier, um weitere Informationen zum Aktivieren des Moduls zu erhalten.
Suche nach dem besten Modelltyp
Ein Forscherteam erfasst und veröffentlicht detaillierte Informationen zu Faktoren, die Herzerkrankungen beeinflussen. Variablen sind Alter, Geschlecht, Cholesterinspiegel, Maximalpuls und viele weitere. Dieses Beispiel basiert auf einem öffentlichen Datensatz, der detaillierte Informationen über Herzerkrankungen liefert. Die Originaldaten stammen von der Website archive.ics.uci.edu.
Die Forscher wollen ein Modell finden, das möglichst genaue Vorhersagen macht. Die Forscher verwenden Bestes Modell ermitteln (binäre Antwort) um die Vorhersageleistung von 4 Arten von Modellen zu vergleichen: binäre logistische Regression, TreeNet®,Random Forests® und CART®. Die Forscher planen, die Art des Modells mit der besten Vorhersageleistung weiter zu untersuchen.
- Öffnen Sie die Beispieldaten HerzKrankheitBinarBestesModell.MTW.
- Wählen Sie aus.
- Geben Sie im Feld Antwort die Spalte 'Herzkrankheiten' ein.
- Geben Sie im Feld Stetige Prädiktoren die Spalten Alter, 'Rest Blutdruck', Cholesterin, 'Max Herzfrequenz', und ' Old Peak' ein.
- Kategoriale PrädiktorenGeben Sie in Sex ein, ' Brust Schmerz Typ', 'Fasten BlutzuckerRest-EKG', ' ',Übung Angina' ' , Steigung'HauptblutgefäßeThal' und Thal.
- Klicken Sie auf OK.
Interpretieren der Ergebnisse
In der Tabelle Modellauswahl wird die Leistung der verschiedenen Modelltypen verglichen. Das Random Forests®-Modell hat den Mindestwert der durchschnittlichen –loglikelihood. Die folgenden Ergebnisse beziehen sich auf das beste Random Forests®-Modell.
Das Diagramm der Fehlklassifizierungsrate vs. Anzahl der Bäume zeigt die gesamte Kurve über die Anzahl der aufgebauten Bäume. Die Fehlklassifizierungsrate liegt bei ca. 0,16.
Die Tabelle mit der Zusammenfassung des Modells zeigt, dass die durchschnittliche negative Log-Likelihood 0,39 beträgt.
Das Diagramm „Relative Variablenwichtigkeit“ zeigt die Prädiktoren in der Reihenfolge ihrer Auswirkungen auf die Modellverbesserung, wenn Teilungen anhand eines Prädiktors über die Abfolge der Bäume hinweg vorgenommen werden. Die wichtigste Prädiktorvariable ist „THAL“. Wenn der Beitrag der obersten Prädiktorvariablen, „THAL“, 100 % beträgt, hat die nächst wichtige Variable, „Hauptgefäße“, einen Beitrag von 98,9 %. Das heißt, dass „Hauptgefäße“ in diesem Klassifikationsmodell 98,9 % so wichtig wie „THAL“ ist.
Die Konfusionsmatrix veranschaulicht, wie gut das Modell die Klassen korrekt trennt. In diesem Beispiel liegt die Wahrscheinlichkeit, dass ein Ereignis korrekt prognostiziert wird, bei 87%. Die Wahrscheinlichkeit, dass ein Nicht-Ereignis korrekt prognostiziert wird, beträgt 81 %.
Die Fehlklassifizierungsrate gibt an, ob das Modell neue Beobachtungen genau prognostizieren wird. Bei der Prognose von Ereignissen beträgt der Fehler bei der Fehlklassifikation im Test 13%. Bei der Prognose von Ereignissen beträgt der Fehler bei der Fehlklassifizierung 19 %. Insgesamt beträgt der Fehlklassifizierungsfehler für die Testdaten ca. 16%.
Die Fläche unter der ROC-Kurve für das Random Forests®-Modell beträgt ungefähr 0,90 für die Out-of-Bag-Daten.
Bestes Modell ermitteln (binäre Antwort): Herzkrankhei vs. Alter; Rest Blutdru; ...
Modellauswahl
Fehlklassifizierungsrate vs. Anzahl der Bäume Plot
Grenzwertoptimierungskurve (ROC-Kurve)
Gain-Diagramm
Lift-Diagramm
Auswählen eines alternativen Modells
Die Forscher können sich Ergebnisse für andere Modelle aus der Suche nach dem besten Modell ansehen. Für ein TreeNet®-Modell können Sie aus einem Modell auswählen, das Teil der Suche war, oder Hyperparameter für ein anderes Modell angeben.
- Klicken Sie nach der Tabelle mit der Zusammenfassung des Modells auf Auswählen eines alternativen Modells.
- Wählen Sie im Feld Modelltyp die Option TreeNet® aus.
- Wählen Vorhandenes Modell auswählen Sie in das dritte Modell aus, das den besten Wert des minimalen Durchschnitts – loglikelihood aufwies.
- Klicken Sie auf Anzeigen der Ergebnisse.
Interpretieren der Ergebnisse
Für diese Analyse baut Minitab 300 Bäume auf, und die optimale Anzahl von Bäumen beträgt 46. Das Modell verwendet eine Lernrate von 0,1 und einen Teilstichprobenanteil von 0,5. Die maximale Anzahl der Endknoten pro Baum beträgt 6.
Das Diagramm der durchschnittlichen –Log-Likelihood vs. Anzahl der Bäume zeigt die gesamte Kurve über die Anzahl der aufgebauten Bäume. Der optimale Wert für die Testdaten ist 0,3907, wenn die Anzahl der Bäume 46 beträgt.
TreeNet®-Klassifikation: Herzkrankhei vs Alter; Rest Blutdru; Cholesterin; ...
Wenn die Anzahl der Bäume 46 beträgt, gibt die Modellzusammenfassungstabelle an, dass die durchschnittliche negative Protokollwahrscheinlichkeit ungefähr 0,21 für die Trainingsdaten und ungefähr 0,39 für die Testdaten beträgt.
Das Diagramm „Relative Variablenwichtigkeit“ zeigt die Prädiktoren in der Reihenfolge ihrer Auswirkungen auf die Modellverbesserung, wenn Teilungen anhand eines Prädiktors über die Abfolge der Bäume hinweg vorgenommen werden. Die wichtigste Prädiktorvariable ist „Brustschmerztyp“. Wenn der Beitrag der obersten Prädiktorvariablen, „Brustschmerztyp“, 100 % beträgt, hat die nächst wichtige Variable, „Hauptgefäße“, einen Beitrag von 95,8 %. Das heißt, dass „Hauptgefäße“ in diesem Modell 95,8% so wichtig wie „Brustschmerztyp“ ist.
TreeNet®-Klassifikation: Herzkrankhei vs Alter; Rest Blutdru; Cholesterin; ...
Die Konfusionsmatrix veranschaulicht, wie gut das Modell die Klassen korrekt trennt. In diesem Beispiel liegt die Wahrscheinlichkeit, dass ein Ereignis korrekt prognostiziert wird, bei 89%. Die Wahrscheinlichkeit, dass ein Nicht-Ereignis korrekt prognostiziert wird, beträgt 80 %.
TreeNet®-Klassifikation: Herzkrankhei vs Alter; Rest Blutdru; Cholesterin; ...
Die Fehlklassifizierungsrate gibt an, ob das Modell neue Beobachtungen genau prognostizieren wird. Bei der Prognose von Ereignissen beträgt der Fehler bei der Fehlklassifikation im Test 11%. Bei der Prognose von Ereignissen beträgt der Fehler bei der Fehlklassifizierung 20 %. Insgesamt beträgt der Fehlklassifizierungsfehler für die Testdaten ca. 15%.
Die Fläche unter der ROC-Kurve bei einer Baumanzahl von 46 beträgt für die Trainingsdaten etwa 0,98 und für die Testdaten etwa 0,90.
In diesem Beispiel zeigt das Gain-Diagramm einen starken Anstieg über die Referenzlinie und flacht dann ab. In diesem Fall erklären etwa 60 % der Daten ungefähr 90 % der richtig Positiven. Diese Differenz entspricht dem zusätzlichen Gain, der aus der Verwendung des Modells resultiert.
In diesem Beispiel zeigt das Hebediagramm einen großen Anstieg über der Referenzlinie, der nach etwa 50 % der Gesamtanzahl schneller abnimmt.
Verwenden Sie die Diagramme der partiellen Abhängigkeit, um zu erfahren, wie sich die wichtigen Variablen oder Variablenpaare auf den prognostizierten Wert der Antwortvariablen auswirken. Die angepassten Ansprechwerte liegen auf der Skala 1:2 log. Die Diagramme der partiellen Abhängigkeit zeigen, ob die Beziehung zwischen der Antwortvariablen und einer Variablen linear, monoton oder komplexer ist.
Im Diagramm der partiellen Abhängigkeit für den Brustschmerztyp beispielsweise die 1/2 logarithmierten mit dem Wert 3 am höchsten. Klicken Sie auf Auswählen weiterer Prädiktoren zur Darstellung, um Diagramme für andere Variablen zu erstellen.
