Die ROC-Kurve zeigt die Richtig-Positiv-Rate (TPR), auch als Trennschärfe bezeichnet, auf der y-Achse. Die ROC-Kurve zeigt die Falsch-Positiv-Rate (FPR), auch als Fehler 1. Art bezeichnet, auf der x-Achse. Die Fläche unter einer ROC-Kurve gibt an, ob das binäre Modell ein guter Klassifikator ist.
Interpretation
Die Fläche unter der ROC-Kurve kann Werte von 0,5 bis 1 annehmen. Wenn das binäre Modell die Klassen perfekt trennen kann, entspricht die Fläche unter der Kurve 1. Wenn das binäre Modell die Klassen nicht besser als eine zufällige Einteilung trennen kann, entspricht die Fläche unter der Kurve 0,5.
In diesem Beispiel entspricht die Fläche unter der Kurve für den Test 0,9405.
Wird eine Validierungsmethode verwendet, erstellt Minitab zwei ROC-Kurven. Eine Kurve bildet die Trainingsdaten, die andere die Validierungsdaten ab. Die Validierungsergebnisse geben an, ob das Modell die Werte der Antwortvariablen für neue Beobachtungen angemessen prognostizieren oder die Beziehungen zwischen der Antwortvariablen und den Prädiktorvariablen adäquat zusammenfassen kann. Die Ergebnisse für die Trainingsdaten sind in der Regel optimaler als für die tatsächlichen Daten und dienen nur zur Referenz.
Wenn die Fläche unter der ROC-Kurve für K Faltungen wesentlich kleiner als die Fläche unter der ROC-Kurve ist, kann dies darauf hindeuten, dass das Modell übermäßig angepasst ist. Ein Modell ist übermäßig angepasst, wenn es Terme enthält, die in der Grundgesamtheit nicht wichtig sind. Das Modell wird auf die Trainingsdaten zugeschnitten und ist daher möglicherweise nicht nützlich, um Prognosen zur Grundgesamtheit zu treffen.
In diesem Beispiel weist die Trainingskurve eine bessere Anpassung als die Testkurve auf. Die Leistung der Testkurve stellt in der Regel besser dar, welche Leistung das Modell für neue Daten aufweist. Die Fläche unter der Kurve für den Test beträgt 0,8882.
