ROC-Kurve (Receiver Operating Characteristic)

Dieses Makro führt drei Funktionen aus, die im Anschluss an eine binäre logistische Regression (BLR) durchgeführt werden können, um die Leistung des Modells zu beurteilen:
  1. Es wird eine Klassifizierungstabelle generiert.
  2. Es wird eine ROC-Kurve (Receiver Operating Characteristic) generiert.
  3. Auf der Grundlage der Ereigniswahrscheinlichkeiten wird eine Ereigniswahrscheinlichkeit für jede Zeile gespeichert, nicht nur für das erste Vorkommen einer eindeutigen Gruppe von Prädiktorwerten.

Herunterladen des Makros

Vergewissern Sie sich, dass Sie in Minitab den Speicherort des heruntergeladenen Makros angegeben haben. Wählen Sie Extras > Optionen > Allgemein aus. Navigieren Sie im Feld Speicherort für Makros zu dem Speicherort, an dem Sie Makrodateien ablegen.

Wichtig

Wenn Sie einen älteren Webbrowser verwenden und auf die Schaltfläche Herunterladen klicken, wird die Datei möglicherweise in Quicktime geöffnet; für dieses Programm wird dieselbe Dateinamenerweiterung „.mac“ wie für Minitab-Makros verwendet. Um das Makro zu speichern, klicken Sie mit der rechten Maustaste auf die Schaltfläche Herunterladen, und wählen Sie Ziel speichern unter aus.

Erforderliche Eingaben

  • Eine binäre Antwortvariable im Antwort-/Häufigkeitenformat
  • Eine oder mehrere Spalten mit Prädiktorvariablen
  • Eine Spalte mit Ereigniswahrscheinlichkeiten, die bei einer bereits mit den Daten durchgeführten binären logistischen Regression berechnet wurden
Hinweis

Um die Ereigniswahrscheinlichkeiten aus einer binären logistischen Regression zu speichern, klicken Sie im Hauptdialogfeld auf Speichern, und wählen Sie Ereigniswahrscheinlichkeit aus.

Optionale Eingaben

FREQ C
Verwenden Sie diesen Befehl, wenn Sie bei der binären logistischen Regression eine Häufigkeitenspalte angegeben haben. Wenn Sie beispielsweise C4 als Häufigkeitenspalte festgelegt haben, müssen Sie FREQ C4 angeben.
REFEVENT "Text"
Verwenden Sie diesen Befehl, wenn Sie bei der binären logistischen Regression ein Referenzereignis angegeben haben. Wenn die binäre Antwortvariable beispielsweise die Werte „Bestanden“ und „Nicht bestanden“ annehmen kann und Sie das Referenzereignis auf „Bestanden“ festgelegt haben, müssen Sie REFEVENT "Bestanden" angeben.
FITSTORE C
Verwenden Sie diesen Befehl, um eine Spalte anzugeben, in der die angepassten Werte gespeichert werden sollen, die zum Generieren der Klassifizierungstabelle verwendet werden. Bei der binären logistischen Regression ist der angepasste Wert einer Beobachtung gleich dem Referenzereignis, wenn die Ereigniswahrscheinlichkeit dieser Beobachtung größer oder gleich 0,5 ist.
ROCSTORE C C C
Verwenden Sie diesen Befehl, um die Daten zu speichern, mit denen die ROC-Kurve generiert wird. Geben Sie drei Spalten an: eine zum Speichern der Werte von p und zwei zum Speichern der Empfindlichkeits- und Spezifitätswerte für jeden Wert von p. (Beachten Sie, dass in der ROC-Kurve die Empfindlichkeit im Vergleich zu 1 – Spezifität dargestellt wird.)

Ausführen des Makros

Angenommen, die binäre Antwortvariable befindet sich in Spalte C3, und die Spalten C1 und C2 enthalten zwei Prädiktoren. Die Ereigniswahrscheinlichkeiten sind in C5 gespeichert. Um das Makro auszuführen, wählen Sie Bearbeiten > Befehlszeilen-Editor aus, und geben Sie Folgendes ein:

%ROCBLR C3;
MODEL C1 C2;
EPRO C5.

Klicken Sie auf Befehle übermitteln.

Weitere Informationen

Klassifizierungstabellen und ROC-Kurven

Ein Maß für die Eignung eines binären logistischen Regressionsmodells ist dessen Fähigkeit, einen binären Wert der Antwortvariablen auf der Grundlage der Werte der Terme (Prädiktoren) im Modell genau vorherzusagen. Diese Fähigkeit kann in einer Klassifizierungstabelle zusammengefasst werden, die tabellarisch darstellt, wie häufig das angepasste Modell beide Werte der Antwortvariablen korrekt klassifiziert.

Ein Beispiel hierfür finden Sie in der Minitab-Hilfe im Thema „Beispiel für die binäre logistische Regression“. In diesem Beispiel wird ein binäres logistisches Regressionsmodell angepasst, in dem die Antwortvariable „Ruhepuls“ („Hoch“ oder „Niedrig“) ist und „Gewicht“ (eine stetige Variable) und „Raucher“ (eine kategoriale Variable mit zwei Werten, „Ja“ oder „Nein“) die Prädiktoren sind.

Im Datensatz ist eine Person Nichtraucher und wiegt 175 Pfund. Um vorherzusagen, ob diese Person einen hohen oder einen niedrigen Ruhepuls hat, wird das Gewicht der Person und die Angabe, ob es sich um einen Raucher oder einen Nichtraucher handelt (1 für Raucher, 0 für Nichtraucher), in die in der Analyse erstellte Regressionsgleichung eingesetzt. Das Ergebnis ist eine geschätzte Wahrscheinlichkeit für einen niedrigen Ruhepuls (da in diesem Beispiel „Niedrig“ das Referenzereignis ist):

Mit anderen Worten, auf der Grundlage der geschätzten Koeffizienten liegt bei dem Nichtraucher mit einem Gewicht von 175 Pfund eine geschätzte Wahrscheinlichkeit von 92 % vor, einen niedrigen Ruhepuls zu haben. Dies ist die Ereigniswahrscheinlichkeit. Da diese Wahrscheinlichkeit so hoch ist, kann diese Beobachtung als „Niedrig“ klassifiziert werden. Es wird also eine geschätzte Wahrscheinlichkeit als einer von zwei Werten klassifiziert. Der beobachtete Ruhepuls dieser Person war tatsächlich niedrig. Damit war mit diesem Modell eine genaue Prognose des Ruhepulses für diese Person möglich.

Dieselben Schritte können für jede weitere Beobachtung im Datensatz ausgeführt werden, doch muss zuerst entschieden werden, an welchem Punkt der Trennwert für die Ereigniswahrscheinlichkeit liegen soll. Der offensichtlichste Trennwert liegt bei 0,5. Man könnte also sagen, dass alle Beobachtungen im Datensatz mit Ereigniswahrscheinlichkeiten über 0,5 als „niedriger“ Ruhepuls und alle Beobachtungen mit einer Ereigniswahrscheinlichkeit unter 0,5 als „hoher“ Ruhepuls klassifiziert werden.

Abschließend kann der prognostizierte Ruhepuls mit dem tatsächlichen Ruhepuls vergleichen werden, und diese Ergebnisse können in einer Klassifizierungstabelle (nicht abgebildet) dargestellt werden.

Die Tabelle würde zeigen, dass es 68 Personen mit einem niedrigen Ruhepuls gab, bei denen die Ereigniswahrscheinlichkeit größer als 0,5 war; die Klassifizierung war genau. Darüber hinaus gab es zwei Personen mit einem niedrigen Ruhepuls, bei denen die Ereigniswahrscheinlichkeit jedoch kleiner als 0,5 war; die Klassifizierung war ungenau. Ebenso gab es zwei Personen mit einem hohen Ruhepuls, bei denen das Modell den prognostizierten Ruhepuls korrekt klassifiziert hatte. Allerdings gab es außerdem 20 Personen mit einem hohen Ruhepuls, bei denen das Modell den prognostizierten Ruhepuls fälschlicherweise als niedrig klassifiziert hatte. Sie könnten also schlussfolgern, dass das Modell die Tendenz aufweist, den Ruhepuls als niedrig zu prognostizieren.

Zwei weitere Statistiken, die bei der Ermittlung der Genauigkeit des Modells helfen, sind die Empfindlichkeit und die Spezifität. Die Empfindlichkeit misst, wie gut das Modell einen niedrigen Ruhepuls prognostiziert, sofern der tatsächliche Ruhepuls einer Person niedrig ist. Die Spezifität misst, wie gut das Modell einen hohen Ruhepuls prognostiziert, sofern der tatsächliche Ruhepuls einer Person hoch ist. Für beide Statistiken gilt: Je höher der Wert ist, desto besser klassifiziert das Modell Beobachtungen.

In diesem Beispiel beträgt die Empfindlichkeit = 68/70 ≅ 97 % und die Spezifität = 2/22 ≅ 9 %.

Klassifizierungstabellen hängen jedoch stark von der Verteilung der Beobachtungen in der Klassifizierungstabelle ab und können äußerst irreführend ausfallen. Eine ausführliche und aufschlussreiche Diskussion der inhärenten Schwachstellen von Klassifizierungstabellen finden Sie in „Applied Logistic Regression“ von Hosmer und Lemeshow.

Eine bessere Möglichkeit, die Fähigkeit eines binären logistischen Regressionsmodells zur genauen Klassifizierung von Beobachtungen zu beurteilen, ist eine ROC-Kurve (Receiver Operating Characteristic). Eine ROC-Kurve wird erstellt, indem mehrere Klassifizierungstabellen für Trennwerte zwischen 0 und 1 erstellt und für jeden Wert die Empfindlichkeit und Spezifität berechnet werden. Die Die ROC-Kurve ist die Darstellung der Empfindlichkeit im Vergleich mit 1 – Spezifität.

Die Fläche unter der ROC-Kurve (AUC) dient als Maß der Unterscheidungsfähigkeit. Ein Modell mit einer großen Fläche unter der ROC-Kurve weist darauf hin, dass das Modell den Wert der Antwortvariablen für eine Beobachtung genau prognostizieren kann.

Hosmer und Lemeshow führen allgemeine Regeln für die Interpretation der AUC-Werte aus. Eine Umformulierung ihrer Regeln ergibt die folgenden allgemeinen Richtlinien:

AUC = 0,5 Keine Unterscheidungsfähigkeit (d. h., es könnte auch eine Münze geworfen werden)
0,7 ≤ AUC < 0,8 Akzeptable Unterscheidungsfähigkeit
0,8 ≤ AUC < 0,9 Ausgezeichnete Unterscheidungsfähigkeit
AUC ≥ 0,9 Herausragende Unterscheidungsfähigkeit (tritt jedoch sehr selten auf)

Da der AUC-Wert für dieses Modell unter 0,7 liegt, könnte geschlussfolgert werden, dass das Modell keine angemessene Unterscheidungsfähigkeit bietet.

Literaturhinweise:

D.W. Hosmer und S. Lemeshow (2000). „Applied Logistic Regression“. 2nd Ed. John Wiley & Sons, Inc. S. 156–164.

A. Agresti (2002). Categorical Data Analysis. 2nd Ed. John Wiley & Sons, Inc. S. 228–230.

Durch Ihre Nutzung dieser Website stimmen Sie zu, dass Cookies verwendet werden. Cookies dienen zu Analysezwecken und zum Bereitstellen personalisierter Inhalte.  Lesen Sie unsere Richtlinien