Kappa-Statistiken für Prüferübereinstimmung bei attributiven Daten

Hier finden Sie Definitionen und Anleitungen zur Interpretation für die Kappa-Statistiken.

In diesem Thema

Antwort
Kappa
SE Kappa
z
P (vs. > 0)

Antwort

Die Stufen der Kategorien in den Daten. Wenn die Prüfer beispielsweise mit einer Skala von 1-5 arbeiten, kann die Antwortvariable die Werte 1 bis 5 annehmen.

Kappa

Kappa ist das Verhältnis zwischen dem Anteil von Übereinstimmungen der Prüfer (um zufällige Übereinstimmungen korrigiert) und dem maximalen Anteil möglicher Übereinstimmungen der Prüfer (um zufällige Übereinstimmungen korrigiert).

Anhand der Kappa-Statistiken können Sie den Grad der Übereinstimmung der nominalen oder ordinalen Einstufungen mehrerer Prüfer ermitteln, wenn mehrere Prüfer dieselben Stichproben einstufen.

Minitab kann sowohl das Fleiss-Kappa als auch das Cohen-Kappa berechnen. Das Cohen-Kappa ist eine gängige Statistik zum Messen der Übereinstimmung der Einstufungen zwischen zwei Prüfern. Das Fleiss-Kappa ist eine Verallgemeinerung des Cohen-Kappa für mehr als zwei Prüfer. Bei der Prüferübereinstimmung bei attributiven Daten berechnet Minitab standardmäßig Fleiss-Kappa-Statistiken.

Minitab kann das Cohen-Kappa berechnen, wenn Ihre Daten die folgenden Anforderungen erfüllen:

Zum Berechnen des Cohen-Kappa für „Innerhalb der Prüfer“ müssen für jeden Prüfer zwei Versuche vorhanden sein.
Zum Berechnen des Cohen-Kappa für „Zwischen Prüfern“ müssen zwei Prüfer mit jeweils einem Versuch vorhanden sein.
Zum Berechnen des Cohen-Kappa für „Jeder Prüfer im Vergleich zum Standard“ und „Alle Prüfer im Vergleich zum Standard“ müssen Sie einen Standard für jede Stichprobe angeben.

Interpretation

Kappa kann Werte im Bereich von 1 bis +1 annehmen. Je höher der Kappa-Wert ist, desto höher ist die Übereinstimmung, d. h.:

Bei Kappa = 1 liegt eine vollkommene Übereinstimmung vor.
Bei Kappa = 0 entspricht die Übereinstimmung der erwarteten zufälligen Übereinstimmung.
Bei Kappa < 0 ist die Übereinstimmung geringer als die erwartete zufällige Übereinstimmung. Dies tritt jedoch sehr selten auf.

Laut der AIAG lässt ein Kappa-Wert von mindestens 0,75 auf eine gute Übereinstimmung schließen. Größere Kappa-Werte wie 0,90 sind jedoch vorzuziehen.

Wenn ordinale Einstufungen vorliegen, z. B. Bewertungen des Schweregrads von Fehlern auf einer Skala von 1 bis 5, stellen Kendall-Koeffizienten, bei denen die Reihenfolge berücksichtigt wird, meist eine besser geeignete Statistik zum Bestimmen der Assoziation als Kappa allein dar.

Weitere Informationen finden Sie unter Kappa-Statistiken und Kendall-Koeffizienten.

SE Kappa

Mit dem Standardfehler für eine geschätzte Kappa-Statistik wird die Präzision des Schätzwerts gemessen. Je geringer der Standardfehler ist, desto präziser ist der Schätzwert.

z

z ist der z-Wert, bei dem es sich um die näherungsweise normalverteilte Teststatistik handelt. Minitab verwendet den z-Wert, um den p-Wert zu ermitteln.

P (vs. > 0)

Der p-Wert ist ein Wahrscheinlichkeitsmaß für die Anzeichen gegen die Annahme der Nullhypothese. Kleinere p-Werte liefern stärkere Anzeichen dafür, dass die Nullhypothese nicht zutrifft.

Bestimmen Sie mit dem p-Wert für Kappa, ob die folgenden Nullhypothesen zurückgewiesen oder nicht zurückgewiesen werden sollten:

H₀ für „Innerhalb der Prüfer“: Die Übereinstimmungen innerhalb eines Prüfers sind zufällig.
H₀ für „Jeder Prüfer im Vergleich zum Standard“: Die Übereinstimmungen zwischen den Einstufungen der Prüfer und dem Standard sind zufällig.
H₀ für „Zwischen Prüfern“: Die Übereinstimmungen zwischen den Prüfern sind zufällig.
H₀ für „Alle Prüfer im Vergleich zum Standard“: Die Übereinstimmungen zwischen den Einstufungen aller Prüfer und dem Standard sind zufällig.

Minitab verwendet den z-Wert, um den p-Wert zu ermitteln.

Interpretation

Um zu bestimmen, ob die Übereinstimmungen zufällig sind, vergleichen Sie den p-Wert mit dem Signifikanzniveau. In der Regel ist ein Signifikanzniveau (als α oder Alpha bezeichnet) von 0,05 gut geeignet. Ein Signifikanzniveau von 0,05 bedeutet ein Risiko der Schlussfolgerung, dass die Prüfer übereinstimmen, während dies tatsächlich nicht der Fall ist, von 5 %.

p-Wert ≤ α: Übereinstimmungen der Prüfer sind nicht zufällig (H₀ zurückweisen): Wenn der p-Wert kleiner oder gleich dem Signifikanzniveau ist, weisen Sie die Nullhypothese zurück und schlussfolgern, dass sich die Übereinstimmungen der Prüfer signifikant von zufälligen Übereinstimmungen unterscheiden.
p-Wert > α: Übereinstimmungen der Prüfer sind zufällig (H₀ nicht zurückweisen): Wenn der p-Wert größer als das Signifikanzniveau ist, weisen Sie die Nullhypothese nicht zurück, da keine ausreichenden Hinweise für die Schlussfolgerung vorliegen, dass sich die Übereinstimmungen der Prüfer von zufälligen Übereinstimmungen unterscheiden.