Interpretieren der wichtigsten Ergebnisse für Prüferübereinstimmung bei attributiven Daten

Führen Sie die folgenden Schritte aus, um eine Analyse der Prüferübereinstimmung bei attributiven Daten zu interpretieren. Zu den wichtigsten Ausgaben zählen Kappa-Statistiken, Kendall-Statistiken und die Grafiken der Prüferübereinstimmung.

Schritt 1: Prüferübereinstimmung visuell untersuchen

Um zu ermitteln, wie beständig die Einstufungen der einzelnen Prüfer ausfallen, werten Sie die Grafik „Innerhalb der Prüfer“ aus. Vergleichen Sie die prozentuale Übereinstimmung (blauer Kreis) mit dem Konfidenzintervall für die prozentuale Übereinstimmung (rote Linie) für jeden Prüfer.

Um die Richtigkeit der Einstufungen jedes Prüfers auszuwerten, untersuchen Sie die Grafik „Prüfer im Vergleich zum Standard“. Vergleichen Sie die prozentuale Übereinstimmung (blauer Kreis) mit dem Konfidenzintervall für die prozentuale Übereinstimmung (rote Linie) für jeden Prüfer.

Hinweis

Minitab zeigt die Grafik „Innerhalb der Prüfer“ nur an, wenn mehrere Versuche vorliegen.

Diese Grafik „Innerhalb der Prüfer“ zeigt, dass für Ahrens die beständigsten Einstufungen und für Ernst die am wenigsten beständigen Einstufungen vorliegen. Die Grafik „Prüfer im Vergleich zum Standard“ belegt, dass Ahrens die meisten richtigen Einstufungen und Ernst die wenigsten richtigen Einstufungen vorgenommen hat.

Schritt 2: Beständigkeit der Antworten für jeden Prüfer auswerten

Um zu ermitteln, wie beständig die Einstufungen der einzelnen Prüfer ausfallen, werten Sie die Kappa-Statistiken in der Tabelle „Innerhalb der Prüfer“ aus. Bei ordinalen Einstufungen sollten Sie außerdem die Kendall-Koeffizienten der Konkordanz betrachten. Minitab zeigt die Tabelle „Innerhalb der Prüfer“ an, wenn jeder Prüfer eine Prüfeinheit mehrmals einstuft.

Anhand der Kappa-Statistiken können Sie den Grad der Übereinstimmung der nominalen oder ordinalen Einstufungen mehrerer Prüfer ermitteln, wenn mehrere Prüfer dieselben Stichproben einstufen.

Kappa kann Werte im Bereich von 1 bis +1 annehmen. Je höher der Kappa-Wert ist, desto höher ist die Übereinstimmung, d. h.:
  • Bei Kappa = 1 liegt eine vollkommene Übereinstimmung vor.
  • Bei Kappa = 0 entspricht die Übereinstimmung der erwarteten zufälligen Übereinstimmung.
  • Bei Kappa < 0 ist die Übereinstimmung geringer als die erwartete zufällige Übereinstimmung. Dies tritt jedoch sehr selten auf.

Laut der AIAG lässt ein Kappa-Wert von mindestens 0,75 auf eine gute Übereinstimmung schließen. Größere Kappa-Werte wie 0,90 sind jedoch vorzuziehen.

Wenn ordinale Einstufungen vorliegen, z. B. Bewertungen des Schweregrads von Fehlern auf einer Skala von 1 bis 5, stellen Kendall-Koeffizienten, bei denen die Reihenfolge berücksichtigt wird, meist eine besser geeignete Statistik zum Bestimmen der Assoziation als Kappa allein dar.

Hinweis

Bedenken Sie, dass die Tabelle „Innerhalb der Prüfer“ angibt, ob die Einstufungen der Prüfer einheitlich sind, jedoch nicht, ob die Einstufungen mit den Referenzwerten übereinstimmen. Einheitliche Einstufungen sind nicht unbedingt richtige Einstufungen.

Innerhalb der Prüfer

Übereinstimmung der Bewertungen Prüfer # Geprüft # Übereinstimmungen Prozent 95%-KI Ahrens 50 50 100,00 (94,18; 100,00) Becker 50 48 96,00 (86,29; 99,51) Ernst 50 43 86,00 (73,26; 94,18) Müller 50 45 90,00 (78,19; 96,67) # Übereinstimmungen: Der Prüfer stimmt versuchsübergreifend mit sich selbst überein.
Fleiss-Kappa-Statistik Prüfer Antwort Kappa SE Kappa z P(vs > 0) Ahrens 1 1,00000 0,141421 7,0711 0,0000 2 1,00000 0,141421 7,0711 0,0000 3 1,00000 0,141421 7,0711 0,0000 4 1,00000 0,141421 7,0711 0,0000 5 1,00000 0,141421 7,0711 0,0000 Gesamt 1,00000 0,071052 14,0741 0,0000 Becker 1 1,00000 0,141421 7,0711 0,0000 2 0,89605 0,141421 6,3360 0,0000 3 0,86450 0,141421 6,1129 0,0000 4 1,00000 0,141421 7,0711 0,0000 5 1,00000 0,141421 7,0711 0,0000 Gesamt 0,94965 0,071401 13,3002 0,0000 Ernst 1 0,83060 0,141421 5,8733 0,0000 2 0,84000 0,141421 5,9397 0,0000 3 0,70238 0,141421 4,9666 0,0000 4 0,70238 0,141421 4,9666 0,0000 5 1,00000 0,141421 7,0711 0,0000 Gesamt 0,82354 0,071591 11,5034 0,0000 Müller 1 1,00000 0,141421 7,0711 0,0000 2 0,83060 0,141421 5,8733 0,0000 3 0,81917 0,141421 5,7924 0,0000 4 0,86450 0,141421 6,1129 0,0000 5 0,86450 0,141421 6,1129 0,0000 Gesamt 0,87472 0,070945 12,3295 0,0000
Kendall-Koeffizient der Konkordanz Prüfer Koef Chi-Qd DF p Ahrens 1,00000 98,0000 49 0,0000 Becker 0,99448 97,4587 49 0,0000 Ernst 0,98446 96,4769 49 0,0001 Müller 0,98700 96,7256 49 0,0001
Wichtigste Ergebnisse: Kappa, Kendall-Koeffizient der Konkordanz

Viele der Kappa-Werte sind gleich 1; dies weist auf eine vollständige Übereinstimmung der Einstufungen eines Prüfers über mehrere Versuche hin. Einige der Kappa-Werte von Ernst liegen nahe 0,70. Möglicherweise sollten Sie untersuchen, weshalb die Einstufungen dieser Stichproben durch Ernst unbeständig waren. Da die Daten ordinal sind, gibt Minitab die Werte des Kendall-Koeffizienten der Konkordanz aus. Diese Werte sind durchgängig größer als 0,98; dies verweist auf eine sehr stark ausgeprägte Assoziation zwischen den Einstufungen des jeweiligen Prüfers.

Schritt 3: Richtigkeit der Einstufungen jedes Prüfers auswerten

Um die Richtigkeit der Einstufungen jedes Prüfers auszuwerten, betrachten Sie die Kappa-Statistiken in der Tabelle „Jeder Prüfer im Vergleich zum Standard“. Bei ordinalen Einstufungen sollten Sie darüber hinaus die Kendall-Koeffizienten der Konkordanz heranziehen. Minitab gibt die Tabelle „Jeder Prüfer im Vergleich zum Standard“ aus, wenn Sie für jede Stichprobe einen Referenzwert angeben.

Anhand der Kappa-Statistiken können Sie den Grad der Übereinstimmung der nominalen oder ordinalen Einstufungen mehrerer Prüfer ermitteln, wenn mehrere Prüfer dieselben Stichproben einstufen.

Kappa kann Werte im Bereich von 1 bis +1 annehmen. Je höher der Kappa-Wert ist, desto höher ist die Übereinstimmung, d. h.:
  • Bei Kappa = 1 liegt eine vollkommene Übereinstimmung vor.
  • Bei Kappa = 0 entspricht die Übereinstimmung der erwarteten zufälligen Übereinstimmung.
  • Bei Kappa < 0 ist die Übereinstimmung geringer als die erwartete zufällige Übereinstimmung. Dies tritt jedoch sehr selten auf.

Laut der AIAG lässt ein Kappa-Wert von mindestens 0,75 auf eine gute Übereinstimmung schließen. Größere Kappa-Werte wie 0,90 sind jedoch vorzuziehen.

Wenn ordinale Einstufungen vorliegen, z. B. Bewertungen des Schweregrads von Fehlern auf einer Skala von 1 bis 5, stellen Kendall-Koeffizienten, bei denen die Reihenfolge berücksichtigt wird, meist eine besser geeignete Statistik zum Bestimmen der Assoziation als Kappa allein dar.

Jeder Prüfer im Vergleich zum Standard

Übereinstimmung der Bewertungen Prüfer # Geprüft # Übereinstimmungen Prozent 95%-KI Ahrens 50 47 94,00 (83,45; 98,75) Becker 50 46 92,00 (80,77; 97,78) Ernst 50 41 82,00 (68,56; 91,42) Müller 50 45 90,00 (78,19; 96,67) # Übereinstimmungen: Die Bewertungen des Prüfers stimmen versuchsübergreifend mit dem bekannten Standard überein.
Fleiss-Kappa-Statistik Prüfer Antwort Kappa SE Kappa z P(vs > 0) Ahrens 1 1,00000 0,100000 10,0000 0,0000 2 0,83060 0,100000 8,3060 0,0000 3 0,81917 0,100000 8,1917 0,0000 4 1,00000 0,100000 10,0000 0,0000 5 1,00000 0,100000 10,0000 0,0000 Gesamt 0,92476 0,050257 18,4006 0,0000 Becker 1 1,00000 0,100000 10,0000 0,0000 2 0,83838 0,100000 8,3838 0,0000 3 0,80725 0,100000 8,0725 0,0000 4 1,00000 0,100000 10,0000 0,0000 5 1,00000 0,100000 10,0000 0,0000 Gesamt 0,92462 0,050396 18,3473 0,0000 Ernst 1 0,91159 0,100000 9,1159 0,0000 2 0,81035 0,100000 8,1035 0,0000 3 0,72619 0,100000 7,2619 0,0000 4 0,84919 0,100000 8,4919 0,0000 5 1,00000 0,100000 10,0000 0,0000 Gesamt 0,86163 0,050500 17,0622 0,0000 Müller 1 1,00000 0,100000 10,0000 0,0000 2 0,91694 0,100000 9,1694 0,0000 3 0,90736 0,100000 9,0736 0,0000 4 0,92913 0,100000 9,2913 0,0000 5 0,93502 0,100000 9,3502 0,0000 Gesamt 0,93732 0,050211 18,6674 0,0000
Kendall-Korrelationskoeffizient Prüfer Koef SE Koef z p Ahrens 0,967386 0,0690066 14,0128 0,0000 Becker 0,967835 0,0690066 14,0193 0,0000 Ernst 0,951863 0,0690066 13,7879 0,0000 Müller 0,975168 0,0690066 14,1256 0,0000
Wichtigste Ergebnisse: Kappa, Kendall-Koeffizient der Korrelation

Die meisten Kappa-Werte sind größer als 0,80; dies weist auf eine gute Übereinstimmung der einzelnen Prüfer mit dem Standard hin. Einige Kappa-Werte liegen nahe 0,70; dies verweist darauf, dass Sie bestimmte Stichproben oder Prüfer möglicherweise eingehender untersuchen sollten. Da die Daten ordinal sind, gibt Minitab die Kendall-Koeffizienten der Korrelation aus. Diese Werte liegen im Bereich von 0,951863 bis 0,975168 und weisen auf eine starke Assoziation zwischen den Einstufungen und den Standardwerten hin.

Schritt 4: Einheitlichkeit der Einstufungen zwischen den einzelnen Prüfern auswerten

Um zu ermitteln, wie einheitlich die Einstufungen zwischen den Prüfern ausfallen, werten Sie die Kappa-Statistiken in der Tabelle „Zwischen Prüfern“ aus. Bei ordinalen Einstufungen sollten Sie außerdem den Kendall-Koeffizienten der Konkordanz betrachten.

Anhand der Kappa-Statistiken können Sie den Grad der Übereinstimmung der nominalen oder ordinalen Einstufungen mehrerer Prüfer ermitteln, wenn mehrere Prüfer dieselben Stichproben einstufen.

Kappa kann Werte im Bereich von 1 bis +1 annehmen. Je höher der Kappa-Wert ist, desto höher ist die Übereinstimmung, d. h.:
  • Bei Kappa = 1 liegt eine vollkommene Übereinstimmung vor.
  • Bei Kappa = 0 entspricht die Übereinstimmung der erwarteten zufälligen Übereinstimmung.
  • Bei Kappa < 0 ist die Übereinstimmung geringer als die erwartete zufällige Übereinstimmung. Dies tritt jedoch sehr selten auf.

Laut der AIAG lässt ein Kappa-Wert von mindestens 0,75 auf eine gute Übereinstimmung schließen. Größere Kappa-Werte wie 0,90 sind jedoch vorzuziehen.

Wenn ordinale Einstufungen vorliegen, z. B. Bewertungen des Schweregrads von Fehlern auf einer Skala von 1 bis 5, stellen Kendall-Koeffizienten, bei denen die Reihenfolge berücksichtigt wird, meist eine besser geeignete Statistik zum Bestimmen der Assoziation als Kappa allein dar.

Hinweis

Bedenken Sie, dass die Tabelle „Zwischen Prüfern“ angibt, ob die Einstufungen der Prüfer einheitlich sind, jedoch nicht, ob die Einstufungen mit den Referenzwerten übereinstimmen. Einheitliche Einstufungen sind nicht unbedingt richtige Einstufungen.

Zwischen Prüfern

Übereinstimmung der Bewertungen # Geprüft # Übereinstimmungen Prozent 95%-KI 50 37 74,00 (59,66; 85,37) # Übereinstimmungen: Die Bewertungen aller Prüfer stimmen miteinander überein.
Fleiss-Kappa-Statistik Antwort Kappa SE Kappa z P(vs > 0) 1 0,954392 0,0267261 35,7101 0,0000 2 0,827694 0,0267261 30,9695 0,0000 3 0,772541 0,0267261 28,9058 0,0000 4 0,891127 0,0267261 33,3429 0,0000 5 0,968148 0,0267261 36,2248 0,0000 Gesamt 0,881705 0,0134362 65,6218 0,0000
Kendall-Koeffizient der Konkordanz Koef Chi-Qd DF p 0,976681 382,859 49 0,0000
Wichtigste Ergebnisse: Kappa, Kendall-Koeffizient der Konkordanz

Alle Kappa-Werte sind größer als 0,77; dies weist auf eine minimal akzeptable Übereinstimmung zwischen den Prüfern hin. Die stärkste Übereinstimmung der Prüfer liegt bei den Stichproben 1 und 5 vor, während die geringste Übereinstimmung bei Stichprobe 3 festzustellen ist. Da die Daten ordinal sind, gibt Minitab den Kendall-Koeffizienten der Konkordanz (0,976681) aus, der auf eine äußerst starke Assoziation zwischen den Einstufungen der Prüfer hinweist.

Schritt 5: Richtigkeit der Antworten für alle Prüfer auswerten

Um die Richtigkeit der Einstufungen aller Prüfer auszuwerten, ziehen Sie die Kappa-Statistiken in der Tabelle „Alle Prüfer im Vergleich zum Standard“ heran. Bei ordinalen Einstufungen sollten Sie außerdem die Kendall-Koeffizienten der Konkordanz betrachten.

Anhand der Kappa-Statistiken können Sie den Grad der Übereinstimmung der nominalen oder ordinalen Einstufungen mehrerer Prüfer ermitteln, wenn mehrere Prüfer dieselben Stichproben einstufen.

Kappa kann Werte im Bereich von 1 bis +1 annehmen. Je höher der Kappa-Wert ist, desto höher ist die Übereinstimmung, d. h.:
  • Bei Kappa = 1 liegt eine vollkommene Übereinstimmung vor.
  • Bei Kappa = 0 entspricht die Übereinstimmung der erwarteten zufälligen Übereinstimmung.
  • Bei Kappa < 0 ist die Übereinstimmung geringer als die erwartete zufällige Übereinstimmung. Dies tritt jedoch sehr selten auf.

Laut der AIAG lässt ein Kappa-Wert von mindestens 0,75 auf eine gute Übereinstimmung schließen. Größere Kappa-Werte wie 0,90 sind jedoch vorzuziehen.

Wenn ordinale Einstufungen vorliegen, z. B. Bewertungen des Schweregrads von Fehlern auf einer Skala von 1 bis 5, stellen Kendall-Koeffizienten, bei denen die Reihenfolge berücksichtigt wird, meist eine besser geeignete Statistik zum Bestimmen der Assoziation als Kappa allein dar.

Alle Prüfer im Vergleich zum Standard

Übereinstimmung der Bewertungen # Geprüft # Übereinstimmungen Prozent 95%-KI 50 37 74,00 (59,66; 85,37) # Übereinstimmungen: Die Bewertungen aller Prüfer stimmen mit dem bekannten Standard überein.
Fleiss-Kappa-Statistik Antwort Kappa SE Kappa z P(vs > 0) 1 0,977897 0,0500000 19,5579 0,0000 2 0,849068 0,0500000 16,9814 0,0000 3 0,814992 0,0500000 16,2998 0,0000 4 0,944580 0,0500000 18,8916 0,0000 5 0,983756 0,0500000 19,6751 0,0000 Gesamt 0,912082 0,0251705 36,2362 0,0000
Kendall-Korrelationskoeffizient Koef SE Koef z p 0,965563 0,0345033 27,9817 0,0000
Wichtigste Ergebnisse: Kappa, Kendall-Koeffizient der Konkordanz

Diese Ergebnisse zeigen, dass bei 37 der 50 Stichproben die Einstufungen aller Prüfer den Standardeinstufungen entsprachen. Der Kappa-Gesamtwert beträgt 0,912082; dies weist auf eine starke Übereinstimmung mit den Standardwerten hin. Da die Daten ordinal sind, gibt Minitab den Kendall-Koeffizienten der Konkordanz (0,965563) aus, der auf eine starke Assoziation zwischen den Einstufungen und den Standardwerten hinweist.

Durch Ihre Nutzung dieser Website stimmen Sie zu, dass Cookies verwendet werden. Cookies dienen zu Analysezwecken und zum Bereitstellen personalisierter Inhalte.  Lesen Sie unsere Richtlinien