Kappa mide el grado de concordancia de las evaluaciones nominales u ordinales realizadas por múltiples evaluadores cuando se evalúan las mismas muestras.
Por ejemplo, dos médicos diferentes examinan a 45 pacientes para determinar si tienen una enfermedad específica. ¿Con qué frecuencia coincidirá el diagnóstico de los médicos con respecto a la enfermedad (positivo o negativo)? Otro ejemplo de evaluaciones nominales son las clasificaciones de los defectos encontrados en pantallas de televisores por varios inspectores. ¿Concuerdan consistentemente los inspectores en su clasificación de burbujas, hoyo y sucio?
El AIAG1 sugiere que un valor de kappa de al menos 0,75 indica una concordancia adecuada. Sin embargo, se prefieren valores de kappa más grandes, como 0,90.
Cuando tenga clasificaciones ordinales, tales como clasificaciones de la severidad de los defectos en una escala del 1 al 5, los coeficientes de Kendall, los cuales consideran el orden, suelen ser un estadístico más apropiado para evaluar la asociación que el uso de kappa solamente.
Minitab puede calcular el kappa de Cohen cuando los datos satisfacen los siguientes requisitos:
El kappa de Fleiss y el kappa de Cohen utilizan métodos diferentes para estimar la probabilidad de que una concordancia ocurra en virtud de las probabilidades. El kappa de Fleiss presupone que los evaluadores se seleccionan aleatoriamente de un grupo de evaluadores disponibles. El kappa de Cohen presupone que los evaluadores se seleccionan específicamente y son fijos. Por lo tanto, el kappa de Fleiss y el kappa de Cohen estiman la probabilidad de concordancia de manera diferente.
El coeficiente de concordancia de Kendall indica el grado de asociación de las evaluaciones ordinales realizadas por múltiples evaluadores al evaluar las mismas muestras. El coeficiente de Kendall comúnmente se utiliza en el análisis de concordancia de atributos.
Los valores del coeficiente de Kendall pueden oscilar entre 0 y 1. Cuanto mayor sea el valor de Kendall's, más fuerte será la asociación. de 0,9 o mayores se consideran muy buenos. Un coeficiente de Kendall alto o significativo indica que los evaluadores aplican esencialmente el mismo estándar cuando evalúan las muestras.
Si usted especifica una clasificación conocida para cada muestra, Minitab también calcula los coeficientes de correlación de Kendall. Los coeficientes de correlación se especifican para cada evaluador con el fin de identificar la concordancia de cada evaluador con el valor estándar conocido, y un coeficiente general que represente a todos los evaluadores con los valores estándar. El coeficiente de correlación ayuda a determinar si un evaluador es consistente pero inexacto.
Los valores del coeficiente de Kendall pueden oscilar entre -1 y 1. Un valor positivo indica una asociación positiva. Un valor negativo indica asociación negativa. Mientras más alta sea la magnitud, más fuerte será la asociación.
El valor p proporciona la probabilidad de obtener su muestra, con su coeficiente de correlación de Kendall particular, si la hipótesis nula (H0) es verdadera. Si el valor p es menor que o igual a un nivel predeterminado de significancia (nivel α), usted rechaza la hipótesis nula y da crédito a la hipótesis alternativa.
Los estadísticos kappa representan concordancia absoluta entre las clasificaciones, mientras que los coeficientes de Kendall miden las asociaciones entre las clasificaciones. Por lo tanto, los estadísticos kappa tratan todas las clasificaciones erróneas de igual manera, pero los coeficientes de Kendall no las tratan de la misma manera. Por ejemplo, los coeficientes de Kendall consideran que las consecuencias de clasificar erróneamente un objeto perfecto (clasificación = 5) como malo (clasificación = 1) son más graves que clasificarlo erróneamente como muy bueno (clasificación = 4).