¿Qué es kappa?

Kappa mide el grado de concordancia de las evaluaciones nominales u ordinales realizadas por múltiples evaluadores cuando se evalúan las mismas muestras.

Por ejemplo, dos médicos diferentes examinan a 45 pacientes para determinar si tienen una enfermedad específica. ¿Con qué frecuencia coincidirá el diagnóstico de los médicos con respecto a la enfermedad (positivo o negativo)? Otro ejemplo de evaluaciones nominales son las clasificaciones de los defectos encontrados en pantallas de televisores por varios inspectores. ¿Concuerdan consistentemente los inspectores en su clasificación de burbujas, hoyo y sucio?

Interpretación de los valores de kappa

Los valores de kappa varían de –1 a +1. Mientras más alto sea el valor de kappa, más fuerte será la concordancia. Cuando:
  • Kappa = 1, existe concordancia perfecta.
  • Kappa = 0, la concordancia es la misma que se esperaría en virtud de las probabilidades.
  • Kappa < 0, la concordancia es más débil que lo esperado en virtud de las probabilidades; esto casi nunca sucede.

El AIAG1 sugiere que un valor de kappa de al menos 0,75 indica una concordancia adecuada. Sin embargo, se prefieren valores de kappa más grandes, como 0,90.

Cuando tenga clasificaciones ordinales, tales como clasificaciones de la severidad de los defectos en una escala del 1 al 5, los coeficientes de Kendall, los cuales consideran el orden, suelen ser un estadístico más apropiado para evaluar la asociación que el uso de kappa solamente.

Comparación del kappa de Fleiss y el kappa de Cohen

Minitab puede calcular tanto el kappa de Fleiss como el kappa de Cohen. El kappa de Cohen es un estadístico que suele utilizarse para medir la concordancia en las evaluaciones de dos evaluadores. El kappa de Fleiss es una generalización del kappa de Cohen para más de 2 evaluadores. En Análisis de concordancia de atributos, Minitab calcula el kappa de Fleiss por opción predeterminada y ofrece la opción de calcular el kappa de Cohen cuando sea apropiado.
Nota

Minitab puede calcular el kappa de Cohen cuando los datos satisfacen los siguientes requisitos:

  • Para calcular el kappa de Cohen para Por evaluador, usted debe tener 2 ensayos por cada evaluador.
  • Para calcular el kappa de Cohen para Entre los evaluadores, debe tener 2 evaluadores con 1 ensayo.
  • Para calcular el kappa de Cohen para Cada evaluador vs. el estándar y Todos los evaluadores vs. el estándar, debe especificar un valor estándar para cada muestra.

El kappa de Fleiss y el kappa de Cohen utilizan métodos diferentes para estimar la probabilidad de que una concordancia ocurra en virtud de las probabilidades. El kappa de Fleiss presupone que los evaluadores se seleccionan aleatoriamente de un grupo de evaluadores disponibles. El kappa de Cohen presupone que los evaluadores se seleccionan específicamente y son fijos. Por lo tanto, el kappa de Fleiss y el kappa de Cohen estiman la probabilidad de concordancia de manera diferente.

¿Qué es el coeficiente de concordancia de Kendall (KCC)?

El coeficiente de concordancia de Kendall indica el grado de asociación de las evaluaciones ordinales realizadas por múltiples evaluadores al evaluar las mismas muestras. El coeficiente de Kendall comúnmente se utiliza en el análisis de concordancia de atributos.

Interpretación de los valores del coeficiente de concordancia de Kendall

Los valores del coeficiente de Kendall pueden oscilar entre 0 y 1. Cuanto mayor sea el valor de Kendall's, más fuerte será la asociación. de 0,9 o mayores se consideran muy buenos. Un coeficiente de Kendall alto o significativo indica que los evaluadores aplican esencialmente el mismo estándar cuando evalúan las muestras.

¿Qué es el coeficiente de correlación de Kendall?

Si usted especifica una clasificación conocida para cada muestra, Minitab también calcula los coeficientes de correlación de Kendall. Los coeficientes de correlación se especifican para cada evaluador con el fin de identificar la concordancia de cada evaluador con el valor estándar conocido, y un coeficiente general que represente a todos los evaluadores con los valores estándar. El coeficiente de correlación ayuda a determinar si un evaluador es consistente pero inexacto.

Interpretación del coeficiente de correlación de Kendall

Los valores del coeficiente de Kendall pueden oscilar entre -1 y 1. Un valor positivo indica una asociación positiva. Un valor negativo indica asociación negativa. Mientras más alta sea la magnitud, más fuerte será la asociación.

Utilice el coeficiente de correlación de Kendall y sus valores p para elegir entre dos hipótesis opuestas, con base en los datos de la muestra:
  • H0: No existe asociación entre las calificaciones y todos los evaluadores y el estándar conocido.
  • H1: Las calificaciones de todos los evaluadores se asocian con el estándar conocido.

El valor p proporciona la probabilidad de obtener su muestra, con su coeficiente de correlación de Kendall particular, si la hipótesis nula (H0) es verdadera. Si el valor p es menor que o igual a un nivel predeterminado de significancia (nivel α), usted rechaza la hipótesis nula y da crédito a la hipótesis alternativa.

¿Debo utilizar un estadístico kappa o uno de los coeficientes de Kendall?

  • Cuando sus clasificaciones sean nominales (verdadero/falso, bueno/malo, crujiente/crocante/blando), utilice los estadísticos kappa.
  • Cuando sus clasificaciones sean ordinales (calificaciones realizadas con base en una escala), además de los estadísticos kappa, utilice el coeficiente de concordancia de Kendall.
  • Cuando sus clasificaciones sean ordinales y usted tenga un valor estándar conocido para cada ensayo, además de los estadísticos kappa, utilice el coeficiente de correlación de Kendall.

Los estadísticos kappa representan concordancia absoluta entre las clasificaciones, mientras que los coeficientes de Kendall miden las asociaciones entre las clasificaciones. Por lo tanto, los estadísticos kappa tratan todas las clasificaciones erróneas de igual manera, pero los coeficientes de Kendall no las tratan de la misma manera. Por ejemplo, los coeficientes de Kendall consideran que las consecuencias de clasificar erróneamente un objeto perfecto (clasificación = 5) como malo (clasificación = 1) son más graves que clasificarlo erróneamente como muy bueno (clasificación = 4).

1 Automotive Industry Action Group (AIAG) (2010).Measurement Systems Analysis Reference Manual, 4th edition.Chrysler, Ford, General Motors Supplier Quality Requirements Task Force