Statistiques kappa et coefficients de Kendall

Sur ce thème

Qu'est-ce que le kappa ?
Comparaison du kappa de Fleiss et du kappa de Cohen
Qu'est-ce que le coefficient de concordance de Kendall (CCK) ?
Qu'est-ce que le coefficient de corrélation de Kendall ?
Dois-je utiliser une statistique kappa ou l'un des coefficients de Kendall ?

Qu'est-ce que le kappa ?

Le kappa mesure le degré de concordance des évaluations nominales ou ordinales réalisées par plusieurs évaluateurs lors de l'analyse des mêmes échantillons.

Par exemple, 45 patients sont examinés par deux docteurs différents pour une maladie particulière. Combien y aura-t-il d'accords entre les diagnostics (positif ou négatif) réalisés par les docteurs ? Un autre exemple d'évaluations nominales pourrait être la notation par des inspecteurs des défauts d'écrans de télévision. Tombent-ils systématiquement d'accord sur leurs classifications des bulles, des divots et des saletés ?

Interprétation des valeurs du kappa

Les valeurs du kappa sont comprises entre –1 et +1. Plus la valeur du kappa est élevée, plus forte est la concordance. Lorsque :

Kappa = 1, une concordance parfaite existe
Kappa = 0, la concordance est la même que si elle était le fruit du hasard.
Kappa < 0, la concordance est plus faible que celle qui pourrait être attendue par hasard ; cela se produit rarement.

Le AIAG¹ suggère qu’une valeur kappa d’au moins 0,75 indique un bon accord. Toutefois, des valeurs plus élevées, comme 0,90, sont privilégiées.

Lorsque vous utilisez des notations ordinales, telles que les notations de la gravité d'un défaut sur une échelle allant de 1 à 5, les coefficients de Kendall, qui tiennent compte de l'ordre, constituent généralement des statistiques plus adaptées que la valeur du kappa seule pour déterminer l'association.

Comparaison du kappa de Fleiss et du kappa de Cohen

Minitab peut calculer à la fois le kappa de Fleiss et le kappa de Cohen. Le kappa de Cohen est une statistique populaire de mesure de la concordance d'évaluation entre deux évaluateurs. Le kappa de Fleiss est une généralisation du kappa de Cohen pour plus de 2 évaluateurs. Dans Analyse de concordance, Minitab calcule le kappa de Fleiss par défaut et offre la possibilité de calculer le kappa de Cohen, le cas échéant.

Remarque

Minitab peut calculer le kappa de Cohen lorsque vos données répondent aux exigences suivantes :

Pour calculer le kappa de Cohen pour Intra-évaluateur, vous devez disposer de 2 essais pour chaque évaluateur.
Pour calculer le kappa de Cohen pour Inter-évaluateurs, vous devez disposer de 2 évaluateurs avec 1 essai.
Pour calculer le kappa de Cohen pour Chaque évaluateur en fonction du standard et Tous les évaluateurs en fonction du standard, vous devez fournir un standard pour chaque échantillon.

Le kappa de Fleiss et le kappa de Cohen utilisent des méthodes différentes pour estimer la probabilité que la concordance se produise par hasard. Le kappa de Fleiss suppose que les évaluateurs sont sélectionnés de façon aléatoire parmi un groupe d'évaluateurs. Le kappa de Cohen suppose que les évaluateurs sont sélectionnés de façon spécifique et sont fixes. Par conséquent, le kappa de Fleiss et le kappa de Cohen estiment la probabilité de concordance de façon différente.

Qu'est-ce que le coefficient de concordance de Kendall (CCK) ?

Le coefficient de concordance de Kendall indique le degré d'association d'évaluations ordinales réalisées par plusieurs évaluateurs lors de l'analyse des mêmes échantillons. Le coefficient de Kendall est couramment utilisé dans l'analyse de concordance.

Interprétation des valeurs du coefficient de concordance de Kendall

Les valeurs du coefficient de Kendall peuvent être comprises entre 0 et 1. Plus la valeur de Kendall est élevée, plus l’association est forte. En règle générale, les coefficients de Kendall d'une valeur supérieure ou égale à 0,9 sont considérés comme très bons. Un coefficient de Kendall élevé ou significatif indique que les évaluateurs appliquent globalement le même standard pour évaluer les échantillons.

Qu'est-ce que le coefficient de corrélation de Kendall ?

Si vous indiquez une notation connue pour chaque échantillon, Minitab calcule également les coefficients de corrélation de Kendall. Les coefficients de corrélation sont fournis pour chaque évaluateur afin de déterminer la concordance de chaque évaluateur avec le standard connu, tandis qu'un coefficient global représente la concordance de tous les évaluateurs avec les standards. Le coefficient de corrélation vous permet de déterminer si un évaluateur est cohérent mais imprécis.

Interprétation du coefficient de corrélation de Kendall

Les valeurs du coefficient de Kendall peuvent être comprises entre -1 et 1. Une valeur positive indique une association positive. Une valeur négative indique une association négative. Plus la valeur est élevée, plus forte est l'association.

Les coefficients de corrélation de Kendall et leurs valeurs de p vous permettent de faire votre choix entre deux hypothèses opposées, en fonction des données de vos échantillons :

H₀ : il n'existe aucune association entre les notes de tous les évaluateurs et le standard connu.
H₁ : les notes attribuées par tous les évaluateurs sont associées au standard connu.

La valeur de p fournit la probabilité d’obtenir votre échantillon, avec son coefficient de corrélation de Kendall, si l’hypothèse nulle (H₀) est vraie. Si la valeur de p est inférieure ou égale à un seuil de signification prédéterminé (niveau d'α), vous rejetez l'hypothèse nulle et vous choisissez l'hypothèse alternative.

Dois-je utiliser une statistique kappa ou l'un des coefficients de Kendall ?

Lorsque les classements sont nominaux (vrai/faux, bon/mauvais, croustillant/plutôt croustillant/ramolli), utilisez le kappa.
Lorsque les classements sont ordinaux (attribution des notes en fonction d'une échelle), outre les statistiques kappa, utilisez le coefficient de concordance de Kendall.
Lorsque les classements sont ordinaux et que vous disposez d'un standard connu pour chaque essai, outre les statistiques kappa, utilisez le coefficient de corrélation de Kendall.

Les statistiques kappa représentent la concordance absolue entre les notations, tandis que les coefficients de Kendall mesurent les associations entre les notations. Par conséquent, les statistiques kappa traitent de manière égale tous les mauvais classements, contrairement aux coefficients de Kendall. Par exemple, les coefficients de Kendall considèrent que si un objet parfait (note = 5) est noté à tort comme mauvais (note = 1), les conséquences de ce mauvais classement sont plus graves que s'il était noté par erreur comme très bon (note = 4).

¹ Automotive Industry Action Group (AIAG) (2010).Measurement Systems Analysis Reference Manual, 4th edition. Chrysler, Ford, General Motors Supplier Quality Requirements Task Force