Assistance de Minitab® 

Interprétation des résultats principaux pour Analyse de concordance

En savoir plus sur Minitab
Suivez les étapes ci-dessous pour interpréter une analyse de concordance. Parmi les résultats principaux, citons les statistiques kappa, les statistiques de Kendall et les graphiques de concordance.

Sur ce thème

Etape 1 : Evaluer visuellement la concordance des évaluateurs

Pour déterminer la cohérence des notations de chaque évaluateur, évaluez le graphique Intra-évaluateur. Comparez le pourcentage de correspondances (cercle bleu) à l'intervalle de confiance pour le pourcentage de correspondance (ligne rouge) pour chaque évaluateur.

Pour déterminer la justesse des notations de chaque évaluateur, évaluez le graphique Evaluateur en fonction du standard. Comparez le pourcentage de correspondances (cercle bleu) à l'intervalle de confiance pour le pourcentage de correspondance (ligne rouge) pour chaque évaluateur.

Remarque

Minitab affiche le graphique Intra-évaluateur uniquement en présence de plusieurs essais.

Ce graphique intra-évaluateur indique qu'Amanda possède les notations les plus cohérentes et qu'Eric présente les notations les moins cohérentes. Ce graphique de l'évaluateur en fonction du standard indique qu'Amanda possède les notations les plus correctes et qu'Eric présente les notations les moins correctes.

Etape 2 : Evaluer la cohérence des réponses de chaque évaluateur

Pour déterminer la cohérence entre les notations de chaque évaluateur, évaluez les statistiques kappa dans le tableau Intra-évaluateur. Lorsque les évaluations sont ordinales, vous devez également évaluer les coefficients de concordance de Kendall. Minitab affiche le tableau Intra-évaluateur lorsque chaque évaluateur note plusieurs fois un élément.

Utilisez les statistiques kappa pour évaluer le degré de concordance des notations nominales ou ordinales réalisées par plusieurs évaluateurs lors de l'analyse des mêmes échantillons.

Les valeurs du kappa sont comprises entre –1 et +1. Plus la valeur du kappa est élevée, plus forte est la concordance, comme ci-dessous :
  • Lorsque le kappa = 1, une concordance parfaite existe.
  • Si le kappa a pour valeur 0, la concordance est la même que celle qui pourrait être attendue par seul hasard.
  • Lorsque le kappa < 0, la concordance est plus faible que celle qui pourrait être attendue par hasard ; cela se produit rarement.

Selon la méthode AIAG, une valeur de kappa d'au moins 0,75 indique une concordance correcte. Toutefois, des valeurs plus élevées, comme 0,90, sont privilégiées.

Lorsque vous utilisez des notations ordinales, telles que les notations de la gravité d'un défaut sur une échelle allant de 1 à 5, les coefficients de Kendall, qui tiennent compte de l'ordre, constituent généralement des statistiques plus adaptées que la valeur du kappa seule pour déterminer l'association.

Remarque

Notez que le tableau Intra-évaluateur indique si les notations des évaluateurs sont cohérentes, mais pas si les notations concordent avec les valeurs de référence. Des notations cohérentes ne sont pas nécessairement des notations correctes.

Intra-évaluateur

Concordance d'évaluation Evaluateur # Inspectées # Concordance Pourcentage IC à 95 % Amanda 50 50 100,00 (94,18; 100,00) Brigitte 50 48 96,00 (86,29; 99,51) Eric 50 43 86,00 (73,26; 94,18) Michel 50 45 90,00 (78,19; 96,67) # Concordance : l'évaluateur est conforme avec lui-même après les tests.
Statistiques kappa de Fleiss P (contre > Evaluateur Réponse Kappa Kappa ErT Z 0) Amanda 1 1,00000 0,141421 7,0711 0,0000 2 1,00000 0,141421 7,0711 0,0000 3 1,00000 0,141421 7,0711 0,0000 4 1,00000 0,141421 7,0711 0,0000 5 1,00000 0,141421 7,0711 0,0000 Global 1,00000 0,071052 14,0741 0,0000 Brigitte 1 1,00000 0,141421 7,0711 0,0000 2 0,89605 0,141421 6,3360 0,0000 3 0,86450 0,141421 6,1129 0,0000 4 1,00000 0,141421 7,0711 0,0000 5 1,00000 0,141421 7,0711 0,0000 Global 0,94965 0,071401 13,3002 0,0000 Eric 1 0,83060 0,141421 5,8733 0,0000 2 0,84000 0,141421 5,9397 0,0000 3 0,70238 0,141421 4,9666 0,0000 4 0,70238 0,141421 4,9666 0,0000 5 1,00000 0,141421 7,0711 0,0000 Global 0,82354 0,071591 11,5034 0,0000 Michel 1 1,00000 0,141421 7,0711 0,0000 2 0,83060 0,141421 5,8733 0,0000 3 0,81917 0,141421 5,7924 0,0000 4 0,86450 0,141421 6,1129 0,0000 5 0,86450 0,141421 6,1129 0,0000 Global 0,87472 0,070945 12,3295 0,0000
Coefficient de concordance de Kendall Evaluateur Coeff Khi deux DL P Amanda 1,00000 98,0000 49 0,0000 Brigitte 0,99448 97,4587 49 0,0000 Eric 0,98446 96,4769 49 0,0001 Michel 0,98700 96,7256 49 0,0001
Résultats principaux : Kappa, coefficient de concordance de Kendall

De nombreuses valeurs de kappa sont égales à 1, ce qui indique une concordance parfaite entre les notations d'un évaluateur, d'un essai à l'autre. Certaines valeurs de kappa d'Eric sont proches de 0,70. Vous souhaiterez peut-être étudier l'origine de l'incohérence des notations de ces échantillons par Eric. Les données étant ordinales, Minitab propose le coefficient de concordance de Kendall. Ces valeurs sont toutes supérieures à 0,98, ce qui indique une très forte association avec les notations de l'évaluateur.

Etape 3 : Evaluer la justesse des réponses de chaque évaluateur

Pour déterminer la justesse des notations de chaque évaluateur, évaluez les statistiques kappa dans le tableau Chaque évaluateur en fonction du standard. Lorsque les notations sont ordinales, vous devez également évaluer les coefficients de corrélation de Kendall. Minitab affiche le tableau Chaque évaluateur en fonction du standard lorsque vous indiquez une valeur de référence pour chaque échantillon.

Utilisez les statistiques kappa pour évaluer le degré de concordance des notations nominales ou ordinales réalisées par plusieurs évaluateurs lors de l'analyse des mêmes échantillons.

Les valeurs du kappa sont comprises entre –1 et +1. Plus la valeur du kappa est élevée, plus forte est la concordance, comme ci-dessous :
  • Lorsque le kappa = 1, une concordance parfaite existe.
  • Si le kappa a pour valeur 0, la concordance est la même que celle qui pourrait être attendue par seul hasard.
  • Lorsque le kappa < 0, la concordance est plus faible que celle qui pourrait être attendue par hasard ; cela se produit rarement.

Selon la méthode AIAG, une valeur de kappa d'au moins 0,75 indique une concordance correcte. Toutefois, des valeurs plus élevées, comme 0,90, sont privilégiées.

Lorsque vous utilisez des notations ordinales, telles que les notations de la gravité d'un défaut sur une échelle allant de 1 à 5, les coefficients de Kendall, qui tiennent compte de l'ordre, constituent généralement des statistiques plus adaptées que la valeur du kappa seule pour déterminer l'association.

Chaque évaluateur en fonction du standard

Concordance d'évaluation Evaluateur # Inspectées # Concordance Pourcentage IC à 95 % Amanda 50 47 94,00 (83,45; 98,75) Brigitte 50 46 92,00 (80,77; 97,78) Eric 50 41 82,00 (68,56; 91,42) Michel 50 45 90,00 (78,19; 96,67) # Concordance : les évaluations de tous les évaluateurs, après essais, concordent avec le standard connu.
Statistiques kappa de Fleiss P (contre > Evaluateur Réponse Kappa Kappa ErT Z 0) Amanda 1 1,00000 0,100000 10,0000 0,0000 2 0,83060 0,100000 8,3060 0,0000 3 0,81917 0,100000 8,1917 0,0000 4 1,00000 0,100000 10,0000 0,0000 5 1,00000 0,100000 10,0000 0,0000 Global 0,92476 0,050257 18,4006 0,0000 Brigitte 1 1,00000 0,100000 10,0000 0,0000 2 0,83838 0,100000 8,3838 0,0000 3 0,80725 0,100000 8,0725 0,0000 4 1,00000 0,100000 10,0000 0,0000 5 1,00000 0,100000 10,0000 0,0000 Global 0,92462 0,050396 18,3473 0,0000 Eric 1 0,91159 0,100000 9,1159 0,0000 2 0,81035 0,100000 8,1035 0,0000 3 0,72619 0,100000 7,2619 0,0000 4 0,84919 0,100000 8,4919 0,0000 5 1,00000 0,100000 10,0000 0,0000 Global 0,86163 0,050500 17,0622 0,0000 Michel 1 1,00000 0,100000 10,0000 0,0000 2 0,91694 0,100000 9,1694 0,0000 3 0,90736 0,100000 9,0736 0,0000 4 0,92913 0,100000 9,2913 0,0000 5 0,93502 0,100000 9,3502 0,0000 Global 0,93732 0,050211 18,6674 0,0000
Coefficient de corrélation de Kendall Evaluateur Coeff Coeff ErT Z P Amanda 0,967386 0,0690066 14,0128 0,0000 Brigitte 0,967835 0,0690066 14,0193 0,0000 Eric 0,951863 0,0690066 13,7879 0,0000 Michel 0,975168 0,0690066 14,1256 0,0000
Résultats principaux : Kappa, coefficient de corrélation de Kendall

La plupart des valeurs de kappa sont supérieures à 0,80, ce qui indique une concordance correcte entre chaque évaluateur et le standard. Peu de valeurs de kappa sont proches de 0,70, ce qui indique que vous pouvez être amené à étudier davantage certains échantillons ou certains évaluateurs. Les données étant ordinales, Minitab fournit les coefficients de corrélation de Kendall. Ces valeurs sont comprises entre 0,951863 et 0,975168, ce qui indique une forte association entre les notations et les valeurs standard.

Etape 4 : Evaluer la cohérence entre les réponses des évaluateurs

Pour déterminer la cohérence entre les notations des évaluateurs, évaluez les statistiques kappa dans le tableau Inter-évaluateurs. Lorsque les notations sont ordinales, vous devez également évaluer le coefficient de concordance de Kendall.

Utilisez les statistiques kappa pour évaluer le degré de concordance des notations nominales ou ordinales réalisées par plusieurs évaluateurs lors de l'analyse des mêmes échantillons.

Les valeurs du kappa sont comprises entre –1 et +1. Plus la valeur du kappa est élevée, plus forte est la concordance, comme ci-dessous :
  • Lorsque le kappa = 1, une concordance parfaite existe.
  • Si le kappa a pour valeur 0, la concordance est la même que celle qui pourrait être attendue par seul hasard.
  • Lorsque le kappa < 0, la concordance est plus faible que celle qui pourrait être attendue par hasard ; cela se produit rarement.

Selon la méthode AIAG, une valeur de kappa d'au moins 0,75 indique une concordance correcte. Toutefois, des valeurs plus élevées, comme 0,90, sont privilégiées.

Lorsque vous utilisez des notations ordinales, telles que les notations de la gravité d'un défaut sur une échelle allant de 1 à 5, les coefficients de Kendall, qui tiennent compte de l'ordre, constituent généralement des statistiques plus adaptées que la valeur du kappa seule pour déterminer l'association.

Remarque

Notez que le tableau Inter-évaluateurs indique si les notations des évaluateurs sont cohérentes, mais pas si les notations concordent avec les valeurs de référence. Des notations cohérentes ne sont pas nécessairement des notations correctes.

Inter-évaluateurs

Concordance d'évaluation # Inspectées # Concordance Pourcentage IC à 95 % 50 37 74,00 (59,66; 85,37) # Concordance : les évaluations de tous les évaluateurs concordent entre elles.
Statistiques kappa de Fleiss P (contre > Réponse Kappa Kappa ErT Z 0) 1 0,954392 0,0267261 35,7101 0,0000 2 0,827694 0,0267261 30,9695 0,0000 3 0,772541 0,0267261 28,9058 0,0000 4 0,891127 0,0267261 33,3429 0,0000 5 0,968148 0,0267261 36,2248 0,0000 Global 0,881705 0,0134362 65,6218 0,0000
Coefficient de concordance de Kendall Coeff Khi deux DL P 0,976681 382,859 49 0,0000
Résultats principaux : Kappa, coefficient de concordance de Kendall

Toutes les valeurs de kappa sont supérieures à 0,77, ce qui indique une concordance à peine acceptable entre les évaluateurs. Les évaluateurs présentent une concordance maximale pour les échantillons 1 et 5, et une concordance minimale pour l'échantillon 3. Les données étant ordinales, Minitab propose le coefficient de concordance de Kendall (0,976681), qui indique une très forte association entre les notations des évaluateurs.

Etape 5 : Evaluer la justesse des réponses de tous les évaluateurs

Pour déterminer la justesse des notations de tous les évaluateurs, évaluez les statistiques kappa dans le tableau Tous les évaluateurs en fonction du standard. Lorsque les notations sont ordinales, vous devez également évaluer les coefficients de concordance de Kendall.

Utilisez les statistiques kappa pour évaluer le degré de concordance des notations nominales ou ordinales réalisées par plusieurs évaluateurs lors de l'analyse des mêmes échantillons.

Les valeurs du kappa sont comprises entre –1 et +1. Plus la valeur du kappa est élevée, plus forte est la concordance, comme ci-dessous :
  • Lorsque le kappa = 1, une concordance parfaite existe.
  • Si le kappa a pour valeur 0, la concordance est la même que celle qui pourrait être attendue par seul hasard.
  • Lorsque le kappa < 0, la concordance est plus faible que celle qui pourrait être attendue par hasard ; cela se produit rarement.

Selon la méthode AIAG, une valeur de kappa d'au moins 0,75 indique une concordance correcte. Toutefois, des valeurs plus élevées, comme 0,90, sont privilégiées.

Lorsque vous utilisez des notations ordinales, telles que les notations de la gravité d'un défaut sur une échelle allant de 1 à 5, les coefficients de Kendall, qui tiennent compte de l'ordre, constituent généralement des statistiques plus adaptées que la valeur du kappa seule pour déterminer l'association.

Tous les évaluateurs en fonction du standard

Concordance d'évaluation # Inspectées # Concordance Pourcentage IC à 95 % 50 37 74,00 (59,66; 85,37) # Concordance : les évaluations de tous les évaluateurs concordent avec le standard connu.
Statistiques kappa de Fleiss P (contre > Réponse Kappa Kappa ErT Z 0) 1 0,977897 0,0500000 19,5579 0,0000 2 0,849068 0,0500000 16,9814 0,0000 3 0,814992 0,0500000 16,2998 0,0000 4 0,944580 0,0500000 18,8916 0,0000 5 0,983756 0,0500000 19,6751 0,0000 Global 0,912082 0,0251705 36,2362 0,0000
Coefficient de corrélation de Kendall Coeff Coeff ErT Z P 0,965563 0,0345033 27,9817 0,0000
Résultats principaux : Kappa, coefficient de concordance de Kendall

Ces résultats montrent qu'il existe une correspondance exacte entre les notations de tous les évaluateurs et les notations standard pour 37 des 50 échantillons. La valeur de kappa globale est de 0,912082, ce qui indique une forte concordance avec les valeurs standard. Les données étant ordinales, Minitab propose le coefficient de concordance de Kendall (0,965563), qui indique une forte association entre les notations et les valeurs standard.

Copyright © 2024 Minitab, LLC. All rights Reserved.