Exemple pour Analyse de concordance

Dans une entreprise d'impression textile, des évaluateurs évaluent la qualité d'impression de tissus en coton sur une échelle de 1 à 5. L'ingénieur qualité souhaite évaluer la cohérence et l'exactitude des notes des évaluateurs. Il demande à quatre évaluateurs d'examiner la qualité d'impression de 50 échantillons de tissu à deux reprises, dans un ordre aléatoire.

Etant donné que les données incluent une valeur standard connue pour chaque échantillon, l'ingénieur qualité peut évaluer la cohérence et l'exactitude des évaluations en les comparant à la fois à la valeur standard et aux notes attribuées par les autres évaluateurs.

Ouvrez le fichier de données échantillons, QualitéImpressionTextile.MWX.
Sélectionnez .Stat > Outils de la qualité > Analyse de concordance
Dans la zone Les données sont disposées en, sélectionnez Colonne d'attributs et saisissez Response.
Dans la zone Echantillons, saisissez Echantillon.
Dans la zone Evaluateurs, saisissez Contrôleur.
Dans la zone Standard/attribut connu, saisissez Standard.
Sélectionnez Les catégories des données d'attribut sont ordonnées.
Cliquez sur OK.

Interprétation des résultats

Tableau Intra-évaluateur: Chaque évaluateur effectuant au moins deux notations pour chaque échantillon, l'ingénieur peut évaluer la cohérence de chaque évaluateur.; Tous les évaluateurs présentent de bonnes correspondances, d'Amanda (100 %) à Eric (86 %).; La valeur de p des statistiques kappa de Fleiss est de 0,0000 pour tous les évaluateurs et toutes les réponses, avec α = 0,05. Par conséquent, l'ingénieur rejette l'hypothèse nulle selon laquelle la concordance est due uniquement au hasard.; Cet exemple comportant des notations ordinales, l'ingénieur examine le coefficient de concordance de Kendall. Le coefficient de concordance de Kendall de tous les évaluateurs est compris entre 0,98446 et 1,000, ce qui indique un niveau élevé de concordance.
Tableau Chaque évaluateur en fonction du standard: Comme il existe un standard connu pour chaque échantillon, l'ingénieur peut évaluer l'exactitude et la cohérence des notations de chaque évaluateur.; Chaque évaluateur a noté 50 échantillons de tissu (# Inspectées). Amanda a correctement jugé 47 échantillons au terme des essais (# Concordance), soit une correspondance de 94 %. Eric a correctement jugé 41 échantillons au terme des essais, soit une correspondance de 82 %.; La valeur de p du kappa de Fleiss est de 0,0000 pour tous les évaluateurs et toutes les réponses, avec α = 0,05. Par conséquent, l'ingénieur rejette l'hypothèse nulle selon laquelle la concordance est due uniquement au hasard.; Le coefficient de corrélation de Kendall pour tous les évaluateurs est compris entre 0,951863 et 0,975168, ce qui confirme le niveau élevé de concordance avec le standard.
Tableau Inter-évaluateurs: Le tableau Inter-évaluateurs indique que les notations des évaluateurs concordent pour 37 échantillons sur 50.; La valeur du kappa global de 0,881705 indique un niveau correct de concordance absolue entre les notations des évaluateurs. Le coefficient de concordance de Kendall de 0,976681 confirme cette forte association.; Les statistiques inter-évaluateurs ne comparent pas les notations des évaluateurs au standard. Bien que les notations des évaluateurs soient cohérentes, ces statistiques n'indiquent pas si les notations sont correctes.
Tableau Tous les évaluateurs en fonction du standard: Comme il existe un standard connu pour chaque échantillon, l'ingénieur peut évaluer l'exactitude des notations de tous les évaluateurs.; 37 notations d'évaluateurs sur 50 correspondaient, pour toutes les évaluations, au standard connu (soit une correspondance à 74,0 %).; La valeur du kappa global de 0,912082 indique un niveau correct de concordance absolue des notations entre les évaluateurs et avec le standard. Le coefficient de concordance de Kendall de 0,965563 confirme cette forte association.; Les statistiques Tous les évaluateurs en fonction du standard comparent les notations des évaluateurs au standard. L'ingénieur peut conclure que les notations des évaluateurs sont cohérentes et correctes.

Remarque

La valeur de p de 0,0000 dans les résultats est arrondie. Toutefois, vous pouvez conclure en toute sécurité que la valeur de p est très faible et est inférieure à 0,00005.

Evaluateur	# Inspectées	# Concordance	Pourcentage	IC à 95 %
Amanda	50	50	100,00	(94,18; 100,00)
Brigitte	50	48	96,00	(86,29; 99,51)
Eric	50	43	86,00	(73,26; 94,18)
Michel	50	45	90,00	(78,19; 96,67)

Evaluateur	Réponse	Kappa	Kappa ErT	Z
Amanda	1	1,00000	0,141421	7,0711
	2	1,00000	0,141421	7,0711
	3	1,00000	0,141421	7,0711
	4	1,00000	0,141421	7,0711
	5	1,00000	0,141421	7,0711
	Global	1,00000	0,071052	14,0741
Brigitte	1	1,00000	0,141421	7,0711
	2	0,89605	0,141421	6,3360
	3	0,86450	0,141421	6,1129
	4	1,00000	0,141421	7,0711
	5	1,00000	0,141421	7,0711
	Global	0,94965	0,071401	13,3002
Eric	1	0,83060	0,141421	5,8733
	2	0,84000	0,141421	5,9397
	3	0,70238	0,141421	4,9666
	4	0,70238	0,141421	4,9666
	5	1,00000	0,141421	7,0711
	Global	0,82354	0,071591	11,5034
Michel	1	1,00000	0,141421	7,0711
	2	0,83060	0,141421	5,8733
	3	0,81917	0,141421	5,7924
	4	0,86450	0,141421	6,1129
	5	0,86450	0,141421	6,1129
	Global	0,87472	0,070945	12,3295

Evaluateur	Coeff	Khi deux	DL	P
Amanda	1,00000	98,0000	49	0,0000
Brigitte	0,99448	97,4587	49	0,0000
Eric	0,98446	96,4769	49	0,0001
Michel	0,98700	96,7256	49	0,0001

Evaluateur	# Inspectées	# Concordance	Pourcentage	IC à 95 %
Amanda	50	47	94,00	(83,45; 98,75)
Brigitte	50	46	92,00	(80,77; 97,78)
Eric	50	41	82,00	(68,56; 91,42)
Michel	50	45	90,00	(78,19; 96,67)

Evaluateur	Réponse	Kappa	Kappa ErT	Z
Amanda	1	1,00000	0,100000	10,0000
	2	0,83060	0,100000	8,3060
	3	0,81917	0,100000	8,1917
	4	1,00000	0,100000	10,0000
	5	1,00000	0,100000	10,0000
	Global	0,92476	0,050257	18,4006
Brigitte	1	1,00000	0,100000	10,0000
	2	0,83838	0,100000	8,3838
	3	0,80725	0,100000	8,0725
	4	1,00000	0,100000	10,0000
	5	1,00000	0,100000	10,0000
	Global	0,92462	0,050396	18,3473
Eric	1	0,91159	0,100000	9,1159
	2	0,81035	0,100000	8,1035
	3	0,72619	0,100000	7,2619
	4	0,84919	0,100000	8,4919
	5	1,00000	0,100000	10,0000
	Global	0,86163	0,050500	17,0622
Michel	1	1,00000	0,100000	10,0000
	2	0,91694	0,100000	9,1694
	3	0,90736	0,100000	9,0736
	4	0,92913	0,100000	9,2913
	5	0,93502	0,100000	9,3502
	Global	0,93732	0,050211	18,6674

Exemple pour Analyse de concordance

Interprétation des résultats

Remarque

Concordance d'évaluation

Statistiques kappa de Fleiss

Coefficient de concordance de Kendall

Concordance d'évaluation

Statistiques kappa de Fleiss

Coefficient de corrélation de Kendall

Concordance d'évaluation

Statistiques kappa de Fleiss

Coefficient de concordance de Kendall

Concordance d'évaluation

Statistiques kappa de Fleiss

Coefficient de corrélation de Kendall

Evaluateur	Coeff	Coeff ErT	Z
Amanda	0,967386	0,0690066	14,0128
Brigitte	0,967835	0,0690066	14,0193
Eric	0,951863	0,0690066	13,7879
Michel	0,975168	0,0690066	14,1256

Réponse	Kappa	Kappa ErT	Z
1	0,954392	0,0267261	35,7101
2	0,827694	0,0267261	30,9695
3	0,772541	0,0267261	28,9058
4	0,891127	0,0267261	33,3429
5	0,968148	0,0267261	36,2248
Global	0,881705	0,0134362	65,6218

Réponse	Kappa	Kappa ErT	Z
1	0,977897	0,0500000	19,5579
2	0,849068	0,0500000	16,9814
3	0,814992	0,0500000	16,2998
4	0,944580	0,0500000	18,8916
5	0,983756	0,0500000	19,6751
Global	0,912082	0,0251705	36,2362