Exemplo de Análise de concordância por atributos

Avaliadores de tecidos em uma indústria de estamparia avaliam a qualidade da estamparia em algodão em uma escala de 1 a 5 pontos. O engenheiro de qualidade deseja avaliar a consistência e a exatidão das classificações dos avaliadores. O engenheiro pede que quatro avaliadores classifiquem a qualidade da estamparia em 50 amostras de tecidos duas vezes, em ordem aleatória.

Como os dados incluem um padrão conhecido para cada amostra, o engenheiro de qualidade pode avaliar a consistência e a exatidão das classificações em comparação com o padrão, bem como com outros avaliadores.

  1. Abra os dados amostrais, QualidadeDaEstamparia.MWX.
  2. Selecione Estat > Ferramentas da Qualidade > Análise de concordância por atributos.
  3. Em Dados organizados como, selecione Coluna de atributoe insira Resposta.
  4. Em Amostras, insira Amostra.
  5. Em Avaliadores, insira Avaliador.
  6. Em Padrão/atributo conhecido, insira Padrão.
  7. Selecione As categorias dos dados do atributo são ordenadas.
  8. Clique em OK.

Interpretar os resultados

Tabela Entre Avaliadores
Como cada avaliador fornece duas ou mais classificações para cada amostra, o engenheiro pode avaliar a consistência de cada avaliador.
Todos os avaliadores têm boas taxas de correspondência, de Amanda com 100% para Eric com 86%.
O valor-p para estatística kappa de Fleiss é 0,0000 para todos os avaliadores e todas as respostas, com α = 0,05. Por isso, o engenheiro rejeita a hipótese nula de que a concordância é devida somente ao acaso.
Como este exemplo tem classificações ordinais, o engenheiro examina o coeficiente de concordância de Kendall. O coeficiente de concordância de Kendall para todos os avaliadores varia entre 0,98446 e 1,000, o que indica um alto nível de concordância.
Tabela Cada avaliador x padrão
Como não há um padrão conhecido para cada amostra, o engenheiro pode avaliar a exatidão e a consistência de cada classificação do avaliador.
Cada avaliador classificou 50 amostras de tecido (nº de inspecionados). Amanda mediu corretamente 47 amostras em todos os ensaios (nº de correspondências), 94% corresponderam. Eric mediu corretamente 41 amostras em todos os ensaios, 82% corresponderam.
O valor de p para kappa de Fleiss é 0,0000 para todos os avaliadores e todas as respostas, com α = 0,05. Por isso, o engenheiro rejeita a hipótese nula de que a concordância é devida somente ao acaso.
Coeficiente de correlação de Kendall para todos os avaliadores varia entre 0,951863 e 0,975168, o que confirma o alto nível de concordância com o padrão.
Tabela Entre avaliadores
A tabela Entre Avaliadores mostra que os avaliadores concordam com suas classificações em 37 de 50 amostras.
O valor global de kappa de 0,881705 indica um bom nível de concordância absoluta das classificações entre os avaliadores. O coeficiente de concordância de Kendall de 0,976681 confirma essa forte associação.
As estatísticas entre os avaliadores não comparam as classificações dos avaliadores com o padrão. Embora as classificações dos avaliadores possam ser consistentes, essas estatísticas não indicam se a classificações estão corretas.
Tabela Todos os avaliadores x padrão
Como não há um padrão conhecido para cada amostra, o engenheiro pode avaliar a exatidão de todas as classificações dos avaliadores.
Os avaliadores corresponderam 37 de 50 classificações de todas as avaliações com o padrão conhecido, para 74,0% correspondido.
O valor geral de kappa de 0,912082 indica um bom nível de concordância absoluta das classificações entre avaliadores e com o padrão. O coeficiente de concordância de Kendall de 0,965563 confirma essa forte associação.
Todos os avaliadores versus estatísticas padrão comparam as classificações dos avaliadores com o padrão. O engenheiro pode concluir que as classificações dos avaliadores são consistentes e corretas.
Observação

O valor de p de 0,0000 na saída é arredondado. Mas é possível concluir com segurança que o valor de p é muito baixo e é < 0,00005.

Concordância de Avaliação

Avaliador
de Inspecionados

de Correspondências
PercentualIC de 95%
Amanda5050100,00(94,18; 100,00)
Britt504896,00(86,29; 99,51)
Eric504386,00(73,26; 94,18)
Mike504590,00(78,19; 96,67)
Nº de Concordâncias: O avaliador concorda com os ensaios.

Estatísticas de Kappa de Fleiss

AvaliadorRespostaKappaEP de KappaZP(vs > 0)
Amanda11,000000,1414217,07110,0000
  21,000000,1414217,07110,0000
  31,000000,1414217,07110,0000
  41,000000,1414217,07110,0000
  51,000000,1414217,07110,0000
  Global1,000000,07105214,07410,0000
Britt11,000000,1414217,07110,0000
  20,896050,1414216,33600,0000
  30,864500,1414216,11290,0000
  41,000000,1414217,07110,0000
  51,000000,1414217,07110,0000
  Global0,949650,07140113,30020,0000
Eric10,830600,1414215,87330,0000
  20,840000,1414215,93970,0000
  30,702380,1414214,96660,0000
  40,702380,1414214,96660,0000
  51,000000,1414217,07110,0000
  Global0,823540,07159111,50340,0000
Mike11,000000,1414217,07110,0000
  20,830600,1414215,87330,0000
  30,819170,1414215,79240,0000
  40,864500,1414216,11290,0000
  50,864500,1414216,11290,0000
  Global0,874720,07094512,32950,0000

Coeficiente de Concordância de Kendall

AvaliadorCoefQui-QuadradoGLP
Amanda1,0000098,0000490,0000
Britt0,9944897,4587490,0000
Eric0,9844696,4769490,0001
Mike0,9870096,7256490,0001

Concordância de Avaliação

Avaliador
de Inspecionados

de Correspondências
PercentualIC de 95%
Amanda504794,00(83,45; 98,75)
Britt504692,00(80,77; 97,78)
Eric504182,00(68,56; 91,42)
Mike504590,00(78,19; 96,67)
Nº de Correspondências: A avaliação do avaliador ao longo dos ensaios concorda com o padrão
     conhecido.

Estatísticas de Kappa de Fleiss

AvaliadorRespostaKappaEP de KappaZP(vs > 0)
Amanda11,000000,10000010,00000,0000
  20,830600,1000008,30600,0000
  30,819170,1000008,19170,0000
  41,000000,10000010,00000,0000
  51,000000,10000010,00000,0000
  Global0,924760,05025718,40060,0000
Britt11,000000,10000010,00000,0000
  20,838380,1000008,38380,0000
  30,807250,1000008,07250,0000
  41,000000,10000010,00000,0000
  51,000000,10000010,00000,0000
  Global0,924620,05039618,34730,0000
Eric10,911590,1000009,11590,0000
  20,810350,1000008,10350,0000
  30,726190,1000007,26190,0000
  40,849190,1000008,49190,0000
  51,000000,10000010,00000,0000
  Global0,861630,05050017,06220,0000
Mike11,000000,10000010,00000,0000
  20,916940,1000009,16940,0000
  30,907360,1000009,07360,0000
  40,929130,1000009,29130,0000
  50,935020,1000009,35020,0000
  Global0,937320,05021118,66740,0000

Coeficiente de Correlação de Kendall

AvaliadorCoefEP de CoefZP
Amanda0,9673860,069006614,01280,0000
Britt0,9678350,069006614,01930,0000
Eric0,9518630,069006613,78790,0000
Mike0,9751680,069006614,12560,0000

Concordância de Avaliação


de Inspecionados

de Correspondências
PercentualIC de 95%
503774,00(59,66; 85,37)
Nº de Correspondências: As avaliações de todos os avaliadores concordam entre si.

Estatísticas de Kappa de Fleiss

RespostaKappaEP de KappaZP(vs > 0)
10,9543920,026726135,71010,0000
20,8276940,026726130,96950,0000
30,7725410,026726128,90580,0000
40,8911270,026726133,34290,0000
50,9681480,026726136,22480,0000
Global0,8817050,013436265,62180,0000

Coeficiente de Concordância de Kendall

CoefQui-QuadradoGLP
0,976681382,859490,0000

Concordância de Avaliação


de Inspecionados

de Correspondências
PercentualIC de 95%
503774,00(59,66; 85,37)
Nº de Correspondências: As avaliações de todos os avaliadores concordam com o padrão
     conhecido.

Estatísticas de Kappa de Fleiss

RespostaKappaEP de KappaZP(vs > 0)
10,9778970,050000019,55790,0000
20,8490680,050000016,98140,0000
30,8149920,050000016,29980,0000
40,9445800,050000018,89160,0000
50,9837560,050000019,67510,0000
Global0,9120820,025170536,23620,0000

Coeficiente de Correlação de Kendall

CoefEP de CoefZP
0,9655630,034503327,98170,0000