Interpretar os principais resultados para Análise de concordância por atributos

Conclua as etapas a seguir para interpretar uma Análise de concordância por atributos. A saída principal inclui estatística kappa, as estatísticas de Kendall e os gráficos de concordância por atributos.

Etapa 1: Avaliar a concordância do avaliador visualmente

Para determinar a consistência de cada classificação do avaliador, avalie o gráfico Entre Avaliadores. Compare o percentual correspondido (círculo azul) com o intervalo de confiança para o percentual correspondido (linha vermelha) para cada avaliador.

Para determinar a precisão de cada classificação do avaliador, avalie o gráfico Cada avaliador x padrão. Compare o percentual correspondido (círculo azul) com o intervalo de confiança para o percentual correspondido (linha vermelha) para cada avaliador.

Observação

O Minitab exibe o gráfico Entre Avaliadores apenas quando houver vários ensaios.

Este gráfico Entre Avaliadores indica que Amanda classificações mais consistentes e Eric tem classificações menos consistentes. O gráfico Cada avaliador x padrão indica que Amanda tem as classificações mais corretas e Eric tem as classificações menos corretas.

Etapa 2: Avaliar a consistência das repostas para cada avaliador

Para determinar a consistência de cada classificação do avaliador, avalie as estatísticas de kappa na tabela Nos Avaliadores. Quando as classificações forem ordinais, você deve avaliar também coeficientes de concordância de Kendall. O Minitab exibe a tabela Nos do Avaliadores quando cada avaliador classifica um item mais de uma vez.

Use as estatísticas kappa para avaliar o grau de concordância das classificações nominais ou ordinais feitas por vários avaliadores quando os avaliadores avaliarem as mesmas amostras.

Os valores de Kappa variam de -1 até +1. Quanto maior o valor de kappa, mais forte a concordância, da seguinte maneira:
  • Quando kappa = 1, existe uma concordância perfeita.
  • Quando kappa = 0, a concordância é aquela que seria esperada ao acaso.
  • Quando kappa < 0, a concordância é mais fraca do que seria esperado ao acaso, o que raramente ocorre.

A AIAG sugere que um valor de kappa de pelo menos 0,75 indica uma boa concordância. No entanto, valores kappa maiores, como 0,90 como, são preferíveis.

Com classificações ordinais, como a classificação da gravidade de defeitos em uma escala de 1 a 5, os coeficientes de Kendall, que são responsáveis pela ordenação, são geralmente estatísticas mais apropriadas para determinar a associação do que apenas kappa.

Observação

Lembre-se de que a tabela de Nos Avaliadores indica se classificações dos avaliadores são consistentes, mas não se as classificações concordam com os valores de referência. Classificações consistentes não são necessariamente classificações corretas.

Dentro dos Avaliadores

Concordância de Avaliação Nº Nº Avaliador de Inspecionados de Correspondências Percentual IC de 95% Amanda 50 50 100,00 (94,18; 100,00) Britt 50 48 96,00 (86,29; 99,51) Eric 50 43 86,00 (73,26; 94,18) Mike 50 45 90,00 (78,19; 96,67) Nº de Concordâncias: O avaliador concorda com os ensaios.
Estatísticas de Kappa de Fleiss Avaliador Resposta Kappa EP de Kappa Z P(vs > 0) Amanda 1 1,00000 0,141421 7,0711 0,0000 2 1,00000 0,141421 7,0711 0,0000 3 1,00000 0,141421 7,0711 0,0000 4 1,00000 0,141421 7,0711 0,0000 5 1,00000 0,141421 7,0711 0,0000 Global 1,00000 0,071052 14,0741 0,0000 Britt 1 1,00000 0,141421 7,0711 0,0000 2 0,89605 0,141421 6,3360 0,0000 3 0,86450 0,141421 6,1129 0,0000 4 1,00000 0,141421 7,0711 0,0000 5 1,00000 0,141421 7,0711 0,0000 Global 0,94965 0,071401 13,3002 0,0000 Eric 1 0,83060 0,141421 5,8733 0,0000 2 0,84000 0,141421 5,9397 0,0000 3 0,70238 0,141421 4,9666 0,0000 4 0,70238 0,141421 4,9666 0,0000 5 1,00000 0,141421 7,0711 0,0000 Global 0,82354 0,071591 11,5034 0,0000 Mike 1 1,00000 0,141421 7,0711 0,0000 2 0,83060 0,141421 5,8733 0,0000 3 0,81917 0,141421 5,7924 0,0000 4 0,86450 0,141421 6,1129 0,0000 5 0,86450 0,141421 6,1129 0,0000 Global 0,87472 0,070945 12,3295 0,0000
Coeficiente de Concordância de Kendall Avaliador Coef Qui-Quadrado GL P Amanda 1,00000 98,0000 49 0,0000 Britt 0,99448 97,4587 49 0,0000 Eric 0,98446 96,4769 49 0,0001 Mike 0,98700 96,7256 49 0,0001
Resultados chave: Kappa, coeficiente de concordância de Kendall

Muitos dos valores de kappa são 1, que indica uma concordância perfeita dentro de um avaliador entre ensaios. Alguns dos valores de kappa de Eric estão perto de 0,70. Talvez você queira investigar a razão pela qual as classificações de Eric daquelas amostras estavam inconsistentes. Como os dados são ordinais, o Minitab fornece os valores de coeficiente de concordância de Kendall. Estes valores são todos superiores a 0,98, o que indica uma associação muito forte dentro das classificações do avaliador.

Etapa 3: Avaliar a precisão das repostas para cada avaliador

Para determinar a precisão de cada classificação do avaliador, avalie as estatísticas de kappa na tabela Cada avaliador x padrão. Quando as classificações forem ordinais, você deve avaliar também coeficientes de correlação de Kendall. O Minitab exibe a tabela Cada avaliador x padrão — avaliação da concordância exibe quando você especifica um valor de referência para cada amostra.

Use as estatísticas kappa para avaliar o grau de concordância das classificações nominais ou ordinais feitas por vários avaliadores quando os avaliadores avaliarem as mesmas amostras.

Os valores de Kappa variam de -1 até +1. Quanto maior o valor de kappa, mais forte a concordância, da seguinte maneira:
  • Quando kappa = 1, existe uma concordância perfeita.
  • Quando kappa = 0, a concordância é aquela que seria esperada ao acaso.
  • Quando kappa < 0, a concordância é mais fraca do que seria esperado ao acaso, o que raramente ocorre.

A AIAG sugere que um valor de kappa de pelo menos 0,75 indica uma boa concordância. No entanto, valores kappa maiores, como 0,90 como, são preferíveis.

Com classificações ordinais, como a classificação da gravidade de defeitos em uma escala de 1 a 5, os coeficientes de Kendall, que são responsáveis pela ordenação, são geralmente estatísticas mais apropriadas para determinar a associação do que apenas kappa.

Cada Avaliador versus Padrão

Concordância de Avaliação Nº Nº Avaliador de Inspecionados de Correspondências Percentual IC de 95% Amanda 50 47 94,00 (83,45; 98,75) Britt 50 46 92,00 (80,77; 97,78) Eric 50 41 82,00 (68,56; 91,42) Mike 50 45 90,00 (78,19; 96,67) Nº de Correspondências: A avaliação do avaliador ao longo dos ensaios concorda com o padrão conhecido.
Estatísticas de Kappa de Fleiss Avaliador Resposta Kappa EP de Kappa Z P(vs > 0) Amanda 1 1,00000 0,100000 10,0000 0,0000 2 0,83060 0,100000 8,3060 0,0000 3 0,81917 0,100000 8,1917 0,0000 4 1,00000 0,100000 10,0000 0,0000 5 1,00000 0,100000 10,0000 0,0000 Global 0,92476 0,050257 18,4006 0,0000 Britt 1 1,00000 0,100000 10,0000 0,0000 2 0,83838 0,100000 8,3838 0,0000 3 0,80725 0,100000 8,0725 0,0000 4 1,00000 0,100000 10,0000 0,0000 5 1,00000 0,100000 10,0000 0,0000 Global 0,92462 0,050396 18,3473 0,0000 Eric 1 0,91159 0,100000 9,1159 0,0000 2 0,81035 0,100000 8,1035 0,0000 3 0,72619 0,100000 7,2619 0,0000 4 0,84919 0,100000 8,4919 0,0000 5 1,00000 0,100000 10,0000 0,0000 Global 0,86163 0,050500 17,0622 0,0000 Mike 1 1,00000 0,100000 10,0000 0,0000 2 0,91694 0,100000 9,1694 0,0000 3 0,90736 0,100000 9,0736 0,0000 4 0,92913 0,100000 9,2913 0,0000 5 0,93502 0,100000 9,3502 0,0000 Global 0,93732 0,050211 18,6674 0,0000
Coeficiente de Correlação de Kendall Avaliador Coef EP de Coef Z P Amanda 0,967386 0,0690066 14,0128 0,0000 Britt 0,967835 0,0690066 14,0193 0,0000 Eric 0,951863 0,0690066 13,7879 0,0000 Mike 0,975168 0,0690066 14,1256 0,0000
Resultados chave: Kappa, coeficiente de correlação de Kendall

A maioria dos valores de kappa são maiores do que 0,80, o que indica boa concordância entre cada avaliador e o padrão. Alguns dos valores de kappa estão perto de 0,70, o que indica talvez seja necessário investigar determinadas amostras ou ou determinados avaliadores mais detalhadamente. Como os dados são ordinais, o Minitab fornece os coeficientes de correlação de Kendall. Estes valores variam de 0,951863 e 0,975168, o que indica uma forte associação entre as classificações e os valores padrão.

Etapa 4: Avaliar a consistência de respostas entre avaliadores

Para determinar a consistência entre as classificações do avaliador, avalie as estatísticas de kappa na tabela Entre Avaliadores. Quando as classificações forem ordinais, você deve avaliar também coeficientes de concordância da Kendall.

Use as estatísticas kappa para avaliar o grau de concordância das classificações nominais ou ordinais feitas por vários avaliadores quando os avaliadores avaliarem as mesmas amostras.

Os valores de Kappa variam de -1 até +1. Quanto maior o valor de kappa, mais forte a concordância, da seguinte maneira:
  • Quando kappa = 1, existe uma concordância perfeita.
  • Quando kappa = 0, a concordância é aquela que seria esperada ao acaso.
  • Quando kappa < 0, a concordância é mais fraca do que seria esperado ao acaso, o que raramente ocorre.

A AIAG sugere que um valor de kappa de pelo menos 0,75 indica uma boa concordância. No entanto, valores kappa maiores, como 0,90 como, são preferíveis.

Com classificações ordinais, como a classificação da gravidade de defeitos em uma escala de 1 a 5, os coeficientes de Kendall, que são responsáveis pela ordenação, são geralmente estatísticas mais apropriadas para determinar a associação do que apenas kappa.

Observação

Lembre-se de que a tabela de Entre Avaliadores indica se classificações dos avaliadores são consistentes, mas não se as classificações concordam com os valores de referência. Classificações consistentes não são necessariamente classificações corretas.

Entre Avaliadores

Concordância de Avaliação Nº Nº de Inspecionados de Correspondências Percentual IC de 95% 50 37 74,00 (59,66; 85,37) Nº de Correspondências: As avaliações de todos os avaliadores concordam entre si.
Estatísticas de Kappa de Fleiss Resposta Kappa EP de Kappa Z P(vs > 0) 1 0,954392 0,0267261 35,7101 0,0000 2 0,827694 0,0267261 30,9695 0,0000 3 0,772541 0,0267261 28,9058 0,0000 4 0,891127 0,0267261 33,3429 0,0000 5 0,968148 0,0267261 36,2248 0,0000 Global 0,881705 0,0134362 65,6218 0,0000
Coeficiente de Concordância de Kendall Coef Qui-Quadrado GL P 0,976681 382,859 49 0,0000
Resultados chave: Kappa, coeficiente de concordância de Kendall

Todos os valores de kappa são maiores do que 0,77, o que indica concordância minimamente aceitável entre avaliadores. Os avaliadores têm a maioria das concordâncias para as amostras 1 e 5, e a concordância mínima para a amostra 3. Como os dados são ordinais, o Minitab fornece o coeficiente de Kendall de concordância (0,976681), o que indica uma forte associação entre as classificações do avaliador.

Etapa 5: Avaliar a precisão das repostas para todos os avaliadores

Para determinar a precisão de todas as classificações do avaliador, avalie as estatísticas kappa na tabela Todos os avaliadores versus padrão. Quando as classificações forem ordinais, você deve avaliar também coeficientes de concordância de Kendall.

Use as estatísticas kappa para avaliar o grau de concordância das classificações nominais ou ordinais feitas por vários avaliadores quando os avaliadores avaliarem as mesmas amostras.

Os valores de Kappa variam de -1 até +1. Quanto maior o valor de kappa, mais forte a concordância, da seguinte maneira:
  • Quando kappa = 1, existe uma concordância perfeita.
  • Quando kappa = 0, a concordância é aquela que seria esperada ao acaso.
  • Quando kappa < 0, a concordância é mais fraca do que seria esperado ao acaso, o que raramente ocorre.

A AIAG sugere que um valor de kappa de pelo menos 0,75 indica uma boa concordância. No entanto, valores kappa maiores, como 0,90 como, são preferíveis.

Com classificações ordinais, como a classificação da gravidade de defeitos em uma escala de 1 a 5, os coeficientes de Kendall, que são responsáveis pela ordenação, são geralmente estatísticas mais apropriadas para determinar a associação do que apenas kappa.

Todos os Avaliadores versus Padrão

Concordância de Avaliação Nº Nº de Inspecionados de Correspondências Percentual IC de 95% 50 37 74,00 (59,66; 85,37) Nº de Correspondências: As avaliações de todos os avaliadores concordam com o padrão conhecido.
Estatísticas de Kappa de Fleiss Resposta Kappa EP de Kappa Z P(vs > 0) 1 0,977897 0,0500000 19,5579 0,0000 2 0,849068 0,0500000 16,9814 0,0000 3 0,814992 0,0500000 16,2998 0,0000 4 0,944580 0,0500000 18,8916 0,0000 5 0,983756 0,0500000 19,6751 0,0000 Global 0,912082 0,0251705 36,2362 0,0000
Coeficiente de Correlação de Kendall Coef EP de Coef Z P 0,965563 0,0345033 27,9817 0,0000
Resultados chave: Kappa, coeficiente de concordância de Kendall

Estes resultados mostram que todos os avaliadores correspondem às classificações padrão em 37 das 50 amostras. O valor global de kappa é 0,912082, o que indica forte concordância com os valores padrão. Como os dados são ordinais, o Minitab fornece o coeficiente de Kendall de concordância (0,965563), o que indica uma forte associação entre as classificações e os valores padrão.

Ao usar esse site, você concorda com a utilização de cookies para análises e conteúdo personalizado.  Leia nossa política