Estatísticas Kappa e coeficientes de Kendall

Neste tópico

O que é kappa?
A comparação de kappa de Fleiss e de Cohen
O que é o coeficiente de concordância de Kendall (KCC)?
O que é o coeficiente de correlação de Kendall?
Devo usar uma estatística kappa ou um dos coeficientes de Kendall?

O que é kappa?

O kappa mede o grau de concordância das avaliações nominais ou ordinais feitas por diversos avaliadores ao avaliar as mesmas amostras.

Por exemplo, 45 pacientes são avaliados por dois médicos diferentes para uma doença particular. Como, muitas vezes, o diagnóstico da condição (positiva ou negativa) dos médicos está em concordância? Um exemplo diferente de avaliações nominais é inspetores classificando defeitos em telas de TV. Será que eles consistentemente concordam com suas classificações de bolhas, buraco e sujeira?

Interpretação de valores kappa

Os valores de Kappa variam de -1 até +1. Quanto maior o valor de kappa, mais forte a concordância. Quando:

Kappa = 1, existe uma concordância perfeita.
Kappa = 0, a concordância é aquela que seria esperada ao acaso.
Kappa < 0, a concordância é mais fraca do que seria esperado ao acaso, o que raramente ocorre.

O AIAG¹. sugere que um valor de kappa de pelo menos 0,75 indica uma boa concordância. No entanto, valores de kappa mais altos, como 0,90, representam resultados preferíveis.

Com classificações ordinais como classificação de defeitos em uma escala de 1 a 5, os coeficientes de Kendall, que levam a ordem em consideração, são geralmente estatísticas mais apropriadas para determinar associação do que apenas kappa.

A comparação de kappa de Fleiss e de Cohen

O Minitab pode calcular tanto kappa de Fleiss e kappa de Cohen. Kappa de Cohen é uma estatística popular para medir a concordância de avaliação entre dois avaliadores. Kappa de Fleiss é uma generalização do kappa de Cohen para mais de 2 avaliadores. Em Análise de concordância por atributos, o Minitab calcula o kappa de Fleiss por padrão e oferece a opção de calcular kappa de Cohen, quando apropriado.

Observação

O Minitab pode calcular kappa de Cohen quando seus dados satisfizerem os seguintes requisitos:

Para calcular kappa de Cohen para Dentro do Avaliador, você deve ter 2 ensaios para cada avaliador.
Para calcular kappa de Cohen para Entre Avaliadores, você deve ter dois avaliadores com um ensaio.
Para calcular kappa de Cohen para Cada avaliador x padrão e Todos os avaliadores x padrão, você deve fornecer um padrão para cada amostra.

A kappa de Fleiss e de Cohen usam métodos diferentes para estimar a probabilidade que a concordância ocorra por acaso. A kappa de Fleiss assume que os avaliadores foram selecionados de forma aleatória a partir de um grupo de avaliadores disponíveis. A kappa de Cohen assume que os avaliadores foram escolhidos de forma especifica e são fixos. Por isso, kappa de Fleiss e de Cohen estimam a probabilidade de concordância de forma diferente.

O que é o coeficiente de concordância de Kendall (KCC)?

O coeficiente de concordância de Kendall indica o grau de associação de avaliações ordinais feitas por vários avaliadores quando avaliam as mesmas amostras. O coeficiente de Kendall normalmente é usado em análise de concordância de atributos.

Interpretação de valores do coeficiente de concordância de Kendall

Os valores do coeficiente de Kendall podem variar de 0 a 1. Quanto maior o valor de Kendall, mais forte é a associação. Normalmente os coeficientes de Kendall de 0,9 ou mais alto são considerados muito bons. Um coeficiente alto ou significativo de Kendall significa que os avaliadores estão aplicando o mesmo padrão quando avaliam as amostras.

O que é o coeficiente de correlação de Kendall?

Se você fornece uma taxa conhecida para cada amostra, o Minitab calcula também os coeficientes de correlação de Kendall. Os coeficientes de correlação são especificados para cada avaliador para identificar a concordância de cada avaliador com o padrão conhecido; e um coeficiente geral para representar todos os avaliadores com os padrões. O coeficiente de correlação ajuda a determinar se um avaliador é consistente mas impreciso.

Interpretação do coeficiente de correlação de Kendall

Os valores do coeficiente de Kendall podem variar de −1 a 1. Um valor positivo indica associação positiva. Um valor negativo indica associação negativa. Quanto mais alta a magnitude, mais forte a associação.

Use o coeficiente de correlação de Kendall para escolher entre duas hipóteses opostas com base nos dados amostrais:

H₀: Não há associação entre as avaliações de todos os avaliadores e o padrão conhecido.
H₁: As classificações de todos os avaliadores estão associadas ao padrão conhecido.

O valor de p fornece a probabilidade de obter sua amostra, com seu coeficiente de correlação de Kendall particular, se a hipótese nula (H₀) for verdadeira. Se o valor p for menor que ou igual a um nível de significância predeterminado (nível alfa), você rejeita a hipótese nula e confirma a hipótese alternativa.

Devo usar uma estatística kappa ou um dos coeficientes de Kendall?

Quando as suas classificações são nominais (verdadeira/falsa, boa/ruim, crocante/farinhenta/empapada), use kappa.
Quando as classificações forem ordinais (usando uma escala), use o coeficiente de concordância de Kendall além das estatísticas kappa.
Quando as classificações forem ordinais e houver um padrão conhecido para cada ensaio, use o coeficiente de correlação de Kendall além das estatísticas kappa.

As estatísticas kappa representam a concordância absoluta entre as taxas enquanto os coeficientes de Kendall medem a associação entre as taxas. Portanto, as estatísticas kappa tratam todas as classificações incorretas igualmente, mas os coeficientes de Kendall não fazem o mesmo. Por exemplo, os coeficientes de Kendall consideram as consequências de classificar incorretamente um objeto perfeito (classificação = 5) como ruim (classificação = 1) tão graves quanto classificá-lo incorretamente como muito bom (classificação = 4).

¹ Automotive Industry Action Group (AIAG) (2010). Measurement Systems Analysis Reference Manual, 4th edition. Chrysler, Ford, General Motors Supplier Quality Requirements Task Force