O que é kappa?

O kappa mede o grau de concordância das avaliações nominais ou ordinais feitas por diversos avaliadores ao avaliar as mesmas amostras.

Por exemplo, 45 pacientes são avaliados por dois médicos diferentes para uma doença particular. Como, muitas vezes, o diagnóstico da condição (positiva ou negativa) dos médicos está em concordância? Um exemplo diferente de avaliações nominais é inspectores classificando defeitos em telas de TV. Será que eles consistentemente concordam com suas classificações de bolhas, divets e sujeira?

Interpretação de valores kappa

Os valores de Kappa variam de −1 até +1. Quanto maior o valor de kappa, mais forte a concordância. Quando:
  • Kappa = 1, a concordância perfeita existe.
  • Kappa = 0, a concordância é aquela que seria esperada ao acaso.
  • Kappa < 0, a concordância é mais fraca que o esperado pelo acaso; isto ocorre raramente.

O AIAG1 sugere que um valor de kappa de pelo menos 0,75 indica uma boa concordância. No entanto, são preferíveis valores de kappa maiores.

Quando você tem classificações ordinais, tais como as classificações de gravidade de defeitos em uma escala de 1-5, os coeficientes de Kendall, que levam a ordenação em consideração, geralmente são as estatísticas mais apropriadas para determinar associação que somente kappa.

A comparação de kappa de Fleiss e de Cohen

O Minitab pode calcular tanto kappa de Fleiss e kappa de Cohen. Kappa de Cohen é uma estatística popular para medir a concordância de avaliação entre dois avaliadores. Kappa de Fleiss é uma generalização do kappa de Cohen para mais de 2 avaliadores. Em Análise de concordância por atributos, o Minitab calcula o kappa de Fleiss por padrão e oferece a opção de calcular kappa de Cohen, quando apropriado.
Observação

O Minitab pode calcular kappa de Cohen quando seus dados satisfizerem os seguintes requisitos:

  • Para calcular kappa de Cohen para Dentro do Avaliador, você deve ter 2 ensaios para cada avaliador.
  • Para calcular kappa de Cohen para Entre Avaliadores, você deve ter 2 avaliadores com um ensaio.
  • Para calcular kappa de Cohen para Cada avaliador x padrão e Todos os avaliadores x padrão, você deve fornecer um padrão para cada amostra.

A kappa de Fleiss e de Cohen usam métodos diferentes para estimar a probabilidade que a concordância ocorra por acaso. A kappa de Fleiss assume que os avaliadores foram selecionados de forma aleatória a partir de um grupo de avaliadores disponíveis. A kappa de Cohen assume que os avaliadores foram escolhidos de forma especifica e são fixos. Por isso, kappa de Fleiss e de Cohen estimam a probabilidade de concordância de forma diferente.

O que é o coeficiente de concordância de Kendall (KCC)?

O coeficiente de concordância de Kendall indica o grau de associação de avaliações ordinais feitas por vários avaliadores quando avaliam as mesmas amostras. O coeficiente de Kendall normalmente é usado em análise de concordância de atributos.

Interpretação de valores do coeficiente de concordância de Kendall

Os valores do coeficiente de Kendall podem variar de 0 até 1. O valor mais alto de Kendall, a associação mais forte. Normalmente os coeficientes de Kendall de 0,9 ou mais alto são considerados muito bons. Um coeficiente alto ou significativo de Kendall significa que os avaliadores estão aplicando o mesmo padrão quando avaliam as amostras.

O que é o coeficiente de correlação de Kendall?

Se você fornece uma taxa conhecida para cada amostra, o Minitab calcula também os coeficientes de correlação de Kendall. Os coeficientes de correlação são especificados para cada avaliador para identificar a concordância de cada avaliador com o padrão conhecido; e um coeficiente geral para representar todos os avaliadores com os padrões. O coeficiente de correlação ajuda a determinar se um avaliador é consistente mas impreciso.

Interpretação do coeficiente de correlação de Kendall

Os valores do coeficiente de Kendall podem variar de −1 até 1. Um valor positivo indica associação positiva. Um valor negativo indica associação negativa. Quanto mais alta a magnitude, mais forte a associação.

Use o coeficiente de correlação de Kendall para escolher entre duas hipóteses opostas com base nos dados amostrais:
  • H0: Não existe associação entre as classificações de todos os avaliadores e o padrão conhecido.
  • H1: As classificações de todos os avaliadores estão associadas ao padrão conhecido.

O valor p fornece a probabilidade de obter a amostra com o coeficiente de correlação de Kendall específico, se a hipótese nula (H0) for verdadeira. Se o valor p for menor que ou igual a um nível de significância predeterminado (nível alfa), você rejeita a hipótese nula e confirma a hipótese alternativa.

Devo usar uma estatística kappa ou um dos coeficientes de Kendall?

  • Quando as suas classificações são nominais (verdadeira/falsa, boa/ruim, crocante/farinhenta/empapada), use kappa.
  • Quando as classificações forem ordinais (usando uma escala), use o coeficiente de concordância de Kendall além das estatísticas kappa.
  • Quando as classificações forem ordinais e houver um padrão conhecido para cada ensaio, use o coeficiente de correlação de Kendall além das estatísticas kappa.

As estatísticas kappa representam a concordância absoluta entre as taxas enquanto os coeficientes de Kendall medem a ssociação entre as taxas. Therefore, kappa statistics treat all misclassifications equally, but Kendall's coefficients do not treat all misclassifications equally. For instance, Kendall's coefficients considers the consequences of misclassifying a perfect (rating = 5) object as bad (rating = 1) as more serious than misclassifying it as very good (rating = 4).

1 Automotive Industry Action Group (AIAG) (2010). Manual de Referência de Análise de Sistemas de Medição, 4ª edição. Força Tarefa de Requisitos da Qualidade de Fornecedores da Chrysler, Ford e General Motors.
Ao usar esse site, você concorda com a utilização de cookies para análises e conteúdo personalizado.  Leia nossa política