카파는 여러 평가자가 동일한 표본을 평가할 때 명목형 또는 순서형 평가의 합치도를 측정합니다.
예를 들어 의사 두 명이 환자 45명에 대해 특정 질병의 감염 여부를 검사한다고 가정합니다. 두 의사의 상태(양성 또는 음성) 진단이 얼마나 자주 일치합니까? 명목형 평가의 또 한 가지 예로 TV 화면의 결점을 평가하는 검사자들의 경우를 들 수 있습니다. 검사자들이 거품과 얼룩, 반점의 구분에 대해 항상 동의합니까?
AIAG1 따르면 카파 값이 0.75 이상일 경우 적절히 합치됨을 나타냅니다. 그러나 더 큰 카파 값(예: 0.90)이 바람직합니다.
1-5의 척도를 사용하여 결점의 심각한 정도를 표시할 때처럼 순서형 평가를 하는 경우에는 일반적으로 카파보다는 Kendall의 계수가 연관성을 평가하는 데 더 적절한 통계량입니다.
Minitab에서는 데이터가 다음 요건을 충족하는 경우 Cohen의 카파를 계산할 수 있습니다.
Fleiss의 카파와 Cohen의 카파는 서로 다른 방법을 사용하여 합치가 우연히 발생하는 확률을 추정합니다. Fleiss의 카파에서는 평가자를 선택 가능한 평가자 집단 중에서 무작위로 선택한다고 가정합니다. Cohen의 카파에서는 평가자를 특별히 선택하고 평가자가 정해져 있다고 가정합니다. 따라서 Fleiss의 카파와 Cohen의 카파는 합치 확률을 서로 다르게 추정합니다.
Kendall의 일치성 계수는 여러 평가자가 동일한 표본을 평가할 때 순서형 평가의 연관성을 나타냅니다. Kendall의 계수는 일반적으로 계수형 합치도 분석에 사용됩니다.
Kendall의 계수 값은 범위가 0부터 1까지입니다. Kendall의 값이 높을수록 연관성이 더 강합니다. 일반적으로 Kendall의 계수가 0.9 이상이면 아주 좋은 것으로 간주됩니다. 높거나 유의한 Kendall의 계수는 평가자들이 표본을 평가할 때 본질적으로 동일한 표준을 적용한다는 것을 의미합니다.
각 표본에 대해 이미 알려진 평가를 입력하는 경우에도 Minitab은 Kendall의 상관 계수를 계산합니다. 각 평가자의 알려진 표준에 대한 동일성을 식별하기 위해 평가자별로 상관 계수를 제공하며, 모든 평가자의 표준에 대한 동일성을 표시하기 위해 전체 계수를 지정합니다. 상관 계수는 특정 평가자가 일관성이 있지만 부정확한지 여부를 확인하는 데 도움이 됩니다.
Kendall의 계수 값은 범위가 -1부터 1까지입니다. 양수 값은 양의 연관성을 나타냅니다. 양의 값은 양의 연관성을 나타내고 음의 값은 음의 연관성을 나타냅니다. 크기가 클수록 연관성이 큽니다.
p-값은 귀무 가설(H0)이 참인 경우 특정 Kendall의 상관 계수를 사용하여 표본을 얻을 가능성을 제공합니다. p-값이 사전에 결정된 유의 수준(α-수준)보다 작거나 같으면 귀무 가설을 기각하고 대립 가설을 채택합니다.
Kendall의 계수는 등급 간의 연관성을 측정하는 반면 카파 통계량은 등급 간의 절대 합치도를 나타냅니다. 따라서 카파 통계량은 모든 오분류를 동등하게 처리하지만 Kendall의 계수는 모든 오분류를 동등하게 처리하지 않습니다. 예를 들어, Kendall의 계수는 완전한(등급 = 5) 개체를 불량(등급 = 1)으로 잘못 분류하면 해당 개체를 매우 양호(등급 = 4)로 잘못 분류한 것보다 더 심각한 결과가 발생하는 것으로 간주합니다.