카파의 정의

카파는 여러 평가자가 동일한 표본을 평가할 때 명목형 또는 순서형 평가의 합치도를 측정합니다.

예를 들어 의사 두 명이 환자 45명에 대해 특정 질병의 감염 여부를 검사한다고 가정합니다. 두 의사의 상태(양성 또는 음성) 진단이 얼마나 자주 일치합니까? 명목형 평가의 또 한 가지 예로 TV 화면의 결점을 평가하는 검사자들의 경우를 들 수 있습니다. 검사자들이 거품과 얼룩, 반점의 구분에 대해 항상 동의합니까?

카파 값 해석

카파 값의 범위는 –1에서 +1 사이입니다. 카파 값이 클수록 합치도가 강합니다. 카파 값에 따라 다음과 같이 결론을 내릴 수 있습니다.
  • 카파 = 1이면 완전하게 합치하는 것입니다.
  • 카파 = 0이면 합치가 우연히 발생하기를 기대하는 것과 같습니다.
  • 카파 < 0이면 합치가 우연히 발생하기를 기대하는 것보다 약합니다. 이러한 경우는 거의 발생하지 않습니다.

AIAG1 따르면 카파 값이 0.75 이상일 경우 적절히 합치됨을 나타냅니다. 그러나 더 큰 카파 값(예: 0.90)이 바람직합니다.

1-5의 척도를 사용하여 결점의 심각한 정도를 표시할 때처럼 순서형 평가를 하는 경우에는 일반적으로 카파보다는 Kendall의 계수가 연관성을 평가하는 데 더 적절한 통계량입니다.

Fleiss의 카파와 Cohen의 카파 비교

Minitab에서는 Fleiss의 카파와 Cohen의 카파를 모두 계산할 수 있습니다. Cohen의 카파는 두 평가자 간의 평가 합치율을 측정하기 위해 일반적으로 사용되는 통계량입니다. Fleiss의 카파는 Cohen의 카파를 3명 이상의 평가자에 대해 일반화한 통계량입니다. Minitab의 에서는 기본적으로 Fleiss의 카파를 계산하며, 해당될 경우 Cohen의 카파를 계산할 수 있는 옵션을 제공합니다.
참고

Minitab에서는 데이터가 다음 요건을 충족하는 경우 Cohen의 카파를 계산할 수 있습니다.

  • 평가자 내 Cohen의 카파를 계산하려면 각 평가자에 대해 2번의 시행 횟수가 있어야 합니다.
  • 평가자 간 Cohen의 카파를 계산하려면 시행 횟수가 1번인 평가자 2명이 있어야 합니다.
  • 각 평가자 대 표준 및 모든 평가자 및 표준에 대해 Cohen의 카파를 계산하려면 각 표본에 대해 표준을 제공해야 합니다.

Fleiss의 카파와 Cohen의 카파는 서로 다른 방법을 사용하여 합치가 우연히 발생하는 확률을 추정합니다. Fleiss의 카파에서는 평가자를 선택 가능한 평가자 집단 중에서 무작위로 선택한다고 가정합니다. Cohen의 카파에서는 평가자를 특별히 선택하고 평가자가 정해져 있다고 가정합니다. 따라서 Fleiss의 카파와 Cohen의 카파는 합치 확률을 서로 다르게 추정합니다.

Kendall의 일치성 계수 정의

Kendall의 일치성 계수는 여러 평가자가 동일한 표본을 평가할 때 순서형 평가의 연관성을 나타냅니다. Kendall의 계수는 일반적으로 계수형 합치도 분석에 사용됩니다.

Kendall의 일치성 계수 값 해석

Kendall의 계수 값은 범위가 0부터 1까지입니다. Kendall의 값이 높을수록 연관성이 더 강합니다. 일반적으로 Kendall의 계수가 0.9 이상이면 아주 좋은 것으로 간주됩니다. 높거나 유의한 Kendall의 계수는 평가자들이 표본을 평가할 때 본질적으로 동일한 표준을 적용한다는 것을 의미합니다.

Kendall의 상관 계수 정의

각 표본에 대해 이미 알려진 평가를 입력하는 경우에도 Minitab은 Kendall의 상관 계수를 계산합니다. 각 평가자의 알려진 표준에 대한 동일성을 식별하기 위해 평가자별로 상관 계수를 제공하며, 모든 평가자의 표준에 대한 동일성을 표시하기 위해 전체 계수를 지정합니다. 상관 계수는 특정 평가자가 일관성이 있지만 부정확한지 여부를 확인하는 데 도움이 됩니다.

Kendall의 상관 계수 해석

Kendall의 계수 값은 범위가 -1부터 1까지입니다. 양수 값은 양의 연관성을 나타냅니다. 양의 값은 양의 연관성을 나타내고 음의 값은 음의 연관성을 나타냅니다. 크기가 클수록 연관성이 큽니다.

표본 데이터를 기반으로 두 가지 대립 가설 중 하나를 선택하려면 Kendall의 상관 계수와 p-값을 사용하십시오.
  • H0: 모든 평가자가 매기는 등급과 알려진 표준 사이에는 연관성이 없다.
  • H1: 모든 평가자가 매기는 등급과 알려진 표준 사이에는 연관성이 있다.

p-값은 귀무 가설(H0)이 참인 경우 특정 Kendall의 상관 계수를 사용하여 표본을 얻을 가능성을 제공합니다. p-값이 사전에 결정된 유의 수준(α-수준)보다 작거나 같으면 귀무 가설을 기각하고 대립 가설을 채택합니다.

카파 통계량 또는 Kendall의 계수 선택

  • 분류가 명목형(참/거짓, 양호/불량, 바삭/딱딱/눅눅)인 경우에는 카파를 사용하십시오.
  • 분류가 순서형(척도를 기준으로 등급이 매겨지는 경우)인 경우에는 카파 통계량 외에 Kendall의 일치성 계수를 사용하십시오.
  • 분류가 순서형이고 각 시행에 대해 알려진 표준이 있는 경우에는 카파 통계량 외에 Kendall의 상관 계수를 사용하십시오.

Kendall의 계수는 등급 간의 연관성을 측정하는 반면 카파 통계량은 등급 간의 절대 합치도를 나타냅니다. 따라서 카파 통계량은 모든 오분류를 동등하게 처리하지만 Kendall의 계수는 모든 오분류를 동등하게 처리하지 않습니다. 예를 들어, Kendall의 계수는 완전한(등급 = 5) 개체를 불량(등급 = 1)으로 잘못 분류하면 해당 개체를 매우 양호(등급 = 4)로 잘못 분류한 것보다 더 심각한 결과가 발생하는 것으로 간주합니다.

1 Automotive Industry Action Group (AIAG) (2010).Measurement Systems Analysis Reference Manual, 4th edition.Chrysler, Ford, General Motors Supplier Quality Requirements Task Force에