검정력의 정의

가설 검정의 검정력은 검정이 귀무 가설을 올바르게 기각하는 확률입니다. 가설 검정의 검정력은 표본 크기, 차이, 데이터의 변동성 및 검정 유의 수준의 영향을 받습니다.

검정력이 낮으면 효과를 찾지 못하여 효과가 없다는 잘못된 결론을 내릴 수 있습니다. 검정의 검정력이 너무 높으면 아주 작고 중요하지 않을 수 있는 효과가 유의하게 보일 수 있습니다.

어떤 검정도 완벽하지는 않으므로, 검정 결과에 따라 실제로 참인 귀무 가설(H₀)을 기각하거나(제1종 오류) 실제로 거짓인 H₀을 기각하지 못할(제2종 오류) 가능성이 항상 존재합니다. 이것은 모평균을 추정하기 위해서는 랜덤 표본을 추출해야 하고 랜덤 표본은 말 그대로 랜덤하기 때문에 일어납니다. 따라서 표본 평균이 모평균과 크게 달라질 가능성이 항상 존재합니다.

예를 들어, 정규 분포를 따르는 특정한 모집단의 평균(μ)이 10이고 표준 편차(σ)가 2이면 이 모집단의 95.44%가 6과 14 사이에 있다는 것을 의미합니다. 그러나 관측치 10개를 랜덤하게 선택할 때 표본 평균이 4가 될 가능성이 항상 존재합니다. 이러한 표본에서는 모집단의 실제 평균이 10이라고 절대로 추측할 수 없을 것입니다.

물론, 이러한 표본을 얻을 확률은 상당히 작지만 불가능한 것은 아닙니다. 때로는 표집 오차 때문에 잘못된 결론을 얻을 수도 있습니다. 이런 일이 일어나는 시기는 알 수 없지만 일어나는 빈도를 추정하는 것은 가능합니다. 이 때 검정력을 이용할 수 있습니다.

예를 들어, 공장에서 샴푸 병에 넣는 평균 샴푸량이 목표치인 8온스와 다른지 확인하기 위해 1-표본 t-검정을 수행한다고 가정합니다. 병 10개를 랜덤 표본으로 추출합니다. μ가 실제로 7.5온스(병이 0.5온스만큼 덜 채워지고 있음)이고 σ가 실제로 0.43온스이면 검정력은 0.9039입니다.

검정력 0.9039는 매번 새로운 랜덤 표본을 추출하여 같은 실험을 많이 반복하는 경우 그 중 90.39% 정도가 귀무 가설을 제대로 기각하게 된다는 것을 의미합니다. 나머지 9.61%의 경우에는 표집 오차 때문에 H0이 실제로 거짓인데도 H₀를 기각하지 못하게 됩니다. 물론, 두 번 이상 검정을 반복하지 않겠지만 잘못된 결론을 얻게 되는 표본을 추출할 확률이 상당히 작다는 것을 알아두는 것이 좋습니다.