가설 검정의 검정력은 검정이 귀무 가설을 올바르게 기각하는 확률입니다. 가설 검정의 검정력은 표본 크기, 차이, 데이터의 변동성 및 검정 유의 수준의 영향을 받습니다.

검정력이 낮으면 효과를 찾지 못하여 효과가 없다는 잘못된 결론을 내릴 수 있습니다. 검정의 검정력이 너무 높으면 아주 작고 중요하지 않을 수 있는 효과가 유의하게 보일 수 있습니다.

어떤 검정도 완벽하지는 않으므로, 검정 결과에 따라 실제로 참인 귀무 가설(H0)을 기각하거나(제1종 오류) 실제로 거짓인 H0을 기각하지 못할(제2종 오류) 가능성이 항상 존재합니다. 이것은 모평균을 추정하기 위해서는 랜덤 표본을 추출해야 하고 랜덤 표본은 말 그대로 랜덤하기 때문에 일어납니다. 따라서 표본 평균이 모평균과 크게 달라질 가능성이 항상 존재합니다.

예를 들어, 정규 분포를 따르는 특정한 모집단의 평균(μ)이 10이고 표준 편차(σ)가 2이면 이 모집단의 95.44%가 6과 14 사이에 있다는 것을 의미합니다. 그러나 관측치 10개를 랜덤하게 선택할 때 표본 평균이 4가 될 가능성이 항상 존재합니다. 이러한 표본에서는 모집단의 실제 평균이 10이라고 절대로 추측할 수 없을 것입니다.

물론, 이러한 표본을 얻을 확률은 상당히 작지만 불가능한 것은 아닙니다. 때로는 표집 오차 때문에 잘못된 결론을 얻을 수도 있습니다. 이런 일이 일어나는 시기는 알 수 없지만 일어나는 빈도를 추정하는 것은 가능합니다. 이 때 검정력을 이용할 수 있습니다.

예를 들어, 공장에서 샴푸 병에 넣는 평균 샴푸량이 목표치인 8온스와 다른지 확인하기 위해 1-표본 t-검정을 수행한다고 가정합니다. 병 10개를 랜덤 표본으로 추출합니다. μ가 실제로 7.5온스(병이 0.5온스만큼 덜 채워지고 있음)이고 σ가 실제로 0.43온스이면 검정력은 0.9039입니다.

검정력 0.9039는 매번 새로운 랜덤 표본을 추출하여 같은 실험을 많이 반복하는 경우 그 중 90.39% 정도가 귀무 가설을 제대로 기각하게 된다는 것을 의미합니다. 나머지 9.61%의 경우에는 표집 오차 때문에 H0이 실제로 거짓인데도 H0를 기각하지 못하게 됩니다. 물론, 두 번 이상 검정을 반복하지 않겠지만 잘못된 결론을 얻게 되는 표본을 추출할 확률이 상당히 작다는 것을 알아두는 것이 좋습니다.

이 사이트를 사용하면 분석 및 사용자 개인 컨텐츠에 대한 쿠키 사용에 동의하는 것입니다.  당사의 개인정보 보호정책을 확인하십시오