통계적 유의성 및 실제적 유의성

가설 검정이 우연에 의해 발생할 확률이 없을 경우 표본 통계 및 가설 검정에서의 값 간의 차이는 통계적으로 유의합니다. 통계적 유의성을 평가하려면 검정의 p-값을 조사하십시오. p-값이 지정된 유의성수준(α)(일반적으로 0.10, 0.05 또는 0.01)보다 아래인 경우 차이가 통계적으로 유의하다고 선언하고 검정의 귀무 가설을 기각할 수 있습니다.

예를 들어, 안전 규정에 따라 자동차 앞유리 두께가 4mm보다 큰지 확인하고자 합니다. 앞유리 표본을 추출하여 0.05의 α와 다음 가설을 사용하여 1-표본 t-검정을 수행합니다.

H₀: μ = 4
H₁: μ > 4

검정에서 0.001의 p-값을 생성할 경우 p-값이 α보다 작기 때문에 통계적 유의성을 선언하고 귀무 가설을 기각합니다. 대립 가설을 채택하고 앞유리 두께가 4mm보다 크다는 결론을 내릴 수 있습니다.

그러나 p-값이 0.50과 같은 경우 통계적 유의성을 주장할 수 없습니다. 평균 앞유리 두께가 4mm보다 크다고 주장하기에 충분한 증거가 없습니다.

통계적으로 유의한 결과는 실질적으로 유의하지 않을 수도 있습니다.

통계적 유의성 자체는 결과가 실질적으로 유의하다는 것을 의미하지 않습니다. 검정력이 매우 강한 검정을 사용하는 경우 가설 검정에서의 값과 작은 차이가 있어도 통계적으로 유의하다는 결론을 내릴 수 있습니다. 그러나 작은 차이는 상황에 따라 무의미할 수도 있습니다. 전문 지식을 활용하여 차이가 실질적으로 유의한지 여부를 확인해야 합니다.

예를 들어, 한 제조 공장의 작업 시간에 대한 모평균(μ)이 8이라고 가정합니다. μ가 8이 아닌 경우 검정의 검정력은 표본 크기가 증가함에 따라 1에 접근하며 p-값은 0에 접근합니다.

관측치의 수가 충분한 경우 가설 검정에서의 값과 실제 모수 값 간에 사소한 차이도 통계적으로 유의하게 될 가능성이 있습니다. 예를 들어, mu의 실제 값이 7시간 59분 59초라고 가정합니다. 표본이 충분히 큰 경우 차이가 실질적으로 중요하지 않더라도 μ가 8시간과 같다는 귀무 가설을 기각할 가능성이 높습니다.

신뢰 구간은 (해당되는 경우) 통계적 유의성 외에 실제적 유의성을 평가할 수 있는 방법도 제공하기 때문에 가설 검정보다 더 유용한 경우가 많습니다. 신뢰 구간은 모수 값이 무엇이 아닌지 대신 무엇인지를 확인하는 데 도움이 됩니다.