효과가 통계적으로 유의한지 여부를 확인하려면 유의 수준을 사용합니다. 유의 수준은 통계적 유의성에 대한 임계값이기 때문에 값이 클수록 제 1종 오류를 범할 확률도 증가합니다. 제1종 오류는 효과가 통계적으로 유의하다는 부정확한 결론입니다.
일반적으로 0.05의 유의 수준(α 또는 알파로 표시됨)이 적절합니다. 0.05의 유의 수준은 실제로 효과가 존재할 때 효과가 존재하지 않는다는 결론을 내릴 위험이 5%라는 것을 나타냅니다.
실제로 효과가 존재하지 않는데 효과가 통계적으로 유의하다고 선언할 위험을 높여 더 큰 검정력으로 중요한 효과를 탐지하려면 더 높은 유의 수준(예: 0.10)을 선택합니다. 예를 들어, 한 화학 엔지니어가 한 물질의 수율에 대한 12가지 요인의 효과를 조사하기 위해 실험을 설계합니다. 이 엔지니어는 중요한 요인을 제거하는 것보다 작고 유의하지 않은 효과를 고려하려고 합니다. 따라서 엔지니어는 중요한 요인을 더 확실히 탐지하기 위해 0.10의 유의 수준을 선택합니다.
효과가 존재하지 않는데 효과가 존재한다고 더 확실히 결론을 내리지 않으려면 더 낮은 유의 수준(예: 0.01)을 선택합니다. 예를 들어, 한 제약 회사의 과학자가 새로운 약품에 대한 24가지 요인의 효과를 조사하기 위해 실험을 설계합니다. 과학자는 추가 실험에서 중요한 요인만 조사하려고 합니다. 과학자는 존재하지 않는 효과가 통계적으로 유의하다고 더 확실히 결론을 내리지 않기 위해 0.01의 유의 수준을 선택합니다.
