일반적으로 0.05의 유의 수준(α 또는 알파로 표시함)이 적절합니다. 0.05의 유의 수준은 실제로 차이가 존재할 때 차이가 존재하지 않는다는 결론을 내릴 위험이 5%라는 것을 나타냅니다. 또한 차이가 없을 때 검정의 검정력이 0.05라는 것을 나타냅니다.
실제로 효과가 존재하지 않는데 요인의 주효과가 통계적으로 유의하다는 결론을 내릴 위험을 높여 더 큰 검정력으로 중요한 효과를 탐지하려면 더 높은 유의 수준(예: 0.10)을 선택합니다. 예를 들어, 한 화학 엔지니어가 한 물질의 수율에 대한 5가지 요인의 효과를 조사하기 위해 실험을 설계합니다. 엔지니어는 중요한 요인을 제거하는 것보다 작고 유의하지 않은 효과를 고려하려고 합니다. 따라서 엔지니어는 중요한 요인을 더 확실히 탐지하기 위해 0.10의 유의 수준을 선택합니다.
차이가 통계적으로 유의하지 않은데 차이가 통계적으로 유의하다는 결론을 더 확실히 내리지 않으려면 더 낮은 유의 수준(예: 0.01)을 선택합니다. 예를 들어, 한 제약 회사의 과학자가 새로운 약품에 대한 5가지 요인의 효과를 조사하기 위해 실험을 설계합니다. 과학자는 추가 실험의 경우 중요한 요인만 조사하려고 합니다. 과학자는 존재하지 않는 효과가 통계적으로 유의하다는 결론을 더 확실히 내리지 않기 위해 0.01의 유의 수준을 선택합니다.
