2水準要因計画の検出力とサンプルサイズの有意水準の指定

通常、0.05の有意水準（αまたはアルファと表されます）が有効に機能します。0.05の有意水準は、実際には効果が存在しない場合に、効果が存在すると結論付けるリスクが5%であるということを示します。

• 実際には効果が存在しないときに効果が統計的に有意であると結論付けるリスクが増加してもよい場合は、0.10などのより高い有意水準を選択することにより、重要な効果を検出する検出力がより高くなります。たとえば、ある化学エンジニアが、ある物質の生産に関する12個の因子の効果を調べるための実験を計画します。エンジニアは、重要である可能性のある因子を削除してしまうよりも、小さい効果や有意でない効果をさらに考慮する方がよいと考えています。そのため、重要な因子を検出する可能性を高めるために有意水準に0.10を選択します。
• 0.01などのより低い有意水準を選択すると、実際に効果が存在しない場合に効果が存在すると結論付ける危険性が低くなります。たとえば、ある製薬会社の科学者が、新しい薬に関する24個の因子の効果を調べるための実験を計画します。さらにその後の実験で、重要な因子のみを調べたいと考えています。科学者は、存在しない効果を統計的に有意であると結論付ける可能性を低くするために有意水準に0.01を選択します。