有意水準(αまたはアルファと表されます)は、帰無仮説が真であるときにその帰無仮説を棄却する(タイプIの誤り)のリスクの最大許容水準です。また、αは、帰無仮説(H0)が真の場合の検定の検出力とも解釈できます。通常、データを分析する前に有意水準を選択します。デフォルトの有意水準は0.05です。
有意水準を使用して、帰無仮説(H0)が真の場合の検定の検出力値を最小化します。有意水準の値が高いほど、検定の検出力が高くなりますが、真である帰無仮説を棄却してしまうタイプIの誤りを犯す可能性も高くなります。
この値は、比較標準偏差または分散と仮説の値との比を表します。
指定した検出力とサンプルサイズに基づいて検出できる最小の比が計算されます。サンプルサイズが大きくなると、より小さな比を検出できます。用途に対して実質的に影響のある最小の比を検出できるようにする必要があります。
サンプルサイズと、指定された検出力における比の関係をより詳しく調べるには、検出力曲線を使用します。
サンプルサイズとは、サンプルに含まれる観測値の合計数のことです。
サンプルサイズを使用して、仮説検定において、特定の差で特定の検出力値を得るために必要な観測値数を推定します。
指定した比を検出するために、指定した検出力の検定に必要なサンプルサイズが計算されます。サンプルサイズは整数であるため、検定の実際の検出力は、指定した検出力値よりもわずかに大きくなる場合があります。
サンプルサイズを大きくすると、検定の検出力も高くなります。適切な検出力を達成するには、サンプル内の観測値数が十分である必要があります。しかし、サンプルサイズを大きくしすぎて、不必要なサンプリングに時間と費用を浪費したり、重要でない差が統計的に有意であることを検出することは望ましくありません。
サンプルサイズと、指定された検出力における差の関係をより詳しく調べるには、検出力曲線を使用します。
仮説検定の検出力は、検定で帰無仮説が正しく棄却される確率です。仮説検定の検出力は、サンプルサイズ、差、データの変動性、検定の有意水準に影響されます。
詳細は、検出力とはを参照してください。
Minitabでは、特定の割合と標本の大きさに基づいて、検定の検出力が計算されます。検出力は通常、0.9で十分だと考えられます。0.9という値は、母集団比較標準偏差または分散と仮説標準偏差または分散の差が存在する場合に、差を90%の確率で検出できることを示します。検定の検出力が弱い場合、差を検出できず、何も存在しないという誤った結論を出す可能性があります。通常、標本の大きさが小さいまたは割合が1に近いほど、検定の差の検出力は弱くなります。
検定の比と検出力値を入力すると、Minitabでは、サンプルに必要されるサイズが計算されます。またMinitabでは、そのサンプルサイズで検定を行う場合の実際の検出力も計算されます。サンプルサイズは整数であるため、検定の実際の検出力は、指定した検出力値よりもわずかに大きくなる場合があります。
基本統計で1サンプルの分散を実行すると、カイニ乗方法とボネット方法の両方の結果が表示されます。ただし、1分散の検出力とサンプルサイズを実行する場合は、カイニ乗方法しか使用されません。
この検出力曲線では、検定の検出力と比が対比されてプロットされます。
検出力曲線を使用して、検定に適したサンプルサイズと検出力を評価します。
この検出力曲線は、有意水準を一定に保って、各サンプルサイズに対する検出力と比のすべての組み合わせを表します。検出力曲線上の記号は、入力した値に基づいて計算された値を表します。たとえば、サンプルサイズと検出力の値を入力すると、それに対応する比が計算され、計算された値がグラフ上に表示されます。
曲線上の値を調べることにより、特定の検出力値とサンプルサイズにおいて検出できる比を決定できます。通常、検出力の値として0.9は適切であるとされます。ただし、分析者によっては、検出力の値として0.8が適切であると考えることもあります。仮説検定の検出力が低い場合、実際には有意である比を検出できない可能性があります。サンプルサイズを大きくすると、検定の検出力も高くなります。適切な検出力を達成するには、サンプル内の観測値数が十分である必要があります。しかし、サンプルサイズを大きくしすぎて、不必要なサンプリングに時間と費用を浪費したり、統計的に有意な重要でない差を検出することは望ましくありません。検出する比のサイズを小さくすると、検出力も低くなります。
基本統計で1サンプルの分散を実行すると、カイニ乗方法とボネット方法の両方の結果が表示されます。ただし、1分散の検出力とサンプルサイズを実行する場合は、カイニ乗方法しか使用されません。
このグラフでは、サンプルサイズ50の検出力曲線は、約0.54の差に対して検定の検出力が0.8であることを示しています。サンプルサイズ100の検出力曲線は、約0.87の差に対して検定の検出力が0.8であることを示しています。0.87の検出力が状況に対して十分である場合は、100のサンプルサイズを収集します。0.8より小さい比を検出する必要がある場合は、より大きなサンプルサイズを収集する必要があります。