有意水準(アルファまたはαと表されます)は、帰無仮説が真であるときにその帰無仮説を棄却する(タイプIの誤り)リスクの最大許容水準です。たとえば、デフォルトの仮説を使用して一元配置分散分析を実行する場合、0.05のαは、実際には差が存在しない場合に、差が存在すると結論付けてしまうリスクが5%であるということを示します。
有意水準を使用して、帰無仮説(H0)が真の場合の検定の検出力値を最小化します。有意水準の値が高いほど、検定の検出力が高くなりますが、真である帰無仮説を棄却してしまうタイプIの誤りを犯す可能性も高くなります。
標準偏差とは、散布度、つまり平均に対するデータの変動を表す最も一般的な尺度です。多くの場合、工程に対してランダム(自然)な変動は雑音と呼ばれます。
最大差とは、最小グループ平均と最大グループ平均の差です。
サンプルサイズと検出力を入力すると、最大差が計算されます。通常、サンプルサイズが大きいほど、指定した検出力で小さな最大差を検出できます。
サンプルサイズと、検出できる差の関係をより詳しく調べるには、検出力曲線を使用します。
サンプルサイズ | 検出力 | 最大差 |
---|---|---|
5 | 0.9 | 4.42404 |
7 | 0.9 | 3.58435 |
9 | 0.9 | 3.09574 |
一元配置分散分析の検出力とは、グループ平均間の最大差が実際に存在する場合に、検定でその差が統計的に有意であると判断される確率です。
最大の差と標本の大きさを入力すると、Minitabでは、検定の検出力が計算されます。検出力は通常、0.9で十分だと考えられます。0.9という値は、少なくとも2つの平均の差が実際に母集団に存在する場合に、差を90%の確率で検出できることを示します。検定の検出力が弱い場合、差を検出できず、何も存在しないという誤った結論を出す可能性があります。通常、標本の大きさまたは差が小さいほど、検定の差の検出力は弱くなります。
たとえば、次の結果では、サンプルサイズが4の場合、最大差6に対する検出力は約0.9ですが、最大差4に対する検出力は0.69しかありません。それぞれの最大差の値において、サンプルサイズを大きくすると、検定の検出力が高くなります。
最大差 | サンプルサイズ | 検出力 |
---|---|---|
2 | 4 | 0.206970 |
2 | 6 | 0.332203 |
2 | 8 | 0.454971 |
4 | 4 | 0.688630 |
4 | 6 | 0.909626 |
4 | 8 | 0.978713 |
6 | 4 | 0.968086 |
6 | 6 | 0.999226 |
6 | 8 | 0.999988 |
この検出力曲線では、検定の検出力に対して最小平均と最大平均の間の最大差がプロットされます。
検出力曲線を使用して、検定に適したサンプルサイズと検出力を評価します。
この検出力曲線は、有意水準と標準偏差を一定に保って、各サンプルサイズに対する検出力と最大差のすべての組み合わせを表します。検出力曲線上の記号は、2つのプロパティに入力した値に基づいて計算された値を表します。たとえば、サンプルサイズと検出力の値を入力すると、それに対応する最大差が計算され、計算された値がグラフ上に表示されます。
曲線上の値を調べることにより、特定の検出力とサンプルサイズにおいて検定で検出できる最大差を決定できます。通常、検出力の値として0.9は適切であるとされます。ただし、分析者によっては、検出力の値として0.8が適切であると考えることもあります。一元配置分散分析の検出力が低い場合、最小平均と最大平均の差が実際には存在するにもかかわらず検出できない可能性があります。
サンプルサイズを大きくすると、検定の検出力も高くなります。適切な検出力を達成するには、サンプル内の観測値数が十分である必要があります。しかし、サンプルサイズを大きくしすぎて、不必要なサンプリングに時間と費用を浪費したり、重要でない差が統計的に有意であることを検出することは望ましくありません。
このグラフでは、サンプルサイズごとに1つの曲線が示されています。サンプルサイズ5(各グループ)の検出力曲線は、4の最大差に対して検定の検出力が約0.8であることを示しています。サンプルサイズ7の検出力曲線は、4の最大差に対して検定の検出力が約0.95であることを示しています。サンプルサイズ9の検出力曲線は、4の最大差に対して検定の検出力が1に近づいていることを示しています。各サンプルサイズの曲線において、最大差が大きくなるにつれて検出力も高くなります。
サンプルサイズとは、サンプルに含まれる観測値の合計数のことです。
検出力と最大差を入力すると、必要なサンプルサイズが計算されます。サンプルサイズとは、各グループ内の観測値数を指します。サンプルサイズは整数であるため、検定の実際の検出力は、指定した検出力値よりもわずかに大きくなる場合があります。
サンプルサイズを大きくすると、検定の検出力も高くなります。適切な検出力を達成するには、サンプル内の観測値数が十分である必要があります。しかし、サンプルサイズを大きくしすぎて、不必要なサンプリングに時間と費用を浪費したり、重要でない差が統計的に有意であることを検出することは望ましくありません。
たとえば、次の結果は、最大差4に対して、サンプルサイズが大きいほど、検出力が高くなることをを示しています。各グループのサンプルサイズが5の場合、実際の検出力は約0.83で、サンプルサイズが6の場合、実際の検出力は0.91です。
最大差 | サンプルサイズ | 目標検出力 | 実際の検出力 |
---|---|---|---|
4 | 5 | 0.8 | 0.826860 |
4 | 6 | 0.9 | 0.909626 |