検出力とは

仮説検定の検出力とは、検定で帰無仮説を正しく棄却する確率です。仮説検定の検出力は、サンプルサイズ、差、データの変動性、検定の有意水準の影響を受けます。

検定の検出力が低いと、効果を検出できず、効果がないと誤って結論付けてしまう可能性があります。検定の検出力が高すぎると、ごくわずかで、ほとんど意味のないような効果が有意な効果として検出されてしまう可能性があります。

いかなる検定も完璧ではありません。検定の結果により、実際に真である帰無仮説（H₀）を棄却してしまう（タイプIの誤り）または実際に偽であるH₀を棄却しない（タイプIIの誤り）危険性は常に存在します。これは、母平均を推定するために必要なランダムサンプルそのものがランダムな変動性を持つためです。そのため、得られたサンプル平均が母平均と非常に異なる可能性は常に存在します。

たとえば、正規分布に従うある母集団の平均（μ）が10で、標準偏差（σ）が2であるとします。この分布は、この母集団の値の95.44%が6～14であることを示します。しかし、ランダムに10個の観測値を選択して、そのサンプル平均が4になる可能性は常に存在します。そのようなサンプルからは、母集団の平均が実際には10であることは、まったく推測できないでしょう。

言うまでもなく、このようなサンプルが偶然得られる確率は極端に小さいですが、それでも確実に存在します。つまり、サンプリング誤差により結論が誤った方向へ導かれる可能性があります。これがいつ起るかはまったく予測不可能ですが、これがどれだけの頻度で起るかは推定できます。これが検出力の由来です。

たとえば、工場でシャンプーボトルに注入されている製品の平均体積が目標体積8オンスと異なるかどうかを調べる1サンプルt検定を行っているとします。10本のランダムサンプルを収集することにします。μが実際に7.5オンスで（ボトルは目標体積より0.5オンス少なく注入されている）、σが実際に0.43オンスである場合、この検定は0.9039の検定力を持ちます。

この検出力0.9039は、同じ実験を何度も繰り返した場合（そのつど、新しいランダムサンプルを取る）、約90.39%の確率で帰無仮説を正しく棄却できることを意味しています。残りの9.61%の場合は、サンプリング誤差が原因で、実際に偽であるH₀が棄却されない結果を招きます。もちろん検定を実際に2回以上行う場合は多くありませんが、誤った結論につながるサンプルを得る確率は幸いにも非常に小さいためさほど心配する必要はありません。