仮説検定とは、データのサンプルによって提供される証拠によって、母集団に関する主張を受け入れるか棄却するかを指定する規則です。

仮説検定では、母集団に対して2つの対立する仮説である帰無仮説と対立仮説を調べます。帰無仮説とは、検定するステートメントです。通常、帰無仮説は「効果がない」「差がない」というステートメントです。対立仮説は、サンプルデータによって提供される証拠に基づいて真であると結論付けたいステートメントです。

サンプルデータに基づいて、検定では帰無仮説を棄却するかどうかを判断します。判断にはp値を使用します。p値が有意水準(αまたはアルファで示される)より小さい場合、帰無仮説を棄却できます。

よく誤解されているのは、統計仮説検定は2つの仮説のうちで可能性が高い方を選択するためのものだということです。ただし、仮説検定を計画するときには、受け入れないものとして帰無仮説を立てます。分析前に有意水準を小さい値に固定するため(通常、0.05の値で十分)、帰無仮説を棄却する場合には、対立仮説が真であるという統計的な証拠があります。反対に、帰無仮説を棄却できない場合は、帰無仮説が真であるという統計的な証拠がありません。これは、帰無仮説を誤って受け入れる確率を小さい値に固定していないためです。

仮説検定で回答が得られる質問例には、次のようなものがあります。
  • 女子大学生の平均身長は、66インチと異なるか。
  • 彼女たちの身長の標準偏差は、5インチ以下か。
  • 男子大学生と女子大学生の平均身長は異なるか。
  • 男子大学生の比率は女子大学生の比率より有意に高いか。