Statistische und praktische Signifikanz

Die Differenz zwischen einer Stichprobenstatistik und einem hypothetischen Wert ist statistisch signifikant, wenn ein Hypothesentest darauf verweist, dass ein zufälliges Auftreten als zu unwahrscheinlich anzusehen ist. Untersuchen Sie den p-Wert des Tests, um die statistische Signifikanz zu beurteilen. Wenn der p-Wert kleiner als ein bestimmtes Signifikanzniveau (α) (in der Regel 0,10, 0,05 oder 0,01) ist, können Sie die Differenz für statistisch signifikant erklären und die Nullhypothese des Tests zurückweisen.

Angenommen, Sie möchten ermitteln, ob die Dicke von Windschutzscheiben für Autos gemäß den Sicherheitsbestimmungen größer als 4 mm ist. Sie entnehmen eine Stichprobe der Windschutzscheiben und führen einen t-Test bei einer Stichprobe mit dem α-Niveau 0,05 und den folgenden Hypothesen durch:

H₀: μ = 4
H₁: μ > 4

Wenn der Test den p-Wert 0,001 ergibt, können Sie statistische Signifikanz feststellen und die Nullhypothese zurückweisen, da der p-Wert kleiner als das α-Niveau ist. Sie entscheiden sich daher für die Alternativhypothese, dass die Dicke der Windschutzscheibe größer als 4 mm ist.

Wenn der p-Wert jedoch gleich 0,50 ist, kann keine statistische Signifikanz behauptet werden. Es liegen keine ausreichenden Hinweise für die Behauptung vor, dass die durchschnittliche Stärke der Windschutzscheiben größer als 4 mm ist.

Ein statistisch signifikantes Ergebnis muss nicht praktisch signifikant sein

Die statistische Signifikanz an sich bedeutet nicht zwangsläufig, dass die vorliegenden Ergebnisse eine praktische Konsequenz haben. Wenn Sie einen Test mit einer sehr großen Trennschärfe ausführen, folgern Sie u. U., dass eine kleine Abweichung vom hypothetischen Wert statistisch signifikant ist. Diese kleine Differenz ist jedoch möglicherweise in der gegebenen Situation bedeutungslos. Bestimmen Sie anhand Ihres Fachwissens, ob die Differenz praktisch signifikant ist.

Angenommen, Sie testen, ob der Mittelwert der Grundgesamtheit (μ) für die in einer Fabrik geleisteten Arbeitsstunden gleich 8 ist. Wenn μ ungleich 8 ist, nähert sich die Trennschärfe des Tests mit zunehmendem Stichprobenumfang 1 an, während der p-Wert sich 0 annähert.

Bei einer ausreichenden Anzahl von Beobachtungen ist es wahrscheinlich, dass selbst belanglose Differenzen zwischen hypothetischen und tatsächlichen Parameterwerten signifikant werden. Angenommen, der tatsächliche Wert von μ ist 7 Stunden, 59 Minuten und 59 Sekunden. Bei einer ausreichend großen Stichprobe weisen sie höchstwahrscheinlich die Nullhypothese zurück, dass μ gleich 8 Stunden ist, selbst wenn die Differenz keine praktische Relevanz hat.

Konfidenzintervalle (falls zutreffend) sind häufig nützlicher als Hypothesentests, da sie eine Möglichkeit eröffnen, neben der statistischen Signifikanz auch die praktische Signifikanz zu beurteilen. Damit können Sie bestimmen, welchen Wert ein Parameter aufweist, und nicht, welchen Wert er nicht aufweist.