Was ist die Trennschärfe?

Die Trennschärfe eines Hypothesentests ist die Wahrscheinlichkeit, dass die Nullhypothese beim Test zutreffenderweise zurückgewiesen wird. Die Trennschärfe eines Hypothesentests wird vom Stichprobenumfang, der Differenz, der Streuung der Daten und vom Signifikanzniveau des Tests beeinflusst.

Bei einem Test mit geringer Trennschärfe erkennen Sie möglicherweise einen Effekt nicht und schließen dann fälschlicherweise, dass kein Effekt vorhanden ist. Wenn die Trennschärfe eines Tests zu hoch ist, können sehr kleine und möglicherweise uninteressante Effekte signifikant erscheinen.

Kein Test ist vollkommen. Es besteht daher immer die Möglichkeit, dass die Ergebnisse eines Tests dazu führen, dass Sie die Nullhypothese (H₀) zurückweisen, obwohl sie tatsächlich wahr ist (Fehler 1. Art), oder H₀ nicht zurückweisen, obwohl sie tatsächlich falsch ist (Fehler 2. Art). Der Grund hierfür liegt darin, dass Sie zum Schätzen der Mittelwerte der Grundgesamtheiten zufällige Stichproben nehmen müssen und diese Stichproben eben zufällig sind. Es ist daher immer möglich, dass der Mittelwert der Stichprobe deutlich vom Mittelwert der Grundgesamtheit abweicht.

Angenommen, eine bestimmte normalverteilte Grundgesamtheit weist einen Mittelwert (μ) von 10 und eine Standardabweichung (σ) von 2 auf. Diese Verteilung bedeutet, dass 95,44 % der Werte in dieser Grundgesamtheit zwischen 6 und 14 liegen. Es besteht jedoch immer die Möglichkeit, dass Sie 10 Beobachtungen nach dem Zufallsprinzip auswählen und einen Mittelwert der Stichprobe von 4 erhalten. Anhand einer solchen Stichprobe würden Sie keineswegs schlussfolgern, dass der Mittelwert der Grundgesamtheit tatsächlich 10 beträgt!

Die Wahrscheinlichkeit, dass Sie eine solche Stichprobe ziehen, ist natürlich äußerst gering, jedoch ist dies prinzipiell möglich. Stichprobenfehler können gelegentlich zu einer falschen Schlussfolgerung führen. Auch wenn Sie nicht wissen können, wann ein solcher Fehler auftritt, können Sie schätzen wie häufig dies der Fall ist. Hier kommt die Trennschärfe ins Spiel.

Angenommen, Sie führen einen t-Test bei einer Stichprobe durch, um zu ermitteln, ob der Mittelwert der Produktmenge, die in einer Fabrik in Shampooflaschen eingefüllt wird, vom Sollwert 80 ml abweicht. Sie entscheiden sich, eine Stichprobe aus 10 zufällig ausgewählten Flaschen zu ziehen. Wenn μ tatsächlich 75 ml beträgt (d. h., die Flaschen werden mit 5 ml zu wenig befüllt) und σ tatsächlich 4,3 ml ist, beträgt die Trennschärfe des Tests 0,9039.

Eine Trennschärfe von 0,9039 bedeutet, dass Sie, wenn Sie das gleiche Experiment häufig wiederholen (und jedes Mal eine neue zufällige Stichprobe ziehen), in ca. 90,39 % der Fälle die Nullhypothese richtigerweise zurückweisen. In den anderen 9,61 % der Fälle weisen Sie aufgrund des Stichprobenfehlers H₀ nicht zurück, obwohl sie tatsächlich falsch ist. Auch wenn Sie den Test in der Praxis vermutlich nicht mehrfach durchführen werden, ist es gut zu wissen, dass die Wahrscheinlichkeit, eine irreführende Stichprobe zu ziehen, relativ gering ist.