Die Wahrscheinlichkeit eines Fehlers 1. Art bei Mehrfachvergleichen wird häufig zum Erkennen von signifikanten Differenzen zwischen bestimmten Faktorstufen in einer ANOVA verwendet. Das individuelle und das simultane Konfidenzniveau = 1 – Irrtumswahrscheinlichkeit.
Die individuelle Irrtumswahrscheinlichkeit ist die maximale Wahrscheinlichkeit, mit der ein oder mehrere Vergleiche zu der falschen Schlussfolgerung führen, dass die beobachtete Differenz signifikant von der Nullhypothese abweicht.
Die simultane Irrtumswahrscheinlichkeit ist die maximale Wahrscheinlichkeit, mit der ein mehrere Vergleiche umfassender Vorgang zu der falschen Schlussfolgerung führt, dass mindestens eine der beobachteten Differenzen signifikant von der Nullhypothese abweicht. Die simultane Irrtumswahrscheinlichkeit beruht sowohl auf der individuellen Irrtumswahrscheinlichkeit als auch auf der Anzahl der Vergleiche. Bei einem Einzelvergleich ist die simultane Irrtumswahrscheinlichkeit gleich der individuellen Irrtumswahrscheinlichkeit, die wiederum dem Alpha-Niveau entspricht. Mit jedem weiteren Vergleich steigt die simultane Irrtumswahrscheinlichkeit jedoch kumulativ an.
Bei Mehrfachvergleichen ist es wichtig, die simultane Irrtumswahrscheinlichkeit zu berücksichtigten, weil die Wahrscheinlichkeit eines Fehlers 1. Art bei einer Serie von Vergleichen größer als die Irrtumswahrscheinlichkeit für einen Vergleich alleine ist. Die individuellen und simultanen Irrtumswahrscheinlichkeiten für Mehrfachvergleiche lassen sich mit der Tukey-Methode, der Fisher-Grenzdifferenz (GD), Hsu-Mehrfachvergleichen mit dem Besten (MCB) und Bonferroni-Konfidenzintervallen berechnen und kontrollieren.
Die individuelle Irrtumswahrscheinlichkeit ist in allen Fällen exakt. Simultane Irrtumswahrscheinlichkeiten sind exakt für gleiche Gruppengrößen. Wenn die Gruppengrößen nicht gleich sind, ist die tatsächliche simultane Irrtumswahrscheinlichkeit für die Tukey-, Fisher- und MCB-Methoden etwas kleiner als ausgewiesen, wodurch konservative Konfidenzintervalle entstehen. Die simultanen Irrtumswahrscheinlichkeiten des Dunnett-Tests sind exakt für ungleiche Stichprobenumfänge.