Die den Konfidenzintervallen zugeordneten Konfidenzniveaus werden häufig in Mehrfachvergleichen verwendet, um signifikante Differenzen zwischen bestimmten Faktorstufen in einer ANOVA zu identifizieren. Diese Konfidenzniveaus entsprechen der individuellen und simultanen Irrtumswahrscheinlichkeit, werden jedoch auf Konfidenzintervalle angewendet.
Hierbei handelt es sich um den Prozentsatz der Konfidenzintervalle, die den tatsächlichen Parameter der Grundgesamtheit bzw. die tatsächliche Differenz zwischen den Faktorstufen enthält, wenn die Untersuchung mehrmals wiederholt wird.
Hierbei handelt es sich um den Prozentsatz der Male, die eine Gruppe von Konfidenzintervallen die tatsächlichen Parameter der Grundgesamtheiten bzw. die tatsächlichen Differenzen zwischen den Faktorstufen enthält, wenn die Untersuchung mehrmals wiederholt wird. Das simultane Konfidenzniveau basiert auf dem individuellen Konfidenzniveau und auf der Anzahl der Konfidenzintervalle. Bei einem Einzelvergleich ist das simultane Konfidenzniveau gleich dem individuellen Konfidenzniveau. Jedes zusätzliche Konfidenzintervall bewirkt jedoch ein kumulatives Absinken des simultanen Konfidenzniveaus.
Beim Untersuchen mehrerer Konfidenzintervalle ist es unerlässlich, das simultane Konfidenzniveau zu betrachten, da die Wahrscheinlichkeit, einen Parameter oder eine tatsächliche Differenz zwischen den Faktorstufen für eine Familie von Konfidenzintervallen auszuschließen, größer als für ein einzelnes Konfidenzintervall ist.
Die individuellen und simultanen Konfidenzniveaus lassen sich mit der Tukey-Methode, der Fisher-Grenzdifferenz (GD), Hsu-Mehrfachvergleichen mit dem Besten (MCB) und Bonferroni-Konfidenzintervallen berechnen und kontrollieren.
Angenommen, Sie messen die Reaktionszeit von Speicherchips. Sie entnehmen eine Stichprobe von 25 Chips von fünf verschiedenen Herstellern.
Sie untersuchen sämtliche 10 Vergleiche zwischen den fünf Werken, um die abweichenden Mittelwerte genau zu ermitteln. Mit dem Tukey-Test bestimmen Sie, dass die gesamte Gruppe der Konfidenzintervalle ein simultanes Konfidenzniveau von 95 % aufweisen muss. Minitab berechnet, dass die zehn individuellen Konfidenzniveaus den Wert 99,35 % aufweisen müssen, um ein simultanes Konfidenzniveau von 95 % zu erhalten. Diese breiteren Tukey-Konfidenzintervalle bieten weniger genaue Schätzwerte des Parameters der Grundgesamtheiten, doch senken sie die Wahrscheinlichkeit, mit der mindestens ein Konfidenzintervall die tatsächliche Differenz nicht enthält, auf maximal 5 %. Innerhalb dieses Kontexts können Sie nun ermitteln, ob es Konfidenzintervalle gibt, die den Wert null nicht enthalten, was auf eine signifikante Differenz hinweist.
Vergleich der 95%-Konfidenzintervalle mit den unter Verwendung des Tukey-Verfahrens berechneten breiteren 99,35%-Konfidenzintervallen im vorherigen Beispiel. Die Referenzlinie bei 0 veranschaulicht, wie die breiteren Tukey-Konfidenzintervalle zu anderen Schlussfolgerungen führen können. Konfidenzintervalle, die null enthalten, weisen darauf hin, dass keine Differenz vorliegt. (Aus Platzgründen werden hier nur 5 der 10 Vergleiche dargestellt.)