Was sind die Methoden zur Schätzung der kleinsten Quadrate und der Maximum-Likelihood-Methoden?

Zwei häufig verwendete Ansätze zur Schätzung von Populationsparametern aus einer Zufallsstichprobe sind die Maximum-Likelihood-Schätzmethode (Standard) und die Least-Squares-Schätzmethode.
Maximum-Likelihood-Schätzungsmethode (MLE)
Die Likelihood-Funktion gibt die Wahrscheinlichkeit an, mit der die beobachtete Stichprobe eine Funktion möglicher Parameterwerte ist. Durch Maximierung der Likelihood-Funktion werden daher die Parameter ermittelt, die am wahrscheinlichsten die beobachteten Daten erbringen. Aus statistischer Sicht wird MLE in der Regel für große Stichproben empfohlen, da es vielseitig ist, auf die meisten Modelle und verschiedene Datentypen anwendbar ist und die genauesten Schätzungen liefert.
Kleinste-Quadrat-Schätzungsmethode (LSE)
Kleinste-Quadrat-Schätzungen werden berechnet, indem eine Regressionslinie auf die Punkte aus einem Datensatz angepasst wird, der die minimale Summe der quadrierten Abweichungen (kleinster Quadratfehler) enthält. In der Zuverlässigkeitsanalyse werden die Linie und die Daten in einem Wahrscheinlichkeitsnetz dargestellt.

Weshalb ist MLE die Standardmethode in Minitab?

Für große, vollständige Datensätze liefern sowohl die LSE-Methode als auch die MLE-Methode konsistente Ergebnisse. In Zuverlässigkeitsanwendungen sind Datensätze typischerweise klein oder mittelgroß. Umfangreiche Simulationsstudien zeigen, dass in kleinen Stichprobendesigns mit nur wenigen Fehlern die MLE-Methode besser ist als die LSE-Methode.1 Daher ist die Standard-Schätzmethode in Minitab MLE.

Die MLE-Methode bietet gegenüber der LSE-Methode folgende Vorteile:
  • Die Schätzungen der Verteilungsparameter sind präziser.
  • Die geschätzte Varianz ist kleiner.
  • Konfidenzintervalle und Tests für Modellparameter können zuverlässig berechnet werden.
  • Bei den Berechnungen werden mehr Informationen aus den Daten berücksichtigt.

    Wenn es nur wenige Fehler gibt, weil die Daten stark zensiert sind, verwendet die MLE-Methode die Informationen aus dem gesamten Datensatz, einschließlich der zensierten Werte. Die LSE-Methode ignoriert die Informationen in den zensierten Beobachtungen.1

Normalerweise wiegen die Vorteile der MLE-Methode schwerer als die Vorteile der LSE-Methode. Die LSE-Methode lässt sich einfacher manuell berechnen und ist leichter zu programmieren. Die LSE-Methode wird traditionell auch mit der Verwendung von Wahrscheinlichkeitsdiagrammen zur Bewertung der Gutheit der Übereinstimmung assoziiert. Die LSE-Methode kann jedoch in einem Wahrscheinlichkeitsnetz irreführende Ergebnisse liefern. Es gibt Beispiele, bei denen die Punkte auf einem Weibull-Wahrscheinlichkeitsdiagramm, das die LSE-Methode verwendet, entlang einer Linie liegen, während das Weibull-Modell tatsächlich ungeeignet ist.1

1. Genschel, U. und Meeker, W.Q. (2010). A Comparison of Maximum Likelihood and Median-Rank Regression for Weibull Estimation. Quality Engineering, 22(4): 236–255.

Weshalb sind bei der LSE-Methode keine Konfidenzintervalle und Tests für Modellparameter verfügbar?

In früheren Releases hat Minitab bei der Verwendung der LSE-Methode berechnete Ergebnisse für Standardfehler, Konfidenzintervalle und Tests für Modellparameter ausgegeben. Diesen berechneten Ergebnissen lag eine Ad-hoc-Methode zugrunde. Es gibt jedoch keine bewährte, allgemein akzeptierte statistische Methode zum Berechnen von Standardfehlern für Modellparameter mit der LSE-Methode. Wenn Sie daher die Standardschätzmethode ändern und die kleinsten Quadrate auswählen (Ausfallzeit (X) auf Rang (Y)), werden Ihre Ergebnisse keine berechneten Ergebnisse für Standardfehler, Konfidenzintervalle und Tests für die Modellparameter enthalten. Wenn Sie Konfidenzintervalle und Tests für Modellparameter in den Ergebnissen benötigen, müssen Sie die MLE-Methode (d. h. die Standardmethode) verwenden.

Ändern Sie die Schätzmethode

Um die Parameterschätzungsmethode von MLE auf LSE zu wechseln, wenn eine parametrische Verteilungsanalyse, ein Verteilungs-ID-Plot oder ein Verteilungsübersichtsdiagramm verwendet wird, führen Sie Folgendes aus:

  1. Wählen Sie Statistik > Zuverlässigkeit/Lebensdauer > Verteilungsanalyse.
  2. Wählen Sie eine der folgenden Analysen und wählen Sie den entsprechenden Button:
    Analyse Schaltfläche
    Verteilungsgebundene Analyse Verteilungsanpassung
    Verteilungsidentifikation Verteilungsanpassung
    Verteilungsübersicht Optionen
  3. Wählen Sie Kleinste Quadrate (Ausfallzeit(X) nach Rang(Y)) aus.

    Wenn Sie die Methode der kleinsten Quadrate Schätzung verwenden, werden Schätzungen berechnet, indem eine Regressionslinie auf die Punkte in einem Wahrscheinlichkeitsdiagramm angepasst wird. Die Linie wird durch Regression der Zeit bis zum Ausfall oder von log(Zeit bis zum Ausfall) (x) auf den transformierten Prozentsatz (y) gebildet.

Da die Perzentile der Verteilung auf den geschätzten Verteilungsparametern basieren, führen Differenzen bei den geschätzten Parametern zu Differenzen bei den geschätzten Perzentilen.

Speine Parameter für eine parametrische Verteilungsanalyse an, anstatt Minitab die Parameter zu schätzen

Anstatt Minitab die Parameter schätzen zu lassen, kannst du einige oder alle Parameter angeben. Wenn Sie sich entscheiden, Parameter anzugeben, basieren die berechneten Ergebnisse (z. B. die Perzentile) auf den Werten der Parameter, die Sie für die Analyse eingegeben haben.

Spezifizieren Sie einige Parameter und schätzen Sie andere

Du kannst einige der Parameter für deine Verteilung angeben und Minitab die anderen aus den Daten schätzen lassen. Normalerweise schätzt man einige Parameter, um eine Bayes-Analyse durchzuführen, wenn die Daten wenige oder keine Fehler aufweisen. Weitere Details finden Sie unter „Wie man eine Zuverlässigkeitsanalyse mit wenigen oder keinen Ausfällen durchführt ".

  1. Wählen Sie Statistik > Zuverlässigkeit/Lebensdauer > Verteilungsanalyse > Verteilungsgebundene Analyse.
  2. Wählen Sie Verteilungsanpassung aus.
  3. Gib die Parameter ein, die du für deine Verteilung angeben möchtest. Die Parameter, die angegeben werden können, hängen von der jeweils ausgewählten Verteilung ab:
    Verteilung Parameter, die angegeben werden können
    Weibull Form
    Weibull mit 3 Parametern Form und/oder Schwellenwert
    Exponential Keine
    Exponential mit 2 Parametern Schwellenwert
    Andere Verteilungen ohne Schwellenwert Skala
    Andere Verteilungen mit Schwellenwert Skala und/oder Schwellenwert

    Man schätzt immer den Skalenparameter für die Weibull-Verteilung. Bei Verteilungen mit einem Standortparameter schätzt man immer den Standortparameter.

Angeben aller Parameter

Um alle Parameter zu spezifizieren, anstatt sie aus den Daten zu schätzen, geben Sie historische Parameter an. Du kannst historische Parameter festlegen, um Dinge wie Folgendes zu tun.
  • Vergleiche die Schätzungen, die du auf Basis historischer Parameter hast, mit den Schätzungen, die auf den aktuellen Daten basieren.
  • Sehen Sie, wie die aktuellen Daten zu einem Wahrscheinlichkeitsdiagramm auf Basis der historischen Parameter passen.
  1. Geben Sie im Arbeitsblatt Parameterschätzwerte für die Verteilung in einer einzigen Spalte ein. Sie können mehr als eine Spalte mit Parameterschätzungen eingeben, wenn Sie mehr als eine Variable analysieren möchten. Für die verschiedenen Verteilungen geben Sie die Parameterschätzungen in der Spalte in der von der Tabelle angegebenen Reihenfolge ein.
    Verteilung Parameter
    Weibull Form und Skala eingeben
    Exponential Mittelwert eingeben
    Weitere 2-Parameter-Verteilungen Lage und Skala eingeben
    Exponential mit 2 Parametern Skala und Schwellenwert eingeben
    Weibull mit 3 Parametern Form, Skala und Schwellenwert eingeben
    Weitere 3-Parameter-Verteilungen Lage, Skala und Schwellenwert eingeben
  2. Wählen Sie Statistik > Zuverlässigkeit/Lebensdauer > Verteilungsanalyse > Verteilungsgebundene Analyse.
  3. Wählen Sie Verteilungsanpassung aus.
  4. Aus Verteilungsparameter, wählen Sie aus Historische Schätzwerte verwenden
  5. Geben Sie im Feld Historische Schätzwerte die Spalte mit den geschätzten Parametern ein. Wenn Sie mehr als eine Stichprobe haben, geben Sie für jede Stichprobe eine Spalte ein.

Nehmen Sie gängige Form- oder Skalenparameter für die parametrische Verteilungsanalyse an

Wenn Sie eine parametrische Verteilungsanalyse für mehrere Proben durchführen, kann die Analyse gemeinsame Form- oder Skalierungsparameter für die Schätzungen annehmen lassen.

  1. Wählen Sie Statistik > Zuverlässigkeit/Lebensdauer > Verteilungsanalyse > Verteilungsgebundene Analyse.
  2. Wählen Sie Verteilungsanpassung aus.
  3. Von Verteilungsparameter, wählen Sie die Option aus, die für Ihre Auszahlungen geeignet ist. Wenn beispielsweise die Analyse davon ausgeht, dass die Stichproben einer Weibull-Verteilung folgen, wählen Sie Unter Annahme gleicher Formparameter aus den Daten schätzen.

    Minitab nimmt dann bei der Berechnung der Schätzungen gemeinsame Form- oder Skalierungsparameter an. Angenommen, Sie haben 3 unabhängige, normal verteilte Stichproben mit unterschiedlichen Mittelwerten, aber derselben Varianz. Zum Schätzen des Mittelwerts für jede Stichprobe verwendet Minitab einen zusammengefassten Schätzwert der Varianz. Dieser Ansatz lässt sich auch auf andere Verteilungen verallgemeinern. Das genaue Ergebnis hängt jedoch von der für die Analyse gewählten Schätzungsmethode ab.

MLE-Methode mit gemeinsamen Form- oder Skalierungsparametern

Für die Maximum-Likelihood-Methode verwendet Minitab jedoch die Log-Likelihood-Funktion. In diesem Fall ist die Log-Likelihood-Funktion des Modells gleich der Summe der einzelnen Log-Likelihood-Funktionen, wobei in den einzelnen Log-Likelihood-Funktionen der gleiche Formparameter angenommen wird. Die resultierende Gesamtlog-Likelihood-Funktion wird maximiert, um die Skalierungsparameter jeder Gruppe und den gemeinsamen Formparameter zu erhalten. Weitere Informationen finden Sie in folgenden Quellen: W. Nelson (1982). Applied Life Data Analysis, Chapter 12. John Wiley & Sons.

LSE-Methode mit gemeinsamen Form- oder Skalierungsparametern

Minitab berechnet zunächst die y-Koordinate und x-Koordinate für jede Gruppe (für Details siehe die Themen "Plot points" und "Angepasste Linie" in Methoden und Formeln für das Wahrscheinlichkeitsnetz in Verteilungsgebundene Analyse. Zum Berechnen der LSE-Schätzwerte führt Minitab die folgenden Schritte aus:

  1. Die x-Koordinatendaten werden zusammengefasst.
  2. Die y-Koordinatendaten werden zusammengefasst.
  3. Die Gruppen werden mit einer Indikatorvariablen (oder Gruppierungsvariablen) identifiziert.
  4. Es wird eine Regression der x-Koordinaten (Antwortvariable) gegen die Prädiktoren ausgeführt, die durch alle y-Koordinaten (stetiger Prädiktor) und die Indikatorvariable (kategorialer Prädiktor) definiert werden.
    Hinweis

    Für Verteilungen mit Log-Lage und -Skala (z. B. Weibull) müssen die x-Koordinaten log-transformiert werden. Die Gruppen sollten die gleiche Steigung haben, die das Inverse des gemeinsamen Formparameters ist. Der Skalenparameter jeder Gruppe wird durch Exponentiierung des Intercepts für jede Gruppe ermittelt.