Was sind die Schätzmethode der kleinsten Quadrate und die Maximum-Likelihood-Schätzmethode?

Die Maximum-Likelihood-Schätzmethode (Standardeinstellung) und die Schätzmethode der kleinsten Quadrate sind häufig angewendete Ansätze zum Schätzen der Parameter einer Grundgesamtheit aus einer Zufallsstichprobe.
Maximum-Likelihood-Schätzmethode (MLE)
Die Likelihood-Funktion gibt die Wahrscheinlichkeit an, mit der die beobachtete Stichprobe eine Funktion möglicher Parameterwerte ist. Durch Maximierung der Likelihood-Funktion werden daher die Parameter ermittelt, die am wahrscheinlichsten die beobachteten Daten erbringen. Aus der statistischen Perspektive empfiehlt sich die Maximum-Likelihood-Schätzung im Allgemeinen für umfangreiche Stichproben, da sie vielseitig ist, auf die meisten Modelle und unterschiedliche Typen von Daten angewendet werden kann und die präzisesten Schätzwerte liefert.
Schätzmethode der kleinsten Quadrate (LSE)
Die Schätzwerte nach der Methode der kleinsten Quadrate werden berechnet, indem eine Regressionslinie an die Punkte aus einem Datensatz mit der kleinsten Summe der quadrierten Abweichungen angepasst wird (kleinstes Fehlerquadrat). In der Zuverlässigkeitsanalyse werden die Linie und die Daten in einem Wahrscheinlichkeitsnetz dargestellt.

Weshalb ist MLE die Standardmethode in Minitab?

Für umfassende, vollständige Datensätze liefern sowohl die LSE-Methode als auch die MLE-Methode übereinstimmende Ergebnisse. In Zuverlässigkeitsanwendungen weisen die Datensätze typischerweise eine kleine oder mittlere Größe auf. In umfassenden Simulationsstudien wurde nachgewiesen, dass die MLE-Methode bei Designs mit kleinen Stichproben, in denen nur wenige Ausfälle auftreten, gegenüber der LSE-Methode zu bevorzugen ist.1 Daher ist die Standardschätzmethode in Minitab die MLE-Methode.

Die MLE-Methode bietet gegenüber der LSE-Methode folgende Vorteile:
  • Die Schätzwerte der Verteilungsparameter sind präziser.
  • Die geschätzte Varianz ist kleiner.
  • Konfidenzintervalle und Tests für Modellparameter können zuverlässig berechnet werden.
  • Bei den Berechnungen werden mehr Informationen aus den Daten berücksichtigt.

    Wenn aufgrund einer starken Zensierung der Daten nur eine geringe Anzahl von Ausfällen vorhanden ist, verwendet die MLE-Methode die Informationen aus dem gesamten Datensatz, einschließlich der zensierten Werte. Die LSE-Methode ignoriert die Informationen aus den zensierten Beobachtungen.1

Normalerweise wiegen die Vorteile der MLE-Methode schwerer als die Vorteile der LSE-Methode. Die LSE-Methode lässt sich einfacher manuell berechnen und ist leichter zu programmieren. Die LSE-Methode ist zudem traditionell mit der Verwendung von Wahrscheinlichkeitsnetzen zum Beurteilen der Anpassungsgüte verbunden. Die LSE-Methode kann jedoch in einem Wahrscheinlichkeitsnetz irreführende Ergebnisse liefern. Es gibt Beispiele dafür, dass die Punkte in einem Weibull-Wahrscheinlichkeitsnetz, für das die LSE-Methode verwendet wird, entlang einer Linie liegen, wenn das Weibull-Modell tatsächlich jedoch ungeeignet ist.1

1. Genschel, U. und Meeker, W.Q. (2010). A Comparison of Maximum Likelihood and Median-Rank Regression for Weibull Estimation. Quality Engineering, 22(4): 236–255.

Weshalb sind bei der LSE-Methode keine Konfidenzintervalle und Tests für Modellparameter verfügbar?

In früheren Releases hat Minitab bei der Verwendung der LSE-Methode berechnete Ergebnisse für Standardfehler, Konfidenzintervalle und Tests für Modellparameter ausgegeben. Diesen berechneten Ergebnissen lag eine Ad-hoc-Methode zugrunde. Es gibt jedoch keine bewährte, allgemein akzeptierte statistische Methode zum Berechnen von Standardfehlern für Modellparameter mit der LSE-Methode. Wenn Sie also die Standardschätzmethode ändern und Kleinste Quadrate (Ausfallzeit(X) nach Rang(Y)) auswählen, enthält die Ausgabe keine berechneten Ergebnisse für Standardfehler, Konfidenzintervalle und Tests für die Modellparameter. Wenn Sie Konfidenzintervalle und Tests für Modellparameter in den Ergebnissen benötigen, müssen Sie die MLE-Methode (d. h. die Standardmethode) verwenden.

Ändern der Schätzmethode

Führen Sie folgende Schritte aus, um die Parameterschätzmethode bei einer verteilungsgebundenen Analyse, Verteilungsidentifikation oder Verteilungsübersicht von MLE in LSE zu ändern:

  1. Wählen Sie Statistik > Zuverlässigkeit/Lebensdauer > Verteilungsanalyse (Rechtszensierung) oder Verteilungsanalyse (beliebige Zensierung) aus.
  2. Wählen Sie eine der folgenden Analysen aus, und klicken Sie auf die entsprechende Schaltfläche:
    Analyse Schaltfläche
    Verteilungsgebundene Analyse Schätzen
    Verteilungsidentifikation Optionen
    Verteilungsübersicht Optionen
  3. Wählen Sie Kleinste Quadrate (Ausfallzeit(X) nach Rang(Y)) aus.

    Wenn Sie die Schätzmethode der kleinsten Quadrate verwenden, werden Schätzwerte durch Anpassen einer Regressionslinie an die Punkte in einem Wahrscheinlichkeitsnetz berechnet. Die Linie wird durch Regression der Zeit bis zum Ausfall oder von log(Zeit bis zum Ausfall) (x) auf den transformierten Prozentsatz (y) gebildet.

Da die Perzentile der Verteilung auf den geschätzten Verteilungsparametern basieren, führen Differenzen bei den geschätzten Parametern zu Differenzen bei den geschätzten Perzentilen.

Eingeben von Startwerten oder Ändern der maximalen Anzahl von Iterationen für die Maximum-Likelihood-Schätzung

Wenn Sie die Parameter mit der Maximum-Likelihood-Schätzmethode schätzen, können Sie Startwerte für den Algorithmus und die maximale Anzahl von Iterationen angeben.

  1. Geben Sie im Arbeitsblatt Parameterschätzwerte für die Verteilung in einer einzigen Arbeitsblattspalte ein.
    Bei der Maximum-Likelihood-Lösung wird u. U. keine Konvergenz erreicht, wenn die Startschätzwerte nicht in der Nähe der tatsächlichen Lösung liegen; daher sollten Sie angenäherte Startwerte für Parameterschätzwerte eingeben. Geben Sie die Parameterschätzwerte für die verschiedenen Verteilungen in der Reihenfolge im Arbeitsblatt ein, die in dieser Tabelle angegeben ist.
    Verteilung Parameter
    Weibull Form und Skala eingeben
    Exponential Mittelwert eingeben
    Andere Verteilungen mit zwei Parametern Lage und Skala eingeben
    Exponential mit 2 Parametern Skala und Schwellenwert eingeben
    Weibull mit 3 Parametern Form, Skala und Schwellenwert eingeben
    Andere Verteilungen mit 3 Parametern Lage, Skala und Schwellenwert eingeben
  2. Wählen Sie Statistik > Zuverlässigkeit/Lebensdauer > Verteilungsanalyse (Rechtszensierung) > Verteilungsgebundene Analyse oder Statistik > Zuverlässigkeit/Lebensdauer > Verteilungsanalyse (beliebige Zensierung) > Verteilungsgebundene Analyse aus.
  3. Klicken Sie auf Optionen.
  4. Geben Sie im Feld Startschätzwerte verwenden die Spalte mit den Startwerten für den Algorithmus ein.
  5. Geben Sie im Feld Maximalzahl der Iterationen die maximale Anzahl von Iterationen zum Erreichen der Konvergenz ein (der Standardwert ist 20).

    Minitab berechnet Maximum-Likelihood-Schätzwerte in einem iterativen Prozess. Wenn die maximale Anzahl der Iterationen vor der Konvergenz erreicht wird, wird die Ausführung des Algorithmus beendet.

Angeben von Parametern für eine verteilungsgebundene Analyse statt der automatischen Schätzung der Parameter durch Minitab

Sie können in Verteilungsgebundene Analyse (Rechtszensierung) und Verteilungsgebundene Analyse (beliebige Zensierung) beide Schätzmethoden verwenden. Wenn Minitab die Parameter jedoch nicht mit einer dieser Methoden automatisch schätzen soll, können Sie auch einige oder alle Parameter selbst angeben. Wenn Sie sich entscheiden, Parameter anzugeben, basieren die berechneten Ergebnisse (z. B. die Perzentile) auf den Werten der Parameter, die Sie für die Analyse eingegeben haben.

Angeben einiger Parameter und Schätzen anderer Parameter

Sie können einige der Parameter für Ihre Verteilung angeben und die anderen von Minitab anhand der Daten schätzen lassen. In der Regel lassen Sie beim Durchführen einer Bayes-Analyse einige Parameter schätzen, wenn die Daten wenige oder überhaupt keine Ausfälle enthalten. Weitere Einzelheiten finden Sie unter Durchführen einer Zuverlässigkeitsanalyse mit wenigen oder überhaupt keinen Ausfällen.

  1. Wählen Sie Statistik > Zuverlässigkeit/Lebensdauer > Verteilungsanalyse (Rechtszensierung) > Verteilungsgebundene Analyse oder Statistik > Zuverlässigkeit/Lebensdauer > Verteilungsanalyse (beliebige Zensierung) > Verteilungsgebundene Analyse aus.
  2. Klicken Sie auf Schätzen.
  3. Geben Sie im Feld Bayes-Analyse die Parameter ein, die Sie für die Verteilung angeben möchten. Die Parameter, die angegeben werden können, hängen von der jeweils ausgewählten Verteilung ab:
    Verteilung Parameter, die angegeben werden können
    Weibull Form
    Weibull mit 3 Parametern Form und/oder Schwellenwert
    Exponential Keine
    Exponential mit 2 Parametern Schwellenwert
    Andere Verteilungen ohne Schwellenwert Skala
    Andere Verteilungen mit Schwellenwert Skala und/oder Schwellenwert

    Der Skalenparameter für die Weibull-Verteilung wird immer geschätzt. Für Verteilungen mit einem Lageparameter wird der Lageparameter immer geschätzt.

Angeben aller Parameter

Sie können alle Parameter angeben, anstatt sie anhand der Daten zu schätzen. Sie können historische Parameter angeben, um beispielsweise die auf den historischen Parametern basierenden Schätzwerte mit den auf den aktuellen Daten basierenden Schätzwerten zu vergleichen oder um festzustellen, wie die aktuellen Daten auf ein Wahrscheinlichkeitsnetz auf der Grundlage der historischen Parameter passen.

  1. Geben Sie im Arbeitsblatt Parameterschätzwerte für die Verteilung in einer einzigen Spalte ein. Sie können mehrere Spalten mit Parameterschätzwerten eingeben, wenn mehrere Variablen analysiert werden sollen. Geben Sie die Parameterschätzwerte für die verschiedenen Verteilungen in der Spalte in der Reihenfolge ein, die in der Tabelle angegeben ist.
    Verteilung Parameter
    Weibull Form und Skala eingeben
    Exponential Mittelwert eingeben
    Andere Verteilungen mit zwei Parametern Lage und Skala eingeben
    Exponential mit 2 Parametern Skala und Schwellenwert eingeben
    Weibull mit 3 Parametern Form, Skala und Schwellenwert eingeben
    Andere Verteilungen mit 3 Parametern Lage, Skala und Schwellenwert eingeben
  2. Wählen Sie Statistik > Zuverlässigkeit/Lebensdauer > Verteilungsanalyse (Rechtszensierung) > Verteilungsgebundene Analyse oder Statistik > Zuverlässigkeit/Lebensdauer > Verteilungsanalyse (beliebige Zensierung) > Verteilungsgebundene Analyse aus.
  3. Klicken Sie auf Optionen.
  4. Wählen Sie Historische Schätzwerte verwenden aus.
  5. Geben Sie im Feld Historische Schätzwerte verwenden die Spalte mit den geschätzten Parametern ein. Wenn mehrere Variablen analysiert werden sollen, geben Sie die Spalten mit Schätzwerten in der Reihenfolge ein, in der Sie auch die Variablen eingegeben haben.

Annehmen von gleichen Form- oder Skalenparametern für die verteilungsgebundene Analyse

Beim Durchführen einer verteilungsgebundenen Analyse können Sie festlegen, dass Minitab gemeinsame Form- oder Skalenparameter für die Schätzwerte annimmt.

  1. Wählen Sie Statistik > Zuverlässigkeit/Lebensdauer > Verteilungsanalyse (Rechtszensierung) > Verteilungsgebundene Analyse oder Statistik > Zuverlässigkeit/Lebensdauer > Verteilungsanalyse (beliebige Zensierung) > Verteilungsgebundene Analyse aus.
  2. Klicken Sie auf Schätzen.
  3. Aktivieren Sie unter Schätzmethode die Option Gemeinsame Form (Steigung-Weibull) oder Skala (1/Steigung-andere Verteilung) annehmen.

    Minitab nimmt dann beim Berechnen der Schätzwerte gleiche Form- oder Skalenparameter an. Angenommen, Sie verfügen über 2 (oder genereller k>2) unabhängige normalverteilte Stichproben mit unterschiedlichen Mittelwerten, jedoch mit gleicher Varianz. Zum Schätzen des Mittelwerts für jede Stichprobe verwendet Minitab einen zusammengefassten Schätzwert der Varianz. Dieser Ansatz wird außerdem für andere Verteilungen verallgemeinert. Das konkrete Ergebnis hängt jedoch von der Schätzmethode ab, die Sie für die Analyse gewählt haben.

MLE-Methode mit gleichen Form- oder Skalenparametern

Für die Maximum-Likelihood-Methode verwendet Minitab jedoch die Log-Likelihood-Funktion. In diesem Fall ist die Log-Likelihood-Funktion des Modells gleich der Summe der einzelnen Log-Likelihood-Funktionen, wobei in den einzelnen Log-Likelihood-Funktionen der gleiche Formparameter angenommen wird. Die resultierende Log-Likelihood-Gesamtfunktion wird maximiert, um die Skalenparameter für die einzelnen Gruppen und den gemeinsamen Formparameter zu erhalten. Weitere Informationen finden Sie in W. Nelson (1982). Applied Life Data Analysis, Kapitel 12. John Wiley & Sons.

LSE-Methode mit gleichen Form- oder Skalenparametern

Minitab berechnet zunächst die y-Koordinate und die x-Koordinate für jede Gruppe (Einzelheiten finden Sie in den Themen „Diagrammpunkte“ und „Anpassungslinie“ in Methoden und Formeln für das Wahrscheinlichkeitsnetz in Verteilungsgebundene Analyse (Rechtszensierung)). Zum Berechnen der LSE-Schätzwerte führt Minitab die folgenden Schritte aus:

  1. Die x-Koordinatendaten werden zusammengefasst.
  2. Die y-Koordinatendaten werden zusammengefasst.
  3. Die Gruppen werden mit einer Indikatorvariablen (oder Gruppierungsvariablen) identifiziert.
  4. Es wird eine Regression der x-Koordinaten (Antwortvariable) gegen die Prädiktoren ausgeführt, die durch alle y-Koordinaten (stetiger Prädiktor) und die Indikatorvariable (kategorialer Prädiktor) definiert werden.
    Hinweis

    Für Verteilungen mit Log-Lage und -Skala (z. B. Weibull) müssen die x-Koordinaten log-transformiert werden. Die Gruppen sollten die gleiche Steigung (die Umkehrung des gemeinsamen Formparameters) aufweisen. Der Skalenparameter der einzelnen Gruppen wird durch Potenzieren des Schnittpunkts mit der y-Achse für jede Gruppe erhalten.