最小二乗推定法と最尤推定法とは

ランダムサンプルから母集団パラメータを推定するために一般的に使用される2つの方法は、最尤推定法(デフォルト)と最小二乗推定法です。
最尤推定法(MLE)
尤度関数は、観測されるサンプルが可能なパラメータ値の関数としてどれだけあり得るかを示します。つまり、尤度関数を最大にすることで、目的の観測データが得られる可能性が最も高いパラメータを特定できます。統計学の観点から言うと、MLEは汎用性があり、ほどんどのモデルやデータ型に適用でき、さらに最も精度の高い推定値が得られるため、一般に大規模なサンプルに対して推奨されます。
推定法:最小二乗(LSE)
最小二乗推定値は、偏差の二乗の最小和(最小二乗誤差)を持つデータセットの点に回帰直線をフィッティングすることで計算されます。信頼性分析では、直線とデータは確率プロット上にプロットされます。

MinitabでMLEがデフォルトになっている理由

大規模で完全なデータセットの場合、LSE法とMLE法の両方が一貫した結果を提供します。信頼性に適用する場合、データセットは小規模または中規模であることが一般的です。広範なシミュレーション研究により、故障が少なく小規模なサンプル設計では、MLE法の方がLSE法よりも優れていることが示されています。1 したがって、Minitabのデフォルト推定法はMLEです。

MLE法にはLSE法と比べて次のような利点があります。
  • 分布パラメータの推定値はより正確です。
  • 分散の推定値がより小さくなります。
  • モデルパラメータの信頼区間と検定を高い信頼性で計算できます
  • データ内の情報がより多く計算に使用されます。

    データが多量に打ち切られたために故障数がわずかである場合、MLE法では打ち切られた値を含むデータセット全体の情報が使用されます。LSEの方法は検閲された観測情報は無視します。1

通常、MLE法の利点がLSE法の利点よりも重要になります。LSE法は手計算がより簡単で、プログラムするのもより簡単です。また、LSE法は従来より、適合度を評価する確率プロットの使用と関連付けられています。ただし、LSE法は確率プロット上で誤った結果をもたらす可能性があります。LSE法を用いたワイブル確率プロット上の点が、実際にはワイブルモデルが不適切である場合に線に沿って落ちる例が存在する。1

1. Genschel, U. and Meeker, W.Q. (2010).A Comparison of Maximum Likelihood and Median-Rank Regression for Weibull Estimation. Quality Engineering, 22(4): 236–255.

LSE法でモデルパラメータの信頼区間と検定を使用できない理由

当初は、LSE法を使用した場合の標準誤差、信頼区間、検定の計算された結果を使用できました。これらの計算結果はアドホック法に基づいていました。しかし、LSE法を使用したモデルパラメータの標準誤差を計算することが認められた統計学上の方法は確立されていません。したがって、推定のデフォルト方法を変更して最小 二乗法(失敗時間(X)とランク(Y))を選択すると、標準誤差、信頼区間、モデルパラメータの検定の計算結果は含まれません。結果にモデルパラメータの信頼区間と検定を含める場合は、MLE(デフォルト)法を使用する必要があります。

推定法を変更する

パラメトリック分布分析、分布識別プロット、または分布概要プロットを使用する際にパラメータ推定法をMLEからLSEに変更するには、次の操作を行います。

  1. [統計 > 信頼性/生存時間 > 分布分析] を選択します。
  2. 以下の分析のいずれかを選択し、適切なボタンを選択してください:
    分析 ボタン
    パラメトリック分布分析 分布の適合性
    分布識別プロット 分布の適合性
    分布概要プロット オプション
  3. 最小二乗法 (故障時間(X)の順位(Y)上への)を選択します。

    最小二乗推定法を使うと、推定値は確率プロットの点に回帰直線を当てはめて計算されます。この直線は、変換されたパーセント値(Y)における故障までの時間または故障までの時間の対数(X)を回帰推定することによって形成されます。

分布の百分位数は推定された分布パラメータに基づくため、推定されたパラメータが異なると推定された百分位数も異なります。

パラメトリック分布分析のパラメータをMinitabで推定せずに指定する

Minitabにパラメータを推定させる代わりに、いくつかのパラメータやすべてのパラメータを指定することができます。パラメータを指定する場合、百分位数などの計算された結果は、分析に入力したパラメータの値に基づきます。

一部のパラメータを指定し、残りを推定する

分布のパラメータの一部を指定し、残りをMinitabでデータから推定することができます。通常、データにほとんど故障がないか全くない状態で、ベイズ解析を行うためのパラメータを推定します。詳細については「 故障がほとんど ない信頼性解析の実施方法」をご覧ください。

  1. [統計 > 信頼性/生存時間 > 分布分析 > パラメトリック分布分析] を選択します。
  2. 分布の適合性を選択します。
  3. 分配で指定したいパラメータを入力してください。 指定できるパラメータは選択する分布に依存します。
    分布 指定できるパラメータ
    ワイブル 形状
    3パラメータワイブル 形状、しきい値、または両方
    指数 なし
    2パラメータ指数 閾値
    しきい値なしのその他の分布 尺度
    しきい値付きのその他の分布 尺度、しきい値、または両方

    ワイブル分布の尺度パラメータは常に推定します。位置パラメータを持つ分布に対しては、位置パラメータは常に推定します。

すべてのパラメータを指定する

すべてのパラメータを指定するには、データから推定するのではなく、過去のパラメータを指定します。履歴パラメータを指定すれば、以下のようなことができます。
  • 過去のパラメータに基づく推定値を、現在のデータに基づく推定と比較してください。
  • 現在のデータが過去のパラメータに基づく確率プロットにどのように適合しているかをご覧ください。
  1. ワークシートの1つの列に分布のパラメータ推定値を入力します。 分析する変数が2つ以上ある場合は、パラメータ推定値の列を2つ以上入力できます。さまざまな分布に対して、次の表で示す順序で列にパラメータ推定値を入力します。
    分布 パラメータ
    ワイブル 形状と尺度を入力
    指数 平均を入力
    その他の2パラメータ分布 位置と尺度を入力
    2パラメータ指数 尺度としきい値を入力
    3パラメータワイブル 形状、尺度、しきい値を入力
    その他の3パラメータ分布 位置、尺度、しきい値を入力
  2. [統計 > 信頼性/生存時間 > 分布分析 > パラメトリック分布分析] を選択します。
  3. 分布の適合性を選択します。
  4. 分布パラメータ:から選択 経験値を使用する
  5. 経験値で推定パラメータの列を入力します。 サンプルが複数ある場合は、各サンプルごとにカラムを入力してください。

パラメトリック分布分析の共通の形状パラメータまたは尺度パラメータの前提

複数のサンプルに対してパラメトリック分布解析を行う場合、推定値に対して共通の形状やスケールパラメータを採用することができます。

  1. [統計 > 信頼性/生存時間 > 分布分析 > パラメトリック分布分析] を選択します。
  2. 分布の適合性を選択します。
  3. 分布パラメータ:から、分配に適したオプションを選択してください。例えば、分析がサンプルがワイブル分布に従うと仮定した場合、 等形状パラメータを仮定したデータから推定 を選択します。

    推定値を計算するときに共通の形状パラメータまたは尺度パラメータが前提になります。例えば、異なる平均値を持つ3つの独立で正規分布のサンプルが同じであるとします。各サンプルの平均を推定するために、Minitabは分散のプール推定値を用います。この手法は、他の分布にも一般化されます。ただし、特定の結果は、分析で選択した推定法によって変わります。

共通の形状または尺度パラメータを持つMLE法

最尤法では、対数尤度関数を使用します。この場合、モデルの対数尤度関数は個々の対数尤度関数の合計であり、対数尤度関数ごとに同じ形状パラメータが前提となります。その結果得られる全体の対数尤度関数は、グループごとに関連付けられる尺度パラメータおよび共通の形状パラメーターを取得できるように最大化されます。詳細については、以下の参考文献をご覧ください。 W. Nelson (1982). Applied Life Data Analysis, Chapter 12.John Wiley & Sons.

共通の形状または尺度パラメータを持つLSE法

Minitabはまず各グループのy座標とx座標を計算します(詳細は パラメトリック分布分析における確率プロットの方法と計算式の「プロットポイント」と「フィッティングライン」トピックを参照してください)。次に、LSE推定値を得るために、次のステップを実行します。

  1. X座標データを合算します。
  2. Y座標データを合算します。
  3. 指標変数(またはBy変数)を使用してグループを特定します。
  4. すべてのY座標(連続予測変数)と指標変数(カテゴリ予測変数)によって定義される予測変数に対してX座標(応答)を回帰します。
    注

    対数-位置-尺度分布(ワイブルなど)では、X座標は対数変換する必要があります。グループの傾きは同じである必要があります。傾きは共通の形状パラメータの逆数です。