最小二乗推定法と最尤推定法とは

ランダムサンプルから母集団パラメータを推定するために一般的に使用される2つの方法は、最尤推定法(デフォルト)と最小二乗推定法です。
最尤推定法(MLE)
尤度関数は、パラメータが取り得る値の関数として、観測されたサンプルが得られる確率を示します。つまり、尤度関数を最大にすることで、目的の観測データが得られる可能性が最も高いパラメータを特定できます。統計学の観点から言うと、MLEは汎用性があり、ほどんどのモデルやデータ型に適用でき、さらに最も精度の高い推定値が得られるため、一般に大規模なサンプルに対して推奨されます。
推定法:最小二乗(LSE)
最小二乗推定値は、2乗した偏差の和が最小(最小平方誤差)になるデータセットの点に回帰直線を適合させることによって計算されます。信頼性分析では、直線とデータは確率プロット上にプロットされます。

MinitabでMLEがデフォルトになっている理由

大規模で完全なデータセットに対しては、LSE法とMLE法のどちらでも一貫した結果が得られます。信頼性に適用する場合、データセットは小規模または中規模であることが一般的です。大規模なシミュレーション研究により、サンプルサイズが小さい計画で故障数がわずかである場合には、MLE法がLSE法よりも優れていることがわかっています。

MLE法にはLSE法と比べて次のような利点があります。
  • 分布パラメータの推定値がより正確です。
  • 分散の推定値がより小さくなります。
  • モデルパラメータの信頼区間と検定について信頼性の高い計算を行うことができます。
  • データ内の情報がより多く計算に使用されます。

    データが多量に打ち切られたために故障数がわずかである場合、MLE法では打ち切られた値を含むデータセット全体の情報が使用されます。LSE法では、打ち切られた観測値の情報は無視されます。1

通常、MLE法の利点がLSE法の利点よりも重要になります。LSE法は手計算がより簡単で、プログラムするのもより簡単です。また、LSE法は従来より、適合度を評価する確率プロットの使用と関連付けられています。ただし、LSE法は確率プロット上で誤った結果をもたらす可能性があります。たとえば、LSE法を使用してワイブル確率プロット上で点が直線に沿って並んでいても、ワイブルモデルが実際には適切ではない場合などがあります。1

1. Genschel, U. and Meeker, W.Q. (2010). A Comparison of Maximum Likelihood and Median-Rank Regression for Weibull Estimation. Quality Engineering, 22(4): 236–255.

LSE法でモデルパラメータの信頼区間と検定を使用できない理由

当初は、LSE法を使用した場合の標準誤差、信頼区間、検定の計算された結果を使用できました。これらの計算結果はアドホック法に基づいていました。しかし、LSE法を使用したモデルパラメータの標準誤差を計算することが認められた統計学上の方法は確立されていません。そのため、デフォルトの推定法を変更して、最小二乗(順位(Y)の故障時間(X))を選択する場合、モデルパラメータの標準誤差、信頼区間、検定に計算された結果が出力されません。結果にモデルパラメータの信頼区間と検定を含める場合は、MLE(デフォルト)法を使用する必要があります。

推定法を変更する

パラメトリック分布分析、分布識別プロット、または分布概要プロットを使用する際にパラメータ推定法をMLEからLSEに変更するには、次の操作を行います。

  1. 統計 > 信頼性/生存時間 > 分布分析(右打ち切り)または分布分析(任意打ち切り)を選択します。
  2. 次の分析のいずれかを選択し、適切なボタンをクリックします。
    分析 ボタン
    パラメトリック分布分析 推定
    分布識別プロット オプション
    分布概要プロット オプション
  3. 最小二乗法 (故障時間(X)の順位(Y)上への)を選択します。

    最小二乗推定法を使用する場合、推定値は確率プロットの点に回帰直線を適合することによって計算されます。この直線は、変換されたパーセント値(Y)における故障までの時間または故障までの時間の対数(X)を回帰推定することによって形成されます。

分布の百分位数は推定された分布パラメータに基づくため、推定されたパラメータが異なると推定された百分位数も異なります。

最尤推定の開始値を入力する、または最大反復数を変更する

最尤推定法を使用してパラメータを推定する場合、アルゴリズムの開始値および最大反復数を指定できます。

  1. ワークシートの1つの列に分布のパラメータ推定値を入力します。
    初期推定値が真の解に近くない場合は、最尤法による解決では収束しないので、パラメータの推定のおおよその開始値を入力する必要があります。さまざまな分布に対して、次の表で示す順序でワークシートにパラメータ推定値を入力します。
    分布 パラメータ
    ワイブル 形状と尺度を入力
    指数 平均を入力
    その他の2パラメータ分布 位置と尺度を入力
    2パラメータ指数 尺度としきい値を入力
    3パラメータワイブル 形状、尺度、しきい値を入力
    その他の3パラメータ分布 位置、尺度、しきい値を入力
  2. 統計 > 信頼性/生存時間 > 分布分析(右打ち切り) > パラメトリック分布分析または統計 > 信頼性/生存時間 > 分布分析(任意打ち切り) > パラメトリック分布分析を選択します。
  3. オプションをクリックします。
  4. 初期推定値を使用するにアルゴリズムの開始値の列を入力します。
  5. 最大反復数に収束するまでの最大反復数を入力します(デフォルトは20です)。

    Minitabでは、工程を反復することで最尤推定値が計算されます。収束する前に最大反復回数に達した場合は、アルゴリズムが終了します。

パラメトリック分布分析のパラメータをMinitabで推定せずに指定する

パラメトリック分布分析(右打ち切り)およびパラメトリック分布分析(任意打ち切り)でいずれかの推定法を使用できます。しかし、Minitabでいずれかの方法を使用して推定せずに、一部またはすべてのパラメータを指定することもできます。パラメータを指定する場合、百分位数などの計算された結果は、分析に入力したパラメータの値に基づきます。

一部のパラメータを指定し、残りを推定する

分布のパラメータの一部を指定し、残りをMinitabでデータから推定することができます。通常、データに故障が皆無またはそれに近い場合にベイズ分析を実行するために一部のパラメータを推定します。詳細は、「故障が皆無またはそれに近い場合に信頼性分析を実施する方法」を参照してください。

  1. 統計 > 信頼性/生存時間 > 分布分析(右打ち切り) > パラメトリック分布分析または統計 > 信頼性/生存時間 > 分布分析(任意打ち切り) > パラメトリック分布分析を選択します。
  2. 推定をクリックします。
  3. ベイズ (Bayes) 分析に、分布に対して指定するパラメータを入力します。 指定できるパラメータは選択する分布に依存します。
    分布 指定できるパラメータ
    ワイブル 形状
    3パラメータワイブル 形状、しきい値、または両方
    指数 なし
    2パラメータ指数 Threshold
    しきい値なしのその他の分布 および尺度
    しきい値付きのその他の分布 尺度、しきい値、または両方

    ワイブル分布の尺度パラメータは常に推定します。位置パラメータを持つ分布に対しては、位置パラメータは常に推定します。

すべてのパラメータを指定する

すべてのパラメータを、データから推定せずに指定できます。パラメータの経験値を指定することにより、パラメータの経験値に基づく推定値と現在のデータに基づく推定値を比較したり、パラメータの経験値に基づいて現在のデータが確率プロットにどの程度適合するかを調べることができます。

  1. ワークシートの1つの列に分布のパラメータ推定値を入力します。 分析する変数が2つ以上ある場合は、パラメータ推定値の列を2つ以上入力できます。さまざまな分布に対して、次の表で示す順序で列にパラメータ推定値を入力します。
    分布 パラメータ
    ワイブル 形状と尺度を入力
    指数 平均を入力
    その他の2パラメータ分布 位置と尺度を入力
    2パラメータ指数 尺度としきい値を入力
    3パラメータワイブル 形状、尺度、しきい値を入力
    その他の3パラメータ分布 位置、尺度、しきい値を入力
  2. 統計 > 信頼性/生存時間 > 分布分析(右打ち切り) > パラメトリック分布分析または統計 > 信頼性/生存時間 > 分布分析(任意打ち切り) > パラメトリック分布分析を選択します。
  3. オプションをクリックします。
  4. を選択します経験値を使用する
  5. 経験値を使用するで、パラメータの推定値の列を入力します。 分析する変数が2つ以上ある場合は、変数を入力したのと同じ順序で推定値の列に入力します。

パラメトリック分布分析の共通の形状パラメータまたは尺度パラメータの前提

パラメトリック分布分析を実行するとき、推定値の共通の形状パラメータまたは尺度パラメータを前提にできます。

  1. 統計 > 信頼性/生存時間 > 分布分析(右打ち切り) > パラメトリック分布分析または統計 > 信頼性/生存時間 > 分布分析(任意打ち切り) > パラメトリック分布分析を選択します。
  2. 推定をクリックします。
  3. 推定法の下の一般的な形状 (傾き-ワイブル) または尺度 (1/傾き-他の分布) を仮定するをチェックします。

    推定値を計算するときに共通の形状パラメータまたは尺度パラメータが前提になります。たとえば、平均は異なるが分散が同じの、個々に正規分布に従うサンプルが2つあると仮定します。サンプルごとの平均を推定するには、分散の併合推定値を使用します。この手法は、他の分布にも一般化されます。ただし、特定の結果は、分析で選択した推定法によって変わります。

共通の形状または尺度パラメータを持つMLE法

最尤法では、対数尤度関数を使用します。この場合、モデルの対数尤度関数は個々の対数尤度関数の合計であり、対数尤度関数ごとに同じ形状パラメータが前提となります。その結果得られる全体の対数尤度関数は、グループごとに関連付けられる尺度パラメータおよび共通の形状パラメーターを取得できるように最大化されます。詳細は、次の参考文献を参照してください。Nelson (1982). Applied Life Data Analysis, Chapter 12. John Wiley & Sons.

共通の形状または尺度パラメータを持つLSE法

Minitabでは、まずグループごとのY座標とX座標が計算されます(詳細はパラメトリック分布分析(右打ち切り)における確率プロットの方法と計算式の「プロット点」と「適合線」を参照してください)。次に、LSE推定値を得るために、次のステップを実行します。

  1. X座標データを合算します。
  2. Y座標データを合算します。
  3. 指標変数(またはBy変数)を使用してグループを特定します。
  4. すべてのY座標(連続予測変数)と指標変数(カテゴリ予測変数)によって定義される予測変数に対してX座標(応答)を回帰します。

    対数-位置-尺度分布(ワイブルなど)では、X座標は対数変換する必要があります。グループの傾きは同じである必要があります。傾きは共通の形状パラメータの逆数です。