2値ロジスティックモデルを適合の適合値と診断

適合値と診断の定義と解釈について解説します。

適合値

適合値は事象確率または予測確率とも呼ばれます。事象確率は、特定の結果または事象が発生する確率です。事象確率は、1組のトランプからエースを引いたり、不適合部品が生産されるなどの事象が起こる尤度を推定します。事象確率の範囲は、0(不可能)から1(確実)です。

解釈

2値ロジスティック回帰で、応答変数が取り得る値は、たとえば特定の病気が「存在する」か「存在しない」かなど、2つだけです。事象確率は、与えられた因子か共分散のパターンの応答が事象に対して1になる尤度(50歳以上の女性が2型糖尿病になる尤度など)のことです。

実験における各実行を試行と呼びます。たとえば、硬貨を10回投げて表が出た回数を記録する場合、実験において10回の試行を実行すると言います。試行が独立しており尤度が同じであれば、事象確率は事象数を試行総数で割ることによって得られます。たとえば、硬貨を10回投げて表が出た回数が6であった場合、事象(表が出る)の推定確率は次のようになります。

事象数 ÷ 試行回数 = 6 ÷ 10 = 0.6

順位ロジスティック回帰および名義ロジスティック回帰では、応答変数に3つ以上のカテゴリがある場合があります。事象確率は、与えられた因子か共分散のパターンが、特定の応答カテゴリを持つ尤度です。累積事象確率は、与えられた因子・共変量パターンの応答がカテゴリk以下となる尤度を、可能なkのそれぞれについて計算したものです(kは応答カテゴリ1…kです)。

適合値の標準誤差(SE Fit)

適合値の標準誤差(SE Fit)は、特定の変数設定について推定される平均応答の変動を推定します。平均応答の信頼区間の計算には、適合値の標準誤差が使用されます。標準誤差は常に正数です。

解釈

適合値の標準誤差は、平均応答の推定値の精度を測定するために使用します。標準誤差が小さいほど、予測される平均応答の精度は高くなります。たとえば、分析者が配達時間を予測するモデルを開発するとします。変数設定のひとつのセットに、モデルは3.80日の平均配達時間を予測します。これらの設定の適合値の標準誤差は0.08日です。変数設定の2つめのセットに、モデルは適合値の標準誤差の0.02日で同じ平均配達時間を生成します。分析者は、変数設定の2つめのセットの平均配達時間が3.80日近くであるということに、より自信を持つことができます。

適合値とともに、適合値の標準誤差を使用して、平均応答の信頼区間を作成できます。たとえば、自由度の数に基づいて、95%の信頼区間は予測平均から標準誤差のおよそ2個分の範囲になっています。配達時間では、標準誤差が0.08日の際の予測平均の3.80日の95%の信頼区間は、(3.64、3.96)日です。これは、95%の信頼度で、母集団の平均がこの範囲に含まれることを意味します。標準誤差が0.02日の際、95%の信頼区間は、(3.76、3.84)日です。変数設定の2つめのセットの信頼区間は、標準誤差がより小さいことから、より狭くなります。

適合値の信頼区間(95% CI)

信頼区間(CI)は、モデル内にある予測変数の観測値を持つ母集団の事象確率が含まれている可能性のある値の範囲です。

データのサンプルはランダムであるため、2つの母集団サンプルの信頼区間が同一である可能性は低くなります。しかし、サンプルを何度も繰り返して測定すると、得られた信頼区間の特定の割合に未知の母集団パラメータが含まれることになります。このようなパラメータを含む信頼区間の割合(%)を区間の信頼水準と言います。

信頼区間は、次の2つの部分で構成されています。
点推定
点推定は、サンプルデータから算出されるパラメータの推定値です。信頼区間は、この値を中心にして得られます。
誤差幅
誤差幅は、信頼区間の幅を定義し、サンプル、サンプルサイズ、信頼水準において観測された変動性によって決定します。信頼区間の上限を算出するには、誤差幅を点推定に加算します。信頼区間の下側限界を算出するには、点推定から誤差幅を減算します。

解釈

信頼区間を使用して、変数の観測値に関する適合値の推定値を評価します。

たとえば、信頼水準が95%の場合は、モデル内の指定された値の変数を持つ事象確率が含まれる信頼区間を95%信頼できます。信頼区間により、結果の実質的な有意性を評価しやすくなります。状況に応じた専門知識を利用して、信頼区間に実質的に有意な値が含まれているかどうかを判断します。信頼区間が広すぎて役に立たない場合、サンプルのサイズを増加させることを検討します。

残差

残差は、どの程度観測値がモデルで予測できるかの指標となります。デフォルトでは逸脱残差が計算されます。モデルに適合しない観測値では、逸脱度とピアソン残差が高くなります。異なる因子・共変量パターンごとに残差が計算されます。

残差の解釈は逸脱残差またはピアソン残差のどちらを使用しても同じです。モデルにロジットリンク関数が使用されると、逸脱残差の分布は最小二乗回帰モデルの残差の分布に近くなります。予測変数設定の組み合わせに対する試行回数が増えるに連れ、逸脱残差とピアソン残差はさらに似てきます。

解釈

残差をプロットし、モデルが適切であり、回帰仮定が満たされているかどうかを確認できます。残差を調べることにより、データに対するモデルの適合度に関して有用な情報を得ることができます。一般に、残差は0付近にランダムに分布し、明確なパターンや異常値がありません。Minitabが、データに異常な観測値が含まれていると判断した場合は、これらの観測値が特定された、異常な観測値の適合値と診断の表が出力されます。異常な値に関する詳細は、異常な観測値を参照してください。

標準化残差

標準化残差は、残差(ei)をその標準偏差の推定値で割ったものです。

解釈

標準化残差を使用すると、外れ値を検出しやすくなります。2より大きく、-2より小さい標準化残差は、通常は大きなものであると見なされます。異常な観測値の適合値と診断の表では、これらの観測値が「R」で示されます。分析により異常値が多数見つかった場合、通常モデルは有意な不適合を示します。つまり、そのモデルは十分に因子と応答変数の関係を説明しきれていないことになります。詳細は異常な観測値を参照してください。

標準化残差が役に立つのは、生の残差が外れ値を識別するものとして許容されない場合があるためです。生の残差の分散は、それに関連づけられたx値によって異なることがあります。この尺度が等しくないため、生データの残差のサイズを評価するのは困難です。残差を標準化することで、異なる分散が共通の尺度に変換され、この問題は解消されます。

残差の解釈は逸脱残差またはピアソン残差のどちらを使用しても同じです。モデルにロジットリンク関数が使用されると、逸脱残差の分布は最小二乗回帰モデルの残差の分布に近くなります。予測変数設定の組み合わせに対する試行回数が増えるに連れ、逸脱残差とピアソン残差はさらに似てきます。

削除した残差

各スチューデント化削除残差は、データセットからの各観測値の系統的な削除、回帰式の推定、削除した観測値をモデルがどの程度良好に予測するかの判断に使われるのと同じ計算式によって求められます。各スチューデント化削除残差は、観測値の削除した残差をその標準偏差の推定値で割ることでも標準化されます。観測値を除外したのは、観測値がない状態でのモデルの動作を見るためです。観測値に大きいスチューデント化削除残差がある(絶対値が2より大きい)場合は、データ内の外れ値の可能性があります。

解釈

スチューデント化削除残差を使用して、外れ値を検出します。観測値が含まれない状態のモデルの適合工程で、モデルがどの程度良好に応答を予測するかを判断するために、各観測値は削除されています。2よりも大きい、または-2より小さいスチューデント化削除残差は、通常は大きなものであると見なされます。ラベルがつけられた観測値は、提示された回帰式にしっかりとは従っていません。ただし、いくつかの異常な観測値があることは予測されています。たとえば、大きな残差の基準に基づくと、観測値の約5%は大きな残差を持つとしてフラグが付けられることが予測されます。分析で異常な観測値が多数示される場合は、そのモデルは十分に予測変数と応答変数の関係を説明しきれていない可能性があります。詳細は異常な観測値を参照してください。

外れ値の予想には、生の残差よりも標準化残差と削除した残差の方が役立つかもしれません。これは、予測変数や因子の様々な値に起因する、生の残差の分散の潜在的な差に応じて、これらの残差が調整されるためです。

Hi (てこ比)(I)

てこ比は、観察値のx値からデータセット内のすべての観察値のx値の平均までの距離を測定します。

解釈

てこ比値は0から1の間の値で、Minitabの異常な観測値の適合値と診断の表では、観測値のてこ比値が3p/nまたは0.99のいずれか小さい方を超えていることがXという文字によって示されます。3p/nでは、pはモデル内の係数の数で、nは観測値の数を表します。Minitabで「X」とラベル付けされる観測値は、影響力がある可能性があります。

影響力のある観測値は、モデルに対し不均衡な影響を与えるので、誤解を招く結果が生じる可能性があります。たとえば、影響力のある点を含める、または除外することにより、係数が統計的に有意かどうかが変わることがあります。影響力のある観測値は、てこ比点、外れ値またはその両方である可能性があります。

影響力のある観測値を確認する場合、観測値がデータ入力エラーまたは測定エラーでないかどうかを調べます。観測値がデータ入力エラーでも測定エラーでもない場合、観測値の影響度を調べます。まず、観測値のあるモデルとないモデルを適合します。その後、係数、p値、R2やその他のモデルの情報を比較します。影響力のある観測値を除外したときにモデルが大きく変化する場合は、モデルをさらに調べて、モデルの指定が誤っていないかどうかを確認します。問題を解決するには、さらに多くのデータを集めることが必要な場合もあります。

DFITS(T)

DFITSは、一般線形モデルにおける適合値に対して各観測値が持つ影響力を測る測度です。DFITSは、各観測値をデータセットから取り除きモデルを再度適合させたときに適合値が変化するおおよその標準偏差を表します。

解釈

DFITSの値が大きい観測値は、影響力がある可能性があります。DFITS値の大きさの一般的な基準は、DFITSが以下より大きいかどうかです。
用語説明
pモデルの項の数
n観測値数

影響力のある観測値は、モデルに対し不均衡な影響を与えるので、誤解を招く結果が生じる可能性があります。たとえば、影響力のある点を含める、または除外することにより、係数が統計的に有意かどうかが変わることがあります。影響力のある観測値は、てこ比点、外れ値またはその両方である可能性があります。

影響力のある観測値を確認する場合、観測値がデータ入力エラーまたは測定エラーでないかどうかを調べます。観測値がデータ入力エラーでも測定エラーでもない場合、観測値の影響度を調べます。まず、観測値のあるモデルとないモデルを適合します。その後、係数、p値、R2やその他のモデルの情報を比較します。影響力のある観測値を除外したときにモデルが大きく変化する場合は、モデルをさらに調べて、モデルの指定が誤っていないかどうかを確認します。問題を解決するには、さらに多くのデータを集めることが必要な場合もあります。

クックの距離(D)

クックの距離(D)は、一般線形モデルにおける係数のセットに対して観測値が持つ影響力を測る測度です。クックの距離は、観測値の影響力を判定するために、各観測値のてこ比値と標準化残差が考慮されます。

解釈

D値が大きい観測値は、影響力がある可能性があります。D値が大きい場合の一般的な基準は、D値がF分布の中央値であるF(0.5, p, n-p)よりも大きいときです。ここで、pはモデル項の数(定数も含む)で、nは観測値の数です。D値を調べるもう1つの方法は、個別値プロットなどのグラフを使用して値を比較することです。D値が他に比べて大きい観測値は、影響力がある可能性があります。

影響力のある観測値は、モデルに対し不均衡な影響を与えるので、誤解を招く結果が生じる可能性があります。たとえば、影響力のある点を含める、または除外することにより、係数が統計的に有意かどうかが変わることがあります。影響力のある観測値は、てこ比点、外れ値またはその両方である可能性があります。

影響力のある観測値を確認する場合、観測値がデータ入力エラーまたは測定エラーでないかどうかを調べます。観測値がデータ入力エラーでも測定エラーでもない場合、観測値の影響度を調べます。まず、観測値のあるモデルとないモデルを適合します。その後、係数、p値、R2やその他のモデルの情報を比較します。影響力のある観測値を除外したときにモデルが大きく変化する場合は、モデルをさらに調べて、モデルの指定が誤っていないかどうかを確認します。問題を解決するには、さらに多くのデータを集めることが必要な場合もあります。

本サイトを使用すると、分析およびコンテンツのカスタマイズのためにクッキーが使用されることに同意したことになります。  当社のプライバシーポリシーをご確認ください