回帰での多重共線性

このトピックの内容

多重共線性とは
Minitabで回帰式から高い相関を持つ予測変数を取り除く方法
多重共線性を修正する方法

多重共線性とは

回帰での多重共線性とは、モデル内の一部の予測変数が他の予測変数と相関しているときに起こる状態です。重度の多重共線性は、回帰係数の分散を増加させて不安定にするため問題となります。係数が不安定になると次のような影響が生じます。

係数は、予測変数と応答の間に有意な関係が存在する場合でも、有意でなく見える場合があります。
相関の高い予測変数の係数はサンプルによって大きく異なります。
モデルから相関の高い項のいずれかを削除すると、他の相関の高い項の係数の推定値に大きな影響を及ぼします。相関の高い項の係数の符号が誤っている場合もあります。

多重共線性を測定するには、予測変数の相関の構造を調べます。また、分散拡大係数（VIF）を調べることもできます。分散拡大係数は、予測変数間に相関がある場合に推定された回帰係数の分散がどれだけ増加するかを測定するものです。すべてのVIFが1の場合は多重共線性はありませんが、一部のVIFが1よりも大きい場合は予測変数が相関しています。VIFが5より大きい場合、その項の回帰係数は適切に推定されません。予測変数の他の予測変数との相関がほぼ完全である場合、項を推定できないというメッセージが表示されます。項のVIF値は通常、10億を超えます。

多重共線性は、適合度および予測の良さには影響しません。係数（線形判別関数）について信頼性の高い解釈を行うことはできませんが、適合値（分類された値）は影響を受けません。

注

多重共線性は、判別分析に回帰と同じような影響を与えます。

Minitabで回帰式から高い相関を持つ予測変数を取り除く方法

相関の高い予測変数を回帰式から取り除くには、Minitabで次の手順を実行します。

X行列でQR分解を実行します。
注
QR分解を使用してR²を計算する方が、最小二乗回帰を使用するより早く計算できます。
Minitabでは、予測変数を他のすべての予測変数で回帰し、R²値を計算します。1-R²<4*2.22e-016の場合は、その予測値は検定に不合格となり、モデルから削除されます。
残りの予測変数について、ステップ1と2を繰り返します。

例

モデルにX1、X2、X3、X4、X5の予測変数と応答Yが含まれているとします。Minitabによって次のことが実行されます。

X5をX1～X4で回帰します。1-R²が4*2.22e-016よりも大きい場合は、X5は式内に残されます。X5は検定に合格し、式内に保持されます。
X4をX1、X2、X3、X5で回帰します。この回帰の1-R²が4*2.22e-016より大きかったため、式内に保持されるとします。
X3をX1、X2、X4、X5で回帰し、R²値を計算します。X3は検定に不合格となり、式から削除されます。
X行列で新しいQR分解を実行し、X2を残りの予測変数X1、X4、X5で回帰します。X2は検定に合格します。
X1をX2、X4、X5で回帰します。X1は検定に不合格となり、式から削除されます。

Minitabは、YをX2、X4、X5で回帰します。結果には、X1とX3は推定できず、モデルから削除されたというメッセージが含まれています。

注

REGRESSセッションコマンドでTOLERANCEサブコマンドを使用すると、別の予測変数と相関が高い予測変数をモデル内に保持するように強制できます。ただし、公差を下げると、数値結果が不正確となる可能性があるため危険です。

多重共線性を修正する方法

重度の多重共線性の解決策として、次の方法が考えられます。

多項式を適合している場合は、予測変数の値から予測変数の平均を引きます。
高い相関を持つ予測変数をモデルから取り除きます。これらの予測変数は冗長な情報を提供しているため、取り除いてもR²は大して減少しません。これらの変数を取り除くには、ステップワイズ回帰、ベストサブセット回帰、データセットに関する専門知識が使用できます。
PLSまたは主成分分析を使用します。これらの分析法を利用することで、予測変数の数を減らして、より小さい一連の無相関な成分にまとめられます。

たとえば、あるおもちゃメーカーが、顧客満足度を予測しようとしています。回帰モデルに「強度」と「壊れにくさ」を予測変数として取り込みます。調査担当者は、これらの2つの変数の間に強い負の相関があり、VIFが5より大きいと判断します。ここで、予測変数のいずれかを削除しようとしたり、さらにはPLSまたは主成分分析を使用して、これらの関連する変数を使用して「耐久性」成分を作成することもできます。