回帰モデルの適合線形回帰の 係数表

係数表における統計量の定義と解釈について解説します。

係数

回帰係数は、予測変数と応答変数の関係の、サイズと方向を表します。係数とは、回帰式において項の値に乗じられる数です。

解釈

項の係数は、その項の変化に関連付けられた平均応答の変化を表し、モデル内の他の全ての項は固定されます。相関係数の符号は項と応答変数の関係の方向を示します。係数の大きさは、応答変数に対して項が持つ影響力の実質的な優位性を評価するのに役立ちます。ただし、係数の大きさは項の統計的な有意性は示しません。これは有意性の計算には応答データの変動も考慮されるためです。統計的な有意性を判断するには、項のp値を調べます。

各係数の解釈はその係数が連続変数のものなのか、カテゴリ変数のものなのかによって異なります。説明は以下になります。
連続変数

項の係数は、その項の1単位分の変化に対する平均応答の変化を表します。項が増えるにつれて係数が負値になる場合は、平均応答値は減少します。項が増えるにつれて係数が正値になる場合は、平均応答値は増加します。

カテゴリ変数
1つを除く各カテゴリ変数の水準に係数が表示されます(結果サブダイアログボックスで全水準の係数を表示する設定にした場合を除きます)。モデルの適合のため、カテゴリ変数の1つの水準の係数は0に設定されていなければなりません。カテゴリ変数の係数の解釈は、カテゴリ変数に選択したコード化スキームに依存します。コード化スキームはコード化サブダイアログボックスで変更できます。
  • (0, 1)のコード化スキームでは、各係数は各水準平均と参照水準平均間の差を表します。参照水準の係数は、係数表には表示されません。
  • (−1, 0,+1)のコード化スキームでは、各係数は各水準平均と全体平均間の差を表します。

例えば、あるマネージャーは従業員のスキルテストのスコアが回帰モデル y = 130 + 4.3x1 + 10.1x2によって予測できると判断しました。この式でx1は社内トレーニングの時間(0から20)です。変数x2は、従業員に指導者がついた場合に1に等しく、指導者がつかない場合は0になるカテゴリ変数です。応答はyで、テストのスコアになります。トレーニング時間に対する連続変数の係数は4.3で、これはトレーニング1時間ごとにテストの平均スコアが4.3ポイントずつ上がることを示しています。(0, 1)のコード化スキームを使うと、指導者をつけるというカテゴリ変数の係数は、従業員に指導者がついた場合のスコアがつかなかった場合に比べて平均10.1ポイント高くなることを示しています。

コード化係数

Minitabはモデルに含まれる連続変数に対するさまざまなコード化スキームを使い、線形モデルを適合させることができます。これらのコード化スキームにより、推定する工程や結果の解釈が向上します。さらに、コード化された単位は、各項が応答に対する有意な予測変数かどうかを判断するのに使われる統計検定の結果を変える可能性があります。モデルがコード化単位を使う場合、分析ではコード化係数が生成されます。

解釈

Minitabで使用されるコード化の方法は、次に示すようにコード化係数の推定と解釈に影響します。
最低水準と最高水準を指定して、-1および+1としてコード化
この方法では、変数はセンタリングおよびスケーリングされます。Minitabではこの方法は実験計画(DOE)で使用されます。係数は、指定した最高値と最低値に関連付けられた応答の変化の平均を表します。
平均を引き、標準偏差で割る
この方法では、変数はセンタリングおよびスケーリングされます。各係数は変数の標準偏差が1つ変化した場合に期待される応答の変化を表します。
平均を引く
この方法では、変数がセンタリングされます。各係数は、元の測度で測られる、変数が1単位分変化した場合に期待される応答の変化を表します。平均を引くと、全ての予測変数がそれぞれ平均値にある場合、定数係数は平均応答を推定します。
標準偏差で割る
この方法では、変数がスケーリングされます。各係数は変数の標準偏差が1つ変化した場合に期待される応答の変化を表します。
指定した値を引き、別の値で割る
この方法における効果および解釈は、入力する値により異なります。

係数の標準誤差

係数の標準誤差により、同じ母集団から繰り返しサンプルを抽出する場合に得られる係数推定値間の変動を推定します。計算では、サンプルを繰り返し抽出する場合はサンプルのサイズと係数の推定値は変わらないと仮定します。

解釈

係数の標準誤差は、係数の推定値の精度を測定するために使用します。標準誤差が小さいほど、推定値の精度が高くなります。係数を標準誤差で割ったものがt値です。t統計量と関連付けられたp値が有意水準以下の場合、係数は統計的に有意であると結論付けることができます。

たとえば、技術者が太陽熱エネルギーテストの一環として、日射のモデルを推定したとします。

回帰分析: 対日照量対南, 北, 時刻

係数

係数係数の標準誤差t値p値VIF
定数8093772.140.042 
20.818.652.410.0242.24
-23.717.4-1.360.1862.17
時刻-30.210.8-2.790.0103.86

このモデルでは、北と南は焦点がインチ単位で測られています。北と南の係数は大きさでは似ています。南の係数の標準誤差は北のそれよりも小さくなっています。したがって、このモデルは南の係数をより高い精度で推定することができます。

北の係数の標準誤差は、それ自身の係数とほぼ同程度の大きさです。得られるp値は共通の有意水準よりも大きいため、北の係数が0と異なると結論付けることはできません。

南の係数は北の係数よりも0に近いですが、南の係数の標準誤差は同じように小さくなっています。得られるp値は共通の有意水準よりも小さくなります。南の係数の推定値のほうがより正確なため、南の係数は0とは異なると結論付けることができます。

統計的有意性は、重回帰においてモデルを縮小させる一つの判定基準となります。詳細は、モデルの縮約化を参照してください。

係数の信頼区間(95%の信頼区間)

これらの信頼区間(CI)は、モデルにおける各項に対する係数の真の値を含む可能性が高い値の幅です。

データのサンプルはランダムであるため、1つの母集団からの2つのサンプルの信頼区間が同一である可能性は低くなります。しかし、ランダムなサンプルを何度も繰り返して測定すると、得られた信頼区間の特定の割合に未知の母集団パラメータが含まれることになります。このようなパラメータを含む信頼区間の割合(%)を区間の信頼水準と言います。

信頼区間は、次の2つの部分で構成されています。
点推定
この単一値は、サンプルデータを使用して母数を推定するためのものです。信頼区間は、点推定を中心にして得られます。
誤差幅
誤差幅は、信頼区間の幅の定義に使用され、サンプル、サンプルサイズ、および信頼水準における観測された変動性によって決まります。信頼区間の上限を計算するには、誤差幅を点推定に加算します。信頼区間の下限を計算するには、点推定から誤差幅を減算します。

解釈

信頼区間を使用して、モデルの各項の母集団係数の推定値を評価します。

たとえば、信頼水準が95%の場合、信頼区間に母集団係数の値が含まれていることが95%信頼できます。信頼区間は、結果の実質的な有意性を評価するのに役立ちます。状況に応じた専門知識を利用して、信頼区間に実質的に有意な値が含まれているかどうかを判断します。信頼区間が広すぎて有用でない場合は、サンプルサイズを増やすことを検討します。

t値

t値は、係数とその標準誤差の間の比率を測定します。

解釈

t値を使用してMinitabで計算されるp値に基づいて、係数が0と有意に異なるかどうかを検定することができます。

t値を使用して、帰無仮説を棄却するかどうかを判断できます。ただし、帰無仮説棄却のしきい値は自由度に依存しないため、p値が使用される頻度は高まります。t値に関する詳細については、t値を使用して、帰無仮説を棄却するかどうかを判断するを参照してください。

p値~係数

p値は帰無仮説を棄却するための証拠を測定する確率です。確率が低いほど、帰無仮説を棄却する強力な証拠となります。

解釈

モデルにおける応答と各項の間の関係が統計的に有意かどうか判断するには、項のp値と有意水準を比較して帰無仮説を評価します。この帰無仮説は、項の係数は0に等しく、項と応答に関連性がないという仮定です。通常は、有意水準(αまたはアルファとも呼ばれる)として0.05が適切です。0.05の有意水準は、実際には関連性がない場合でも、関連性が存在すると結論付けてしまうリスクが5%であるということを示します。
p値 ≤ α:関連性は統計的に有意である
p値が有意水準以下の場合は、応答変数と項の間に統計的に有意な関連性が存在すると結論付けることができます。
p値 > α:その関連性は統計的に有意ではない
p値が有意水準より大きい場合は、応答変数と項の間に統計的に有意な関連性があると結論することはできません。項を持たないモデルを再適合したいと考えるかもしれません。
応答との間に統計的に有意な関連性がない予測変数が複数存在する場合は、一度に1つずつ項を削除することによってモデルを縮約できます。モデルからの項の削除の詳細は、モデルの縮約化を参照してください。
モデル項が統計的に有意な場合、解釈は項のタイプによって異なります。解釈は以下のとおりです。
  • 連続変数の係数が有意な場合は、その変数の値の変化は平均応答値の変化と関連します。
  • カテゴリ水準の係数が有意な場合、その水準の平均は、全体平均(-1、0、+1コード化)または参照水準の平均(0、1コード化)のいずれかと異なります。
  • 交互作用項の係数が有意な場合は、因子と応答の間の関係はその項の他の因子に依存します。こうしたケースでは、交互作用の影響の考慮なしに主効果を解釈すべきではありません。
  • 多項式項の係数が有意な場合は、データに曲面性が含まれると結論付けることができます。

VIF

分散拡大要因(VIF: Variance Inflation Factor)は、モデルの予測変数間の相関が、回帰係数の分散をどのくらい増大させるかを示しています。

解釈

回帰分析において、どれくらい多重共線性(予測変数間の相関)が存在するかを表すのにVIFを使います。多重共線性は回帰係数の分散を増加させ、予測変数による応答変数への個々の影響力を評価するのが困難となる可能性があります。

以下のガイドラインに従ってVIFを解釈します。
VIF 予測変数ステータス
VIF = 1 相関なし
1 < VIF < 5 穏やかに相関
VIF > 5 強く相関
VIF値が5よりも大きい場合は、多重共線性が極端であるために回帰係数の推定精度が低いことを示しています。

多重共線性およびその影響の軽減方法についての詳細は、回帰における多重共線性を参照してください。