ベストサブセット回帰のすべての統計量を解釈する

解釈

R²を使用して、モデルがデータにどの程度適合するかを判断します。R²値が高いほど、データにモデルがより良く適合します。R²は常に0%から100%の間です。

適合線プロットを使用して、さまざまなR²値をグラフィカルに説明することができます。最初のプロットは、応答の変動の85.5%を説明する単回帰モデルを示しています。2番目のプロットは、応答の変動の22.6%を説明するモデルを示しています。モデルによって説明される変動が多いほど、データ点が適合回帰直線に近づきます。理論上、モデルが変動の100%を説明できる場合、適合値は常に観測値と等しく、すべてのデータ点が適合線上に収まります。ただし、R²が100%であっても、そのモデルが必ずしも新しい観測値を良好に予測するとは限りません。

解釈

異なる数の予測変数を持つモデルを比較する場合は、調整済みR²を使用します。R²はモデルに予測変数を追加すると、それがモデルを改善しないとしても必ず大きくなります。調整済みR²値にはモデルに含まれる予測変数の数が組み入れられるため、正しいモデルの選択に役立ちます。

1つ目のモデルのR²は50%以上になります。2つ目のモデルでは冷却率がモデルに追加されました。調整済みR²は大きくなり、冷却率によりモデルが改善されることを示しています。調理温度が追加された3つ目のモデルでもR2は大きくなりますが、調整済みR²は大きくなりません。これらの結果から、調理温度はモデルを改善しないことがわかります。これらの結果から、調理温度はモデルを改善しないことがわかります。

解釈

PRESSを使用してモデルの予測能力を評価します。通常、PRESSの値が小さいほどモデルの予測能力は上がります。Minitabでは、通常より直感的に解釈できる予測R²を計算する場合にPRESSが使用されます。合わせることにより、これらの統計量によって過剰適合を回避することができます。過剰適合は、サンプルデータでは重要に見えても母集団には重要でない項を追加した場合に起こります。その結果モデルはサンプルデータに即してしまい、母集団の予測に適さなくなる可能性があります。

解釈

予測R²を使用して、モデルが新しい観測値に対する応答をどの程度良好に予測するかを判断します。 予測R²値が大きいモデルの予測能力は優れています。

R²よりも大幅に低い予測R²は、モデルの過剰適合を示している可能性があります。過剰適合は、母集団には重要でない項を追加した場合に起こります。そのモデルはサンプルデータに即してしまい、母集団の予測に適さなくなる可能性があります。

予測R²は、モデル計算に含まれていない観測値によって計算されるため、モデルを比較する場合は調整済みR²より便利です。

たとえば、財務コンサルティングの分析者が、将来の市況を予測するモデルを作成するとします。R²は87%であるため、このモデルは期待が持てるように見えます。しかしながら、予測R²はたった52%しかなく、これはモデルの過剰適合の可能性を示しています。

解釈

マローズのCpの値が、予測変数の数に定数を加えた値に近い場合は、モデルが相対的に精度が高く、偏りが少ない推定値を導出することを示しています。

マローズのCpの値が、予測変数の数に定数を加えた値よりも大きい場合は、モデルが偏っており、データにあまり適合しないことを示しています。

解釈

Sを使い、モデルがどの程度良好に応答を表示するか判断します。Sは応答変数の単位で測定され、データ値と適合値の間の距離を表します。Sの値が小さければ小さいほど、モデルによる応答の記述が良好になります。ただし、Sの値が小さいだけでは、そのモデルが仮定を満たしているとは言い切れません。残差プロットを確認して仮定を検証する必要があります。

たとえば、ポテトチップ製造会社が、パッケージあたりに含まれる砕けたポテトチップの割合に影響する因子を調べるとします。モデルを有意な予測変数まで下げ、Sの計算値が1.79になったとします。この結果は、適合値を中心としたデータ点の標準偏差が1.79であることを示しています。モデルを比較している場合、1.79よりも低い値は良好な適合を示し、高い値は適合度が低いことが分かります。

解釈

異なるモデルを比較する際はAICcとBICを使用します。小さい値が好ましいと考えられます。ただし、予測変数セットに対して最小値を持つモデルは必ずしもデータに良好に適合しません。検定と残差プロットも使用して、データに対するモデルの適合度を評価してください。

AICcとBICは両方とも、モデルの尤度を評価し、モデルに項を追加したときにペナルティを適用します。このペナルティにより、モデルがサンプルデータに過剰適合する傾向を減少させます。こうした減少により、通常のモデルのパフォーマンスを改善できます。

一般的なガイドラインとして、パラメーター数がサンプルサイズよりも少ない場合、BICにおける各パラメーターの追加に対するペナルティはAICcよりも大きくなります。これらのケースでは、BICを最小化するモデルは、AICcを最小化するモデルよりも小さくなる傾向があります。

スクリーニング計画などのよくある一部のケースでは、一般的に、パラメーター数はサンプルサイズよりも多くなります。これらのケースでは、AICcを最小化するモデルは、BICを最小化するモデルよりも小さくなる傾向があります。たとえば、実行数が13の決定的スクリーニング計画では、AICcを最小化するモデルは、6個以上のパラメーターを持つ1組のモデル内ではBICを最小化するモデルよりも小さくなる傾向があります。

AICcとBICに関する詳細は、Burnham and Anderson（¹を参照してください。

解釈

条件数を使用して、異なる項を持つモデルを比較します。条件数が1の場合は、モデル項に相関がないことを示しています。値が大きいほど、多重共線性が高いことを表しています。

特定の条件数の結果がいくつかの条件によって変わる一方、100を上回る値は、通常調査の必要性を示します。モデル内の項に多重共線性がある場合、モデルの解釈は、項に相関のないモデルの解釈ほど単純ではありません。詳細は回帰での多重共線性を参照してください。

これらの結果では、モデルに項が1つしかない場合の条件数は1です（モデルに連続予測変数が1つある場合の条件数は常に1です）。条件数が100を上回るモデルはないので、予測変数間の多重共変性が結果に大きな影響を与える可能性は低いです。