ベストサブセット回帰の方法と計算式

計算ルーチン

ベストサブセット回帰では、Minitabは、すべての有効な予測変数サブセットを、ステップごとに1サブセットずつ計算する方法であるハミルトニアン・ウォークと呼ばれるプロシージャを使用します。つまり、Minitabは、2**m - 1ステップ(mはモデル内の予測変数の数)ですべての2**m - 1サブセットを計算します。Minitabは、ステップごとに異なるサブセット回帰を評価します。

ハミルトニアン・ウォークの各サブセットは、1つの変数のみを追加または削除することにより、前のサブセットから変わります。スイープ演算子はハミルトニアン・ウォークのステップごとの回帰の内側または外側にある変数を「掃除」し、サブセットごとにR2を計算します。

回帰式

複数の予測変数があるモデルの場合、回帰式は以下になります。

y = β0 + β1x1 + ... + βkxk + ε

適合する式は以下になります。

単回帰では予測変数は1つしかなく、モデルは以下になります。

y=ß0+ ß1×1+ε

回帰推定を用いて β0を β 0b1 を β1 に推定すると、適合式は次のようになります。

カテゴリ変数を持つ方程式

回帰モデルにカテゴリ変数を含める場合、回帰方程式を表示するオプションは2つあります。
  • 各カテゴリ予測レベルの別々の方程式
  • 単一式
この二つの選択肢は同等です。例えば、データに以下の変数があるとします:
C1
応答変数
C2
連続予測変数
C3
のレベルを持つカテゴリカル予測変数
それぞれの式は以下の通りです。
  • 青い:C1 = 0.184 + 0.1964*C2
  • 赤い:C1 = 0.011 + 0.1964*C2

単一の方程式は、カテゴリ変数を表すために指示変数を使用します。

C1 = 0.184 + 0.1964*C2 + 0.0*C3_青- 0.173*C3_赤

この単一の方程式では、観測が青なら C3_青 が1、そうでなければ0となります。C3_赤 観測が赤なら1、そうでなければ0となります。各グループに対して、指示変数を代入して、単一の方程式が2つの別々の方程式と同じであることを検証します。
  • 青い観測(C3_青 = 1, C3_赤 = 0): C1 = 0.184 + 0.1964*C2 + 0.0*1- 0.173*0 = 0.184 + 0.1964*C2
  • 赤い観測(C3_青 = 0, C3_赤 = 1: C1 = 0.084 + 0.1964 *C2 + 0.0*0 - 0.173*1 = 0.011 + 0.1964*C2

表記

用語説明
y応答
xk第K期。 各項は1つの予測変数、多項式の項、または交互作用項になり得ます。
ßKk番目の 人口回帰係数
ε平均値が0で正規分布に従う誤差項
BK第K 数の推定
適合する応答

R二乗

R2は、決定係数とも言います。

計算式

表記

用語説明
yi i番目の観測された応答値
平均応答
i番目の適合された応答

自由度調整済みR二乗

表記

用語説明
平均平方(MS)平均平方
平方和(SS)平方和
自由度(DF)自由度

予測残差平方和

モデルの予測能力を評価します。計算方法は以下の通りです。

表記

用語説明
n観測値数
eii番目の残差
hi

以下のi番目の対角要素

X (X' X)-1X'

R二乗(予測)

R2(予測)値に負値が算出される場合がありますが、Minitabでは0を表示します。

表記

用語説明
yi i番目の観測された応答値
平均応答
n 観測値数
ei i番目の残差
hi X(X'X)–1X'i番目の対角要素
X計画行列

マローズのCp

表記

用語説明
誤差平方和p検討中モデルの平方和の誤差
平均平方誤差m候補となる全ての項を含むモデルの平均平方誤差
n観測値数
p定数項を含むモデル内の項の数

S

表記

用語説明
誤差の平均平方誤差の平均平方

対数尤度

非加重分析の場合、次の式を使用します。
観測値に重みが設定されている分析の場合、次の式を使用します。

重みが0の観測値は分析に使用されません。

表記

用語説明
n観測値数
不合格モデルの誤差の平方和
wii番目の観測値の重み値

AICc(補正赤池情報量基準)

AICcは次の場合には計算されません。.

表記

用語説明
n観測値数
pモデルの係数の個数(定係数を含む)

BIC(ベイズ情報量基準)

表記

用語説明
pモデルの係数の個数(定係数を含む)
n観測値数

条件数

表記

用語説明
C条件数
λ最大値モデル内の項の相関行列の固有値の最大値(切片は含まれない)
λ最小値モデル内の項の相関行列の固有値の最小値(切片は含まれない)