최량 부분 집합 회귀 분석에 대한 방법 및 공식

이 항목의 내용

계산 루틴
회귀 방정식
R-제곱
R-제곱(수정)
PRESS
R-제곱(예측)
Mallows의 Cp
S
로그 우도
AICc(Akaike Corrected Information Criterion)
BIC(Bayesian Information Criterion)
조건 수

계산 루틴

Minitab은 최량 부분 집합 회귀 분석에서 단계당 부분 집합 하나씩, 예측 변수의 가능한 모든 부분 집합을 계산하는 방법인 Hamiltonian Walk 절차를 사용합니다. 즉, Minitab은 2**m - 1 단계에서 모두 2**m - 1개의 부분 집합을 계산합니다(여기서 m은 모형 내 예측 변수의 수). Minitab은 각 단계에서 서로 다른 부분 집합 회귀 분석을 평가합니다.

Hamiltonian Walk의 각 부분 집합은 선행 부분 집합에서 변수 하나만을 추가하거나 삭제한 것입니다. sweep 연산자는 Hamiltonian Walk의 각 단계에서 변수 하나를 회귀 분석에 추가하거나 삭제하고, 각 부분 집합에 대해 R²을 계산합니다.

회귀 방정식

모형의 예측 변수가 두 개 이상인 경우 방정식은 다음과 같습니다.

y = β₀ + β₁x₁ + ... + β_kx_k + ε

적합 방정식은 다음과 같습니다.

예측 변수가 하나만 포함된 단순 선형 회귀 분석에서 모형은 다음과 같습니다.

y=ß₀+ ß₁x₁+ε

회귀분석을 사용하여 ß₀에 대해 b₀ , ß₁에 대해 b₁ 을 추정하면, 적합 방정식은 다음과 같습니다:

범주 변수를 가진 방정식

회귀 모델에 범주 변수를 포함할 때, 회귀 방정식을 표시하는 두 가지 옵션이 있습니다:

각 범주 예측 수준 집합의 별도 방정식
단일 방정식

이 두 옵션은 동등합니다. 예를 들어, 데이터에 다음 변수들이 있다고 가정하자:

C1: 응답 변수
C2: 연속 예측자
C3: 빨간색 과 파란색수준을 가진 범주 예측 변수

개별 방정식은 다음과 같습니다:

파랑: C1 = 0.184 + 0.1964*C2
빨강: C1 = 0.011 + 0.1964*C2

단일 방정식은 범주 변수를 나타내기 위해 지시 변수를 사용합니다.

C1 = 0.184 + 0.1964*C2 + 0.0*C3_Blue - 0.173*C3_Red

단일 방정식에서 관측값이 파란색일 때는 C3_Blue 가 1이고, 그렇지 않으면 0이 됩니다. C3_Red 관측값이 빨간색일 경우 1이고, 그렇지 않으면 0이 됩니다. 각 그룹에 대해 지시 변수를 대입하여 단일 방정식이 두 개의 별도 방정식과 동일한지 검증합니다.

블루 관측 (C3_Blue = 1, C3_Red = 0): C1 = 0.184 + 0.1964*C2 + 0.0*1 - 0.173*0 = 0.184 + 0.1964*C2
붉은 관측 (C3_Blue = 0, C3_Red = 1: C1 = 0.084 + 0.1964*C2 + 0.0*0 - 0.173*1 = 0.011 + 0.1964*C2

표기법

용어	설명
y	반응
x_k	K^번째 임기. 각 항은 단일 예측 변수, 다항식 항 또는 교호작용 항입니다.
ß_k	k^번째 인구 회귀 계수
ε	평균이 0인 정상 분포를 따르는 오차 항
B_K	K^번째 인구 회귀 계수 추정치
	적합 반응

R-제곱

R²은 결정 계수라고도 합니다.

공식

표기법

용어	설명
y_i	i번째 관측된 반응 값
	평균 반응
	i번째 적합 반응

R-제곱(수정)

표기법

용어	설명
MS	평균 제곱
SS	제곱합
DF	자유도

PRESS

모형의 예측 능력을 평가하며, 다음과 같이 계산합니다.

표기법

용어

설명

관측치 수

e_i

i번째 잔차

h_i

i번째 요소

X (X' X)^-1X'

R-제곱(예측)

계산 결과 R²(예측) 값이 음수가 될 수 있지만, Minitab에서는 이 경우 0을 표시합니다.

표기법

용어	설명
y_i	i번째 관측된 반응 값
	평균 반응
n	관측치 수
e_i	i번째 잔차
h_i	X(X'X)^–1X'의 i번째 대각 원소
X	설계 행렬

Mallows의 Cp

표기법

용어	설명
SSE_p	고려 중인 모형에 대한 오차 제곱합
MSE_m	모든 후보 항이 포함된 모형에 대한 평균 제곱 오차
n	관측치 수
p	상수를 포함한 모형의 항 수

S

표기법

용어	설명
MSE	평균 제곱 오차

로그 우도

가중되지 않은 분석의 경우 Minitab에서는 다음 방정식을 사용합니다.

관측치에 대한 가중치가 있는 분석의 경우 Minitab에서는 다음 방정식을 사용합니다.

가중치가 0인 관측치가 분석에 없습니다.

표기법

용어	설명
n	관측치 수
R	모형에 대한 오차의 제곱합
w_i	i번째 관측치의 가중치

AICc(Akaike Corrected Information Criterion)

인 경우 AICc가 계산되지 않습니다.

표기법

용어	설명
n	관측치 수
p	상수를 포함한 모형의 계수 수

BIC(Bayesian Information Criterion)

표기법

용어	설명
p	상수를 포함한 모형의 계수 수
n	관측치 수

조건 수

표기법

용어	설명
C	조건 수
λ_최대값	모형에 있는 항의 상관 행렬의 최대 고유값(절편 포함하지 않음)
λ_최소값	모형에 있는 항의 상관 행렬의 최소 고유값(절편 포함하지 않음)