최량 부분 집합 회귀 분석에 대한 방법 및 공식

계산 루틴

Minitab은 최량 부분 집합 회귀 분석에서 단계당 부분 집합 하나씩, 예측 변수의 가능한 모든 부분 집합을 계산하는 방법인 Hamiltonian Walk 절차를 사용합니다. 즉, Minitab은 2**m - 1 단계에서 모두 2**m - 1개의 부분 집합을 계산합니다(여기서 m은 모형 내 예측 변수의 수). Minitab은 각 단계에서 서로 다른 부분 집합 회귀 분석을 평가합니다.

Hamiltonian Walk의 각 부분 집합은 선행 부분 집합에서 변수 하나만을 추가하거나 삭제한 것입니다. sweep 연산자는 Hamiltonian Walk의 각 단계에서 변수 하나를 회귀 분석에 추가하거나 삭제하고, 각 부분 집합에 대해 R2을 계산합니다.

회귀 방정식

모형의 예측 변수가 두 개 이상인 경우 방정식은 다음과 같습니다.

y = β0 + β1x1 + … + βkxk + ε

적합 방정식은 다음과 같습니다.

예측 변수가 하나만 포함된 단순 선형 회귀 분석에서 모형은 다음과 같습니다.

y=ß0+ ß1x1+ε

회귀 추정치 b0(ß0의 경우)와 b1(ß1의 경우)를 사용한 적합 방정식은 다음과 같습니다.

표기법

용어설명
y반응
xkk번째 항. 각 항은 단일 예측 변수, 다항식 항 또는 교호작용 항입니다.
ßkk번째 모집단 회귀 계수
ε평균이 0인 정상 분포를 따르는 오차 항
bkk번째 모집단 회귀 계수의 추정치
적합 반응

R-제곱

R2은 결정 계수라고도 합니다.

공식

표기법

용어설명
yi i번째 관측된 반응 값
평균 반응
i번째 적합 반응

R-제곱(수정)

표기법

용어설명
MS평균 제곱
SS제곱합
DF자유도

PRESS

모형의 예측 능력을 평가하며, 다음과 같이 계산합니다.

표기법

용어설명
n관측치 수
eii번째 잔차
hi

i번째 요소

X (X' X)-1X'

R-제곱(예측)

계산 결과 R2(예측) 값이 음수가 될 수 있지만, Minitab에서는 이 경우 0을 표시합니다.

표기법

용어설명
yi i번째 관측된 반응 값
평균 반응
n 관측치 수
ei i번째 잔차
hi X(X'X)–1X'i번째 대각 원소
X 설계 행렬

Mallows의 Cp

표기법

용어설명
SSEp고려 중인 모형에 대한 오차 제곱합
MSEm모든 후보 항이 포함된 모형에 대한 평균 제곱 오차
n관측치 수
p상수를 포함한 모형의 항 수

S

표기법

용어설명
MSE평균 제곱 오차

로그 우도

가중되지 않은 분석의 경우 Minitab에서는 다음 방정식을 사용합니다.
관측치에 대한 가중치가 있는 분석의 경우 Minitab에서는 다음 방정식을 사용합니다.

가중치가 0인 관측치가 분석에 없습니다.

표기법

용어설명
n관측치 수
R모형에 대한 오차의 제곱합
wii번째 관측치의 가중치

AICc(Akaike Corrected Information Criterion)

인 경우 AICc가 계산되지 않습니다.

표기법

용어설명
n관측치 수
p상수를 포함한 모형의 계수 수

BIC(Bayesian Information Criterion)

표기법

용어설명
p상수를 포함한 모형의 계수 수
n관측치 수

조건 수

표기법

용어설명
C조건 수
λ최대값모형에 있는 항의 상관 행렬의 최대 고유값(절편 포함하지 않음)
λ최소값모형에 있는 항의 상관 행렬의 최소 고유값(절편 포함하지 않음)