적합 회귀 모형및 선형 회귀의 단계별 방법 및 공식

F-검정에 기반한 기존 모형에 예측 변수를 추가하거나 삭제하여 변수 선택을 수행합니다. 단계적 방법은 전진 선택과 후진 제거 절차의 조합입니다. 초기 모형이 모든 자유도를 사용하는 경우 단계적 선택이 진행되지 않습니다.

제거할 변수

Minitab에서는 모형의 각 변수에 대한 F-통계량과 p-값을 계산합니다. 모형에 j개의 변수가 포함되어 있는 경우 변수 x_r에 대한 F는 다음 공식으로 계산됩니다.

표기법

변수에 대한 p-값이 제거할 변수에 대한 알파에 지정된 값보다 큰 경우 Minitab에서는 p-값이 가장 큰 변수를 모형에서 제거하고, 회귀 방정식을 계산하며, 결과를 표시하고, 다음 단계를 시작합니다.

추가할 변수

Minitab에서 변수를 제거할 수 없으면 변수를 추가하려고 시도합니다. Minitab에서는 모형에 없는 각 변수에 대한 F-통계량과 p-값을 계산합니다. 모형에 j개의 변수가 포함되어 있는 경우 변수 x_a에 대한 F는 다음 공식으로 계산됩니다.

표기법

용어	설명
SSE j	xa가 모형에 추가되기 전의 SS 오차
SSE(j + Xa )	xa가 모형에 추가된 후의 SS 오차
	변수 Xa의 자유도
MSE(j + Xa )	xa가 모형에 추가된 후의 MS 오차

변수의 F-통계량에 해당하는 p-값이 입력할 변수에 대한 알파에 지정된 값보다 작은 경우 Minitab에서는 p-값이 가장 작은 변수를 모형에 추가하고, 회귀 방정식을 계산하며, 결과를 표시하고, 새 단계로 이동합니다. 모형에 더 이상 변수가 추가되지 않거나 제거되지 않으면 단계적 절차가 종료됩니다.

모형에 유지할 항을 결정하는 방법입니다. 전진 선택은 단계적 절차와 같은 방법을 사용하여 변수를 모형에 추가합니다. 한 번 추가된 변수는 제거되지 않습니다. 기본 전진 선택 절차는 모형에 포함된 어느 후보 변수의 p-값도 입력할 변수에 대한 알파에 지정된 값보다 작지 않을 때 종료됩니다.

모형에 유지할 변수를 결정하는 방법입니다. 후진 제거는 모형에 모든 항이 포함된 상태에서 시작하며, 단계적 절차와 동일한 방법을 사용하여 한 번에 하나씩 항을 제거합니다. 제거된 변수를 모형에 다시 입력할 수 없습니다. 기본 후진 제거 절차는 모형에 포함된 어떤 변수의 p-값도 제거할 변수에 대한 알파에 지정된 값보다 크지 않을 때 종료됩니다. 초기 모형이 모든 자유도를 사용하는 경우 후진 제거가 진행되지 않습니다.

검증 절차를 사용한 전진 선택은 검증 방법에 따라 다릅니다.

검정 데이터 세트

검정 데이터 세트를 사용하는 경우 절차는 전진 선택과 유사합니다. 각 단계에서 Minitab은 모형에 가장 작은 p-값으로 항을 추가합니다. 각 단계의 끝에서 Minitab은 검정 R² 결정계수 값을 계산합니다. 전진 선택 절차가 끝나면 R² 결정계수 값이 가장 큰 모형이 최종 모형입니다.

K-폴드 교차 검증

각 폴드에 대해 전진 선택 절차가 완료되면 Minitab은 모든 폴드의 선택 절차에 있는 각 단계에 대한 전체 k-폴드 R² 단계적 결정계수 값을 계산합니다. 최대 k-폴드 R² 단계적 결정계수 값이 있는 단계는 최종 전진 선택 절차에서 선택한 모형에 대한 단계가 됩니다.

마지막으로, Minitab은 전체 데이터 세트에서 전진 선택을 수행합니다. Minitab은 k-폴드 단계적 절차에서 최대 전체 k-폴드 R² 단계적 결정계수 값을 가진 단계의 모형에 대한 회귀 분석 결과를 표시합니다. 모형 선택 세부사항 표와 k-폴드 R² 단계적 결정계수 대 모형 선택 단계의 그래프는 회귀 분석 결과에 대한 단계 이후의 8단계 동안 계속됩니다.