단계적 회귀 분석 및 최량 부분 집합 회귀 분석 사용

단계적 회귀 분석의 문제

최량 부분 집합 회귀 분석 및 단계적 회귀 분석과 같은 변수 선택 절차를 사용할 때는 주의를 기울여야 합니다. 한 가지 문제는 이러한 절차에서 분석가가 데이터에 대해 가질 수 있는 특별한 지식을 고려할 수 없다는 것입니다. 이 프로시저는 예측 변수의 실제 중요도를 고려할 수 없습니다.

프로시저가 특수 지식을 고려할 수 없는 것과 관련된 문제는 두 예측 변수가 높은 상관 관계가 있는 경우 프로시저에서 두 예측 변수 중 하나만 선택할 수 있다는 것입니다. 예를 들어, 프로시저는 저렴하고 측정하기 쉬운 예측 변수를 제거하고, 측정하기 어렵고 비용이 많이 드는 상관 예측 변수를 선택할 수 있습니다. 분석가는 프로시저에서 고려할 수 없는 기준에 대한 판단을 내리기 위해 데이터에 대한 지식을 사용해야 합니다.

단계적 절차의 또 다른 문제점은 서로 다른 모델이 서로 다른 기준을 최적화할 수 있다는 것입니다. 예를 들어, 조정된 R² 값이 가장 높은 모형이 반드시 검정 R² 값이 가장 높은 모형일 필요는 없습니다. 분석가는 최종 모델을 선택하기 위해 다양한 기준을 고려해야 합니다.

모형이 하나의 특정 데이터 집합만 적합하지 않도록 새 데이터 집합에 대한 선택 절차에서 발견된 모형을 확인해야 합니다. 처음에 얻은 데이터 집합을 랜덤하게 두 부분으로 나눈 다음 한 부분을 사용하여 모형을 선택하고 다른 부분에서는 적합성을 확인할 수도 있습니다. 이 절차를 사용하면 선택한 모형이 같은 방식으로 수집된 다른 데이터 집합에도 적용됩니다. 자동 검증을 사용하는 단계적 절차에 대한 섹션으로 이동하여 데이터를 자동으로 분할하고 검증 통계량을 계산할 수 있는 명령에 대해 알아보십시오.

단계적 절차

Minitab에서 자동 단계적 절차를 포함하는 모든 분석에는 다음 절차가 포함됩니다. 다음 방법을 사용하면 모델을 작성하는 데 사용하는 데이터에 대한 모델 요약 통계와 관련하여 많은 수의 서로 다른 모델을 빠르게 평가할 수 있습니다.

• 표준 단계적 회귀 분석은 각 단계에 대한 예측 변수를 추가하거나 제거합니다. 모형에 없는 모든 변수가 지정된 입력할 변수에 대한 알파 값보다 큰 p-값을 갖고 있는 경우 그리고 모형의 모든 변수가 지정된 제거할 변수에 대한 알파 값보다 작거나 같은 p-값을 갖고 있는 경우 Minitab이 중지됩니다.
• 전진 정보 기준 절차는 각 단계에서 모형에 가장 낮은 p-값의 항을 추가합니다. 분석에 대한 설정으로 비계층적 항을 고려할 수 있지만 각 모형이 계층적이어야 하는 경우 추가 항이 1단계로 모형을 입력할 수 있습니다. Minitab은 각 단계의 정보 기준을 계산합니다. 대부분의 경우 절차는 다음 조건 중 하나가 발생할 때까지 계속됩니다.
  • 절차는 8개의 연속 단계에 대한 새로운 최소 기준을 찾지 못합니다.
  • 이 절차는 전체 모형을 적합합니다.
  • 이 절차는 오차에 대해 1도의 자유도를 남기는 모형을 적합합니다.
  각 단계에서 계층적 모형이 필요하고 한 번에 한 항만 입력하도록 허용하는 절차에 대한 설정을 지정하면, 전체 모형을 적합하거나 오차에 대한 자유도 1도를 남기는 모형을 적합할 때까지 절차가 계속됩니다. Minitab은 선택한 정보 기준의 최소값(AICc 또는 BIC)으로 모형에 대한 분석 결과를 표시합니다.
• 전진 선택은 빈 모형 또는 사용자가 지정한 항이 있는 모형으로 시작합니다. 그런 다음 Minitab에서는 각 단계에 대해 가장 유의한 항을 추가합니다. 모형에 없는 모든 변수가 지정된 입력할 변수에 대한 알파 값보다 큰 p-값을 갖고 있는 경우 Minitab이 중지됩니다.
• 후진 제거가 모형에 있는 모든 예측 변수로 시작되고 Minitab은 각 단계에 대한 가장 유의하지 않은 변수를 제거합니다. 모형에 없는 모든 변수가 지정된 제거할 변수에 대한 알파 값보다 작거나 같은 p-값을 갖고 있는 경우 Minitab이 중지됩니다.

자동 검증을 통한 단계적 회귀 분석 절차

Minitab에서 검정 데이터 세트로 자동으로 수행할 수 있는 단계적 절차를 검정 데이터 세트를 사용한 검증을 통한 순방향 선택이라고 합니다. 이 절차에서는 초기 모형이 비어 있거나 사용자가 특별히 선택한 모형 항을 포함합니다. 그런 다음 Minitab에서는 각 단계에서 p-값이 가장 작은 다음 잠재적 항을 추가합니다. Minitab에서는 각 단계에서 모형에 대한 검정 R² 를 검정 데이터 집합의 모형에 대한 R² 값으로 계산합니다. Minitab에서 제공하는 모형 결과는 검정 R² 값의 최대값을 가진 모형에 대한 것입니다.

의 경우 적합 회귀 모형k-폴드 교차 검증을 사용한 순방향 선택이라는 단계적 선택을 수행할 두 번째 검증 기술을 선택할 수 있습니다. k-폴드 교차 검증에서 Minitab은 데이터 세트를 k개의 부분 집합으로 나눕니다. 이러한 부분 집합을 접기라고 합니다. 대부분의 경우 유효성 검사는 10개의 접기를 사용하지만 다른 숫자도 가능합니다. 접기는 가능한 한 동일한 수의 관측치를 갖습니다. Minitab은 순방향 선택을 k번 수행합니다. 각 전방 선택에 대해 k–1 접기는 학습 데이터 세트이고 마지막 접기는 테스트 데이터 세트입니다. 다른 순방향 선택 절차와 마찬가지로 초기 모형이 비어 있거나 사용자가 특별히 선택한 모형 항을 포함합니다. 그런 다음 Minitab에서는 각 단계에서 p-값이 가장 작은 다음 잠재적 항을 추가합니다. 각 단계에 대해 Minitab에서는 서로 다른 단계적 선택 절차의 정보를 결합하여 k-폴드 단계적 R² 값을 계산합니다.

계층 구조

계층적 모형은 모형의 각 항에 대해 해당 항에 포함된 보다 낮은 차수의 모든 항도 모형 내에 있어야 하는 항입니다. 예를 들어, 네 개의 요인 A, B, C, and D. A * B * C 항이 모형에 있는 경우 항 A, B, C, A*B, A*C 및 B*C도 모형에 있어야 하지만 D가 있는 항이 모형에 있을 필요는 없습니다.

단계에서 모델에 들어가거나 나가는 항은 계층의 사양에 따라 다릅니다. 기본적으로 Minitab Statistical Software는 각 단계에서 계층적 모형이 필요하고, 모든 항에 대해 계층 구조가 필요하며, 각 단계에서 하나의 항만 모형에 입력할 수 있습니다. 이러한 설정은 Minitab이 각 단계에서 고려하는 항을 제한합니다. 예를 들어, 이원 교호작용은 교호작용의 하위 항이 모두 이미 모형에 있지 않으면 모형에 들어갈 수 없습니다. 단계적 방법을 선택할 때 클릭하여 계층 구조 이러한 설정을 조정할 수 있습니다.

최량 부분 집합 회귀 분석 및 단계적 회귀 분석의 비교

최량 부분 집합은 Minitab Statistical Software의 분석입니다. 단계적 회귀 분석은 여러 분석에서 선택할 수 있는 옵션입니다. 이 두 가지 자동화된 모형 선택 기법은 서로 다른 여러 모형의 적합도에 대한 정보를 제공합니다. 다양한 모델에서 추가 탐색이 필요한 모델을 식별할 수 있습니다.