회귀 분석의 다중 공선성

다중 공선성을 측정하기 위해 예측 변수의 상관 구조를 검사할 수 있습니다. 모형에 있는 회귀 계수의 분산 팽창 인수(VIF)를 조사할 수도 있습니다. VIF는 예측 변수가 상관 관계에 있는 경우 추정된 회귀 계수의 분산이 증가하는 정도를 측정합니다. 모든 VIF가 1이면 다중 공선성이 없지만 일부 VIF가 1보다 크면 예측 변수 간에 완만한 상관 관계가 있을 수 있습니다. VIF가 5보다 크면 회귀 계수가 잘못 추정된 것입니다.

다중 공선성의 또 다른 측도는 조건 수입니다. Minitab에서는 최량 부분 집합 회귀 분석에 대한 확장된 표에 조건 수를 제공합니다. 조건 수는 개별 항이 아니라 전체 모형에 대한 다중 공선성을 평가합니다. 조건 수가 클수록 모형에 있는 항의 다중 공선성이 높습니다. Montgomery, Peck, and Vining¹ 에 따르면 100보다 큰 조건 수는 완만한 다중 공선성을 나타냅니다. 다중 공선성이 완만하거나 더 나쁘면 VIF 및 데이터의 상관 구조를 사용하여 모형 내 항 사이의 관계를 조사해야 합니다.

한 예측 변수와 다른 예측 변수 사이에 거의 완벽한 상관 관계가 있으면 Minitab은 항을 추정할 수 없다는 메시지를 표시합니다. 추정할 수 없는 항에 대한 VIF 값은 보통 10억을 초과합니다.

다중 공선성은 적합도와 예측도에 영향을 미치지 않습니다. 계수(선형 판별 함수)는 안정적으로 해석할 수 없지만 적합치(분류)는 영향을 받지 않습니다.

예를 들어 한 장난감 제조업체에서 조사 결과로부터 고객의 만족도를 예측하려고 하며 "강도"와 "파손 방지성"을 회귀 분석 모형의 예측 변수로 포함합니다. 검사자의 확인 결과 두 변수는 음의 방향으로 강하게 상관되어 있으며 VIF가 5보다 큽니다. 이 시점에서 검사자는 두 가지 변수 중 하나를 제거해 볼 수 있습니다. 검사자는 또한 부분 최소 제곱 또는 주성분 분석을 사용하여 "내구성" 원소를 만들기 위해 이러한 관련 변수를 사용할 수 있습니다.