가중 회귀 분석
가중 최소 제곱법은 분산이 일정하지 않은 관측치를 처리하기 위한 방법입니다. 분산이 일정하지 않으면 관측치는 다음과 같은 경우 중 하나로 처리됩니다.
- 큰 분산에는 상대적으로 작은 가중치를 부여해야 합니다.
- 작은 분산에는 상대적으로 큰 가중치를 부여해야 합니다.
일반적으로 반응의 순수 오차 변동의 역이 가중치로 선택됩니다.
표기법
| 용어 | 설명 |
|---|---|
| X | 설계 행렬 |
| X' | 설계 행렬의 전치 |
| W | 대각선에 가중치가 있는 n x n 행렬 |
| Y | 반응 값의 벡터 |
| n | 관측치 수 |
| wi | i번째 관측치에 대한 가중치 |
| yi | i번째 관측치에 대한 반응 값 |
 | i번째 관측치에 대한 적합치 |
Box-Cox 변환
Box-Cox 변환은 아래와 같이 잔차 제곱합을 최소화하는 람다 값을 선택합니다. 결과 변환은 λ ≠ 0일 때 Y λ, λ = 0일 때 ln(Y)입니다. λ < 0인 경우 Minitab에서는 변환되지 않은 반응의 순서를 유지하기 위해 변환된 반응에 −1을 곱합니다.
Minitab은 -2와 2 사이의 최적 값을 검색합니다. 이 구간을 벗어나는 값의 결과는 더 적합하지 않을 수 있습니다.
Y'가 데이터 Y의 변환인 일반적인 변환의 몇 가지 예는 다음과 같습니다.
| 람다(λ) 값 | 변환 |
|---|---|
| λ = 2 | Y′ = Y 2 |
| λ = 0.5 | Y′ =  |
| λ = 0 | Y′ = ln(Y ) |
| λ = −0.5 |  |
| λ = −1 | Y′ = −1 / Y |
회귀 방정식
모형의 예측 변수가 두 개 이상인 경우 방정식은 다음과 같습니다.
y = β0 + β1x1 + … + βkxk + ε
적합 방정식은 다음과 같습니다.
예측 변수가 하나만 포함된 단순 선형 회귀 분석에서 모형은 다음과 같습니다.
y=ß0+ ß1x1+ε
회귀 추정치 b0(ß0의 경우)와 b1(ß1의 경우)를 사용한 적합 방정식은 다음과 같습니다.
표기법
| 용어 | 설명 |
|---|---|
| y | 반응 |
| xk | k번째 항. 각 항은 단일 예측 변수, 다항식 항 또는 교호작용 항입니다. |
| ßk | k번째 모집단 회귀 계수 |
| ε | 평균이 0인 정상 분포를 따르는 오차 항 |
| bk | k번째 모집단 회귀 계수의 추정치 |
 | 적합 반응 |
설계 행렬
설계 행렬은 n개의 행이 있는 행렬(X)의 예측 변수를 포함하며, 여기서 n은 관측치의 개수입니다. 모형에는 각 계수에 해당하는 열이 있습니다.
범주형 예측 변수는 1, 0 또는 -1, 0, 1 코드화를 사용하여 코드화됩니다. X는 계수의 기준 수준 열을 포함하지 않습니다.
교호작용 항에 대해 열을 계산하려면 교호작용의 예측 변수에 해당하는 값을 모두 곱합니다. 예를 들어 첫 번째 관측치의 값이 예측 변수 A에 대해 4이고 예측 변수 B에 대해 2라고 가정합니다. 설계 행렬에서 A와 B 사이의 교호작용은 8 (4 x 2)로 나타냅니다.
x'x 역행렬
Minitab이 의 회귀 분석에서 높은 상관 관계가 있는 예측 변수를 제거하는 방법적합 회귀 모형
rij를 Xi 및 Xj 행렬과 관련된 현재 제거된 행렬의 원소로 설정합니다.
변수는 한 번에 하나씩 추가되거나 제거됩니다. Xk는 현재 rkk ≥ 1(기본값이 0.0001인 공차)인 모형에 포함되지 않은 독립 변수인 경우 추가할 수 있으며, 또한 현재 모형에 포함된 각 변수 Xj에 대해,
- Minitab에서는 상관 행렬 R에 대해 SWEEP 방법을 수행하고 X1 … Xp를 랜덤 변수인 것처럼 처리합니다.
- 연속형 예측 변수의 경우, Minitab에서는 원소 rkk를 공차와 비교합니다. rkk ≥ 공차이며 여기서 k = 1 ~ p입니다.
- 현재 모형에 있는 각 변수 Xj에 대해 Minitab에서는 (rjj – rjk * (rkj / rkk)) * 공차 ≤ 1임을 확인합니다.
참고
여기서 rkk, rjk, rjj는 k 단계 SWEEP 연산 후 Xj 및 Xk 변수에 해당하는 대각 및 비대각 원소입니다.
- 그렇지 않은 경우, 예측 변수는 검정을 통과하지 못하며 모형에서 제거됩니다.
참고
기본 공차 값은 8.8e–12입니다.
참고
TOLERANCE 하위 명령을 REGRESS 세션 명령과 함께 사용하여 Minitab에서 다른 예측 변수와 높은 상관 관계가 있는 예측 변수를 모형에 유지하도록 할 수 있습니다. 그러나 공차를 낮추는 것은 위험하며 숫자가 부정확해질 수 있습니다.
