비선형 회귀 분석의 방법

관측치 n에 대한 기대 함수는 다음과 같이 나타냅니다.

Minitab은 모든 N개의 관측치에 대한 기대 함수를 다음과 같이 모수의 벡터 값 함수로 간주합니다.

이는 원소가 다음과 같은 N X 1 벡터입니다. .

η의 함수 행렬식은 다음 모수에 대한 기대 함수의 부분 도함수와 원소가 같은 N X P 행렬입니다.

Vⁱ = V(θⁱ)이 반복 i 후의 모수 추정치인 θⁱ에서 구한 함수 행렬식이라고 하면

η에 대한 선형 근사는 다음과 같습니다.

이는 Gauss-Newton 방법과 근사 추측의 근거를 형성합니다.

θ*는 최소 제곱 추정치를 나타낸다고 가정합니다.

기본적으로 Minitab에서는 Gauss-Newton 방법을 사용하여 최소 제곱 추정치를 구합니다. 이 방법에서는 예상 함수에 대한 선형 근사를 사용하여 θ의 최초 추측치인 θ⁰을 반복적으로 개선한 다음 상대 변위가 규정된 공차 미만으로 감소할 때까지 추정치를 계속 개선합니다¹. 즉, Minitab에서는 θ⁰에 대한 1차 Taylor 시리즈의 기대 함수 f(x_n,θ)를 다음으로 확장합니다.

설명:

여기서 p = 1, 2,..., p

모든 N개의 경우 포함

여기서 V⁰는 {v_np}원소를 포함하는 NxP 도함수 행렬입니다. 이는 다음에 의해 잔차 z(θ) = y - η(θ)을 근사하는 것과 같습니다.

설명:

및

Minitab에서는 Gauss 증분 δ⁰을 계산하여 근사 잔차 제곱합을 최소화합니다. 이를 위해 다음을 사용합니다.

결과는 다음과 같습니다. .

점

은 이제 η(θ⁰)보다 y에 더 가까울 것이며, Minitab은 θ¹ = θ⁰ + δ⁰ 값을 사용하여 새 잔차 z¹ = y - η(θ¹) 및 새 도함수 행렬 V¹과 새 증분을 계산하여 반복실험을 한 번 더 수행합니다. Minitab은 수렴, 즉 증분이 너무 작아서 모수 벡터 원소에 대한 유의한 변화가 없어질 때까지 이 프로세스를 반복합니다.

때때로 Gauss-Newton 증분을 사용하면 제곱합이 증가합니다. 이 경우 선형 근사치는 여전히 η(θ⁰) 주위의 충분히 작은 영역에 대해 실제 표면에 가까운 근사치입니다. Minitab에서는 제곱합을 줄이기 위해 단계 요인 λ를 사용한 후 다음을 계산합니다.

Minitab에서는 λ = 1부터 시작하여 S(θ¹)이 S( θ⁰)보다 작아질 때까지 λ를 반으로 나눕니다.

1. Bates and Watts (1988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc.

경사 행렬 V의 열에 공선형성이 있으면 비정칙 행렬이 되므로 Gauss-Newton 반복 동작이 불규칙해질 수 있습니다. Minitab에서는 비정칙성에 대처하기 위해 Gauss-Newton 증분을 다음과 같이 Levenberg 절충으로 수정할 수 있습니다.

아니면 다음과 같은 Marquardt 절충으로 수정할 수도 있습니다.

여기서 k는 상황 요인(conditioning factor)이고 D는 V^TV의 대각 원소와 같은 항목이 있는 대각 행렬입니다. δ(k)의 방향은 Gauss-Newton 증분(k → 0) 방향과 가장 가파른 하강 방향의 중간입니다.

.¹

1. Bates and Watts (1988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc.

Minitab에서는 기본적으로 상대 변위가 1.0e-5 미만일 때 수렴을 선언합니다. 그러면 현재 모수 벡터가 최소 제곱 점에서 신뢰 영역 원 반경의 0.001% 내에 있다는 사실에 추측값이 영향을 많이 받지 않게 됩니다.¹

1. Bates and Watts (1988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc.