비선형 회귀 분석의 방법

원하는 방법 또는 공식을 선택하십시오.

표기법

관측치 n에 대한 기대 함수는 다음과 같이 나타냅니다.
Minitab은 모든 N개의 관측치에 대한 기대 함수를 다음과 같이 모수의 벡터 값 함수로 간주합니다.
이는 원소가 다음과 같은 N X 1 벡터입니다. .

η의 함수 행렬식은 다음 모수에 대한 기대 함수의 부분 도함수와 원소가 같은 N X P 행렬입니다.

Vi = V(θi)이 반복 i 후의 모수 추정치인 θi에서 구한 함수 행렬식이라고 하면

η에 대한 선형 근사는 다음과 같습니다.

이는 Gauss-Newton 방법과 근사 추측의 근거를 형성합니다.

θ*는 최소 제곱 추정치를 나타낸다고 가정합니다.

Gauss-Newton

기본적으로 Minitab에서는 Gauss-Newton 방법을 사용하여 최소 제곱 추정치를 구합니다. 이 방법에서는 예상 함수에 대한 선형 근사를 사용하여 θ의 최초 추측치인 θ0을 반복적으로 개선한 다음 상대 변위가 규정된 공차 미만으로 감소할 때까지 추정치를 계속 개선합니다1. 즉, Minitab에서는 θ0에 대한 1차 Taylor 시리즈의 기대 함수 f(xn,θ)를 다음으로 확장합니다.
설명:
여기서 p = 1, 2,..., p

모든 N개의 경우 포함

여기서 V0는 {vnp} 원소를 포함하는 NxP 도함수 행렬입니다. 이는 다음에 의해 잔차 z(θ) = y - η(θ)을 근사하는 것과 같습니다.

설명:

그리고

Minitab에서는 Gauss 증분 δ0을 계산하여 근사 잔차 제곱합을 최소화합니다. 이를 위해 다음을 사용합니다.

결과는 다음과 같습니다. .

은 이제 η(θ0)보다 y에 더 가까울 것이며, Minitab은 θ1 = θ0 + δ0 값을 사용하여 새 잔차 z1 = y - η(θ1) 및 새 도함수 행렬 V1과 새 증분을 계산하여 반복실험을 한 번 더 수행합니다. Minitab은 수렴, 즉 증분이 너무 작아서 모수 벡터 원소에 대한 유의한 변화가 없어질 때까지 이 프로세스를 반복합니다.

때때로 Gauss-Newton 증분을 사용하면 제곱합이 증가합니다. 이 경우 선형 근사치는 여전히 η(θ0) 주위의 충분히 작은 영역에 대해 실제 표면에 가까운 근사치입니다. Minitab에서는 제곱합을 줄이기 위해 단계 요인 λ를 사용한 후 다음을 계산합니다.

Minitab에서는 λ = 1부터 시작하여 S(θ1)이 S( θ0)보다 작아질 때까지 λ를 반으로 나눕니다.
  1. Bates and Watts (1988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc.

Levenberg-Marquardt

경사 행렬 V의 열에 공선형성이 있으면 비정칙 행렬이 되므로 Gauss-Newton 반복 동작이 불규칙해질 수 있습니다. Minitab에서는 비정칙성에 대처하기 위해 Gauss-Newton 증분을 다음과 같이 Levenberg 절충으로 수정할 수 있습니다.
아니면 다음과 같은 Marquardt 절충으로 수정할 수도 있습니다.
여기서 k는 상황 요인(conditioning factor)이고 DVTV의 대각 원소와 같은 항목이 있는 대각 행렬입니다. δ(k)의 방향은 Gauss-Newton 증분(k → 0) 방향과 가장 가파른 하강 방향의 중간입니다.

.1

  1. Bates and Watts (1988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc.

상대 변위 수렴 기준

Minitab에서는 기본적으로 상대 변위가 1.0e-5 미만일 때 수렴을 선언합니다. 그러면 현재 모수 벡터가 최소 제곱 점에서 신뢰 영역 원 반경의 0.001% 내에 있다는 사실에 추측값이 영향을 많이 받지 않게 됩니다.1

1. Bates and Watts (1988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc.

이 사이트를 사용하면 분석 및 사용자 개인 컨텐츠에 대한 쿠키 사용에 동의하는 것입니다.  당사의 개인정보 보호정책을 확인하십시오