Métodos em Regressão não linear

Selecione o método ou a fórmula de sua escolha.

Notação

A função de expectativa para observação n é denotada por:
O Minitab considera a função de expectativa para todas as N observações como uma função de valor de vetor dos parâmetros, conforme:
que é um vetor N X 1 com elementos .

O Jacobiano de η é uma matriz N X P com elementos que são iguais aos derivativos parciais da função de expectativa com respeito aos parâmetros:

Permita que Vi = V(θi) seja o Jacobiano avaliado em θi, a estimativa de parâmetro após a iteração i.

Depois uma aproximação linear de η é:

que forma base para o método de Gauss-Newton e para inferências aproximadas.

Permita que θ* denote a estimativa de mínimos quadrados.

Gauss-Newton

Por padrão, o Minitab usa o método de Gauss-Newton para determinar a estimativa de mínimos quadrados. O método usa uma aproximação linear à função de expectativa para aprimorar iterativamente uma suposição inicial de θ0 para θ, e depois o método continua o aprimoramento das estimativas até que o offset relativo caia abaixo da tolerância prescrita1. Isto é, o Minitab expande a função de expectativa f(xn,θ) em uma série Taylor de primeira ordem sobre θ0 conforme:
onde
com p = 1, 2,..., p

Incluindo todos os casos N

onde V0 é a matriz derivativa NxP com elementos {vnp}. Isso é equivalente a aproximar os resíduos, z(θ) = y - η(θ), em:

onde

e

O Minitab calcula o incremento de Gauss δ0 para minimizar a soma aproximada dos quadrados dos resíduos , usando:

e assim por diante: .

O ponto

agora deve estar mais próximo de y do que de η(θ0), e o Minitab usa o valor θ1 = θ0 + δ0 para realizar outra iteração ao calcular novos resíduos z1 = y - η(θ1), uma nova matriz derivativa V1, e um novo incremento. O Minitab repete este processo até a convergência, que é quando o incremento é tão pequeno que não há mudança útil nos elementos do vetor do parâmetro.

Algumas vezes o incremento de Gauss-Newton produz um aumento na soma dos quadrados. Quando isso ocorre, a aproximação linear ainda é uma aproximação perto da superfície real para uma região pequena o suficiente ao redor de η(θ0). Para reduzir a soma dos quadrados, o Minitab introduz um fator etapa λ, e calcula:

O Minitab começa com λ = 1 e divide-a ao meio até que S(θ1) < S( θ0).
  1. Bates and Watts (1988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc.

Levenberg-Marquardt

Quando as colunas em sua matriz de gradiente V têm colinearidade, ela pode tornar-se singular, causando comportamento errático de iterações de Gauss-Newton. Para lidar com a singularidade, o Minitab pode modificar o incremento de Gauss-Newton para o compromisso de Levenberg:
ou o compromisso de Marquardt:
onde k é um fator condicionante e D é uma matriz diagonal com entradas que são iguais aos elementos diagonais de VTV. A direção de δ(k) é intermediária entre a direção do incremento de Gauss-Newton (k → 0) e a direção de descida mais íngreme:

.1

  1. Bates and Watts (1988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc.

Critério de convergência de offset relativo

Por padrão, o Minitab declara convergência quando o offset relativo é menor do que 1,0e-5. Isso assegura que quaisquer inferências não são afetadas materialmente pelo fato de que o vetor do parâmetro atual é menor que 0,001% do rádio do disco da região de confiança a partir do ponto de mínimos quadrados.1

1. Bates and Watts (1988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc.

Ao usar esse site, você concorda com a utilização de cookies para análises e conteúdo personalizado.  Leia nossa política