Métodos en Regresión no lineal

Seleccione el método o la fórmula de su preferencia.

Notación

La función de expectativa para la observación n se denota mediante:
Minitab considera la función de expectativa de todas las observaciones N como una función de los parámetros con valores de vector, como:
que es un vector N X 1 con los elementos .

La jacobiana de η es una matriz N X P con elementos que son iguales a las derivadas parciales de la función de expectativa con respecto a los parámetros:

Sea Vi = V(θi) la jacobiana evaluada en θi, la estimación del parámetro después de la iteración i.

Entonces una aproximación lineal para η es:

que constituye la base del método de Gauss-Newton y para las inferencias aproximadas.

θ* denota la estimación de mínimos cuadrados.

Gauss-Newton

Por opción predeterminada, Minitab utiliza el método de Gauss-Newton para determinar la estimación de mínimos cuadrados. El método utiliza una aproximación lineal a la función de expectativa para mejorar iterativamente una conjetura inicial θ0 para θ, y luego el método sigue mejorando las estimaciones hasta que el desplazamiento relativo esté por debajo de la tolerancia1 prescrita. Es decir, Minitab expande la función de expectativa f(xn,θ) en una serie de Taylor de primer orden alrededor de θ0 como:
donde
con p = 1, 2,..., p

Incluyendo todos los casos N

donde V0 es la matriz de derivadas NxP con los elementos {vnp}. Esto es equivalente a hacer una aproximación de los residuos, z(θ) = y - η(θ), mediante:

donde

y

Minitab calcula el incremento de Gauss δ0para minimizar la suma de los cuadrados de los residuos aproximados , usando:

y entonces: .

El punto

ahora debe estar más cerca de y que η(θ0) y Minitab utiliza el valor θ1 = θ0 + δ0 para realizar otra iteración calculando nuevos residuos z1 = y - η(θ1), una nueva matriz de derivadas V1 y un nuevo incremento. Minitab repite este proceso hasta la convergencia, que es cuando el incremento es tan pequeño que no hay ningún cambio útil en los elementos del vector de parámetros.

A veces el incremento de Gauss-Newton produce un aumento en la suma de los cuadrados. Cuando esto ocurre, la aproximación lineal aún es una aproximación cercana a la superficie real para una región lo suficientemente pequeña alrededor de η(θ0). Para reducir la suma de los cuadrados, Minitab incorpora un factor de paso λ y calcula:

Minitab comienza con λ = 1 y lo divide por la mitad hasta que S(θ1) < S( θ0) .
  1. Bates y Watts (1988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc.

Levenberg-Marquardt

Cuando las columnas de la matriz de gradientes V tienen colinealidad, esta puede volverse singular, causando un comportamiento errático de las iteraciones de Gauss-Newton. Para resolver la singularidad, Minitab puede modificar el incremento de Gauss-Newton al compromiso de Levenberg:
o el compromiso de Marquardt:
donde k es un factor condicionante y D una matriz diagonal con entradas que son iguales a los elementos diagonales de VTV. La dirección de δ(k) es intermedia entre la dirección del incremento de Gauss-Newton (k → 0) y la dirección del descenso más pronunciado:

.1

  1. Bates y Watts (1988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc.

Criterio de convergencia de desplazamiento relativo

Por opción predeterminada, Minitab declara convergencia cuando el desplazamiento relativo es menor que 1.0e-5. Esto asegura que las inferencias no se vean afectadas significativamente por el hecho de que el vector actual de parámetros sea menos de 0.001% del radio del disco de la región de confianza desde el punto de mínimos cuadrados.1

1. Bates y Watts (1988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc.

Al utilizar este sitio, usted acepta el uso de cookies para efectos de análisis y contenido personalizado.  Leer nuestra política