Métodos e fórmulas para Regressão dos melhores subconjuntos

Neste tópico

Rotina computacional
Equação de Regressão
R2
R2 (aj)
PRESS
R2 (pred)
Cp de Mallows
S
Log-verossimilhança
AICc (Critério de Informação de Akaike Corrigido)
BIC (Critério de Informação Bayesiano)
Número de condição

Rotina computacional

Na regressão dos melhores subconjuntos, o Minitab usa um procedimento chamado Caminhada Hamiltoniana que é um método para calcular todos os subconjuntos das preditoras, um subconjunto por etapa. Isto é, o Minitab calcula todos os subconjuntos 2**m - 1 nos passos 2**m - 1, onde m é o número de preditoras no modelo. O Minitab avalia uma regressão de subconjunto em cada etapa.

Casa subconjunto na Caminhada Hamiltoniana difere do subconjunto anterior pela adição ou deleção de somente uma variável. O operador de varredura "varre" uma variável em ou fora da regressão em cada etapa da Caminhada Hamiltoniana, e calcula o R² para cada subconjunto.

Equação de Regressão

Para um modelo com múltiplos preditores, a equação é:

y = β₀ + β₁x₁ + ... + β_kx_k + ε

A equação ajustada é:

Na regressão linear simples, que inclui somente um preditor, o modelo é:

y=ß₀+ ß₁x₁+ε

Usando estimativas de regressão b₀ para ß₀, e b₁ para ß₁, a equação ajustada é:

Equações com variável categórica

Quando você inclui uma variável categórica em um modelo de regressão, há 2 opções para exibir a equação de regressão:

Equação separada de cada conjunto de níveis de preditor categórico
Equação única

Essas duas opções são equivalentes. Por exemplo, suponha que os dados tenham as seguintes variáveis:

C1: A variável resposta
C2: Um preditor contínuo
C3: Uma variável preditora categórica com os níveis Vermelho e Azul

As equações separadas são as seguintes:

Azul: C1 = 0,184 + 0,1964*C2
Vermelho: C1 = 0,011 + 0,1964*C2

Uma única equação usa uma variável indicadora para representar a variável categórica.

C1 = 0,184 + 0,1964*C2 + 0,0*C3_Azul- 0,173*C3_Vermelho

Na única equação, C3_Azul é igual a 1 se a observação for azul, e 0 caso contrário. C3_Vermelho é igual a 1 se a observação for vermelha, e 0 caso contrário. Para cada grupo, substitua-se a variável indicadora para verificar se a única equação é igual às duas equações separadas.

Observação azul (C3_Azul = 1, C3_Vermelho = 0): C1 = 0,184 + 0,1964*C2 + 0,0*1 - 0,173*0 = 0,184 + 0,1964*C2
Observação vermelha (C3_Azul = 0, C3_Vermelho = 1: C1 = 0,084 + 0,1964*C2 + 0,0*0 - 0,173*1 = 0,011 + 0,1964*C2

Notação

Termo	Descrição
y	resposta
x_k	Ok^{, no termo} . Cada termo pode ser um único preditor, um termo polinomial ou um termo de interação.
ß_k	k^ésimo coeficiente de regressão populacional
ε	termo de erro que segue uma distribuição normal com uma média de 0
b_k	Estimativa do k^ésimo coeficiente de regressão populacional
	resposta ajustada

R2

R² também é conhecido como o coeficiente de determinação.

Fórmula

Notação

Termo	Descrição
y_i	i ^o valor de resposta observada
	resposta média
	i ^a resposta ajustada

R2 (aj)

Notação

Termo	Descrição
MS	Quadrado Médio
SS	Soma dos Quadrados
DF	Graus de liberdade

PRESS

Avalia a capacidade preditiva do seu modelo e é calculado como:

Notação

Termo	Descrição
n	número de observações
e_i	i^ésimo residual
h_i	i^ésimo elemento diagonal de X (X' X)^-1X'

Termo

Descrição

número de observações

e_i

i^ésimo residual

h_i

i^ésimo elemento diagonal de

X (X' X)^-1X'

R2 (pred)

Enquanto os cálculos para R²(pred) podem produzir valores negativos, o Minitab exibe zero para estes casos.

Notação

Termo	Descrição
y_i	i ^o valor de resposta observada
	resposta média
n	número de observações
e_i	i ^o resíduo
h_i	i ^o elemento diagonal de X(X'X)^–1X'
X	matriz do experimento

Cp de Mallows

Notação

Termo	Descrição
SSE_p	soma dos quadrados dos erros para o modelo sob consideração
MSE_m	quadrado médio do erro para o modelo com todos os termos candidatos
n	número de observações
p	número de termos no modelo incluindo a constante

S

Notação

Termo	Descrição
MSE	quadrado médio do erro

Log-verossimilhança

Para análises não ponderadas, o Minitab usa a seguinte equação:

Para uma análise que tem pesos para as observações, o Minitab usa a seguinte equação:

As observações com pesos 0 não estão na análise.

Notação

Termo	Descrição
n	o número de observações
R	a soma dos quadrados para erro do modelo
w_i	o peso da i^a observação

AICc (Critério de Informação de Akaike Corrigido)

O AICc não é calculado quando .

Notação

Termo	Descrição
n	o número de observações
p	o número de coeficientes no modelo, incluindo a constante

BIC (Critério de Informação Bayesiano)

Notação

Termo	Descrição
p	o número de coeficientes no modelo, incluindo a constante
n	o número de observações

Número de condição

Notação

Termo	Descrição
C	o número de condição
λ_máximo	o autovalor máximo da matriz de correlação dos termos no modelo, não incluindo o intercepto
λ_mínimo	o autovalor mínimo da matriz de correlação dos termos no modelo, não incluindo o intercepto