Avaliação do modelo eliminando preditores sem importância ou importantes para Descubrir preditores-chave com Classificação TreeNet®

Encontre definições e orientações de interpretação para a tabela de avaliação de modelo.
Observação

Este comando está disponível com o Módulo de análise preditiva. Clique aqui saber mais sobre como ativar o módulo.

Observação

Quando você especificar as opções para Descobrir preditores principais, você poderá escolher os resultados de seleção de modelos para dados de treinamento e teste. Os resultados dos testes indicam se o modelo consegue predizer adequadamente os valores de resposta para novas observações, ou resumir adequadamente as relações entre a resposta e as variáveis preditoras. Os resultados do treinamento são geralmente apenas para referência.

Use os resultados para comparar os modelos de diferentes etapas. Para explorar ainda mais um modelo alternativo da tabela, clique em Selecionar um modelo alternativo. O Minitab produz um conjunto completo de resultados para o modelo alternativo. Você pode sintonizar os hiperparâmetros e fazer previsões de acordo.

Número ótimo de árvores

O número ótimo de árvores geralmente difere a cada passo. Se o número ótimo estiver próximo do número total de árvores para a análise, o modelo é mais provável de melhorar. Você pode considerar se deve explorar um modelo alternativo que parece provável que melhore.

Média − Log-verossimilhança

A probabilidade média de log-verossimilhança é uma medida de precisão do modelo. Valores menores indicam um ajuste melhor.

Quando a resposta é binária, você pode usar a log-verossimilhança máxima como critério para a seleção do melhor modelo. Os resultados completos que seguem a tabela são para o modelo com o menor valor da média – log-verossimilhança. Se um modelo com um número menor de termos tem uma média – log-verossimilhança que está próxima do valor ótimo, então considere se deve explorar melhor o modelo alternativo. Um modelo com menos preditores é mais fácil de interpretar e permite que você trabalhe com um número menor de preditores.

Área sob a curva ROC

A curva ROC traça a taxa de positivos verdadeiros (TPR), também conhecida como poder, no eixo y. A curva ROC traça a taxa de falsos positivos (FPR), também conhecida como erro tipo 1, no eixo x. A área sob uma curva ROC indica se o modelo é um bom classificador.

Para árvores de classificação, a área sob os valores da curva ROC variam tipicamente de 0,5 a 1. Os valores maiores indicam um modelo de ajuste melhor. Quando o modelo consegue separar perfeitamente as classes, a área sob a curva é 1. Quando o modelo não consegue separar as classes melhor do que uma atribuição aleatória, a área sob a curva é 0,5.

Quando você usar a área máxima sob a curva ROC como critério para a seleção do melhor modelo, a tabela incluirá a área sob a curva ROC para cada modelo. Os resultados completos que seguem a tabela são para o modelo com a maior área sob a curva ROC. Se um modelo com um número menor de termos tem um valor próximo ao valor ótimo, então considere se deve explorar melhor o modelo alternativo. Um modelo com menos preditores é mais fácil de interpretar e permite que você trabalhe com um número menor de preditores.

Taxa de classificação errada

A taxa de classificação errada indica com que frequência o modelo classifica com exatidão os valores de resposta. Valores menores indicam melhor desempenho.

Quando você usar a taxa mínima de classificação errada como critério para a seleção do melhor modelo, a tabela incluirá a taxa de classificação errada de cada modelo. Os resultados completos que seguem a tabela são para o modelo com a menor taxa de classificação errada. Se um modelo com um número menor de termos tem um valor próximo ao valor ótimo, então considere se deve explorar melhor o modelo alternativo. Um modelo com menos preditores é mais fácil de interpretar e permite que você trabalhe com um número menor de preditores.

Contagem de preditores

A contagem de preditores é o número de preditores no modelo. O número de preditores na primeira linha da tabela é sempre todos os preditores que a análise considera. Após a primeira linha, o número de preditores depende se a análise elimina preditores sem importância ou preditores importantes.

Quando a análise remove os preditores menos importantes, então o número de preditores diminui de um número especificado de preditores em cada etapa, além de quaisquer preditores que tenham pontuação de importância 0. Por exemplo, se a análise elimina 10 preditores por etapa, tem 900 preditores e 450 preditores com pontuações de importância 0 no modelo inicial, então a primeira linha da tabela tem 900 preditores. A segunda linha tem 440 preditores porque a análise remove os 450 preditores com pontuações de importância 0 e os 10 preditores menos importantes.

Quando a análise remove os preditores mais importantes, então o número de preditores diminui do número especificado de preditores a cada etapa. Preditores que têm importância 0 permanecem no modelo.

Preditores eliminados

A coluna mostra os preditores eliminados a cada passo. A lista mostra no máximo 25 títulos de preditores em um passo. A primeira linha sempre mostra “nenhum” porque o modelo tem todos os preditores. Após a primeira linha, o número de preditores depende se a análise elimina preditores sem importância ou preditores importantes.

Quando a análise remove os preditores menos importantes, então o número de preditores diminui de um número especificado de preditores em cada etapa, além de quaisquer preditores que tenham 0 pontuações de importância. Se a análise elimina os preditores que têm pontuação 0 de importância, então esses preditores são os primeiros da lista. Quando a análise elimina mais de um preditor em qualquer categoria, a ordem dos nomes é a ordem dos preditores da worksheet.

Quando a análise remove os preditores mais importantes, então a lista mostra os preditores eliminados de cada etapa. Quando a análise elimina mais de um preditor importante em um passo, então a ordem dos nomes na lista é a ordem dos preditores da worksheet.