Exemple de Ajuster le modèle de Classification TreeNet®

Remarque

Cette commande est disponible avec le Module d'analyse prédictive. Cliquez ici pour plus d'informations sur l'activation du module.

Une équipe de chercheurs recueille et publie des informations détaillées sur les facteurs ayant une influence sur les maladies cardiaques. Les variables incluent l’âge, le sexe, les niveaux de cholestérol, la fréquence cardiaque maximale et plus encore. Cet exemple utilise un ensemble de données publiques comprenant des informations détaillées sur les maladies cardiaques. Les données d’origine proviennent du site archive.ics.uci.edu.

Après une première exploration à l'aide de la fonction Classification CART® pour identifier les prédicteurs importants, les chercheurs utilisent les fonctions Classification TreeNet® et Classification Random Forests® afin de créer des modèles plus avancés à partir du même ensemble de données. Les chercheurs comparent le tableau récapitulatif du modèle et la courbe ROC dans les résultats pour évaluer quel modèle fournit un meilleur résultat de prédiction. Pour consulter les résultats des autres analyses, accédez à Exemple de Classification CART® et à Exemple de Classification Random Forests®.

  1. Ouvrez les données échantillons, MaladieCardiaqueBinaire.MTW.
  2. Sélectionnez Module d'analyse prédictive > Classification TreeNet® > Ajuster le modèle.
  3. Dans la liste déroulante, sélectionnez Réponse binaire.
  4. Dans Réponse, saisissez Maladies cardiaques.
  5. Dans Evénement de réponse, sélectionnez Oui pour indiquer qu'une maladie cardiaque a été détectée chez le patient.
  6. Dans Prédicteurs continus, saisissez Âge, Pression artérielle de repos, Cholestérol, Fréquence cardiaque maximale et Vieux pic.
  7. Dans Prédicteurs de catégorie, saisissez Sexe, Type de douleur thoracique, Sucre de sang de jeûne, Repos ECG, Exercice Angina, Pente, Principaux navires et Thal.
  8. Cliquez sur OK.

Interpréter les résultats

Pour cette analyse, Minitab cultive 300 arbres et le nombre optimal d'arbres est de 298. Du fait que le nombre optimal d'arbres est proche du nombre maximal d'arbres que le modèle développe, les chercheurs répètent l'analyse avec plus d'arbres.

Récapitulatif du modèle

Nombre total de prédicteurs13
Prédicteurs importants13
Nombre d'arbres développés300
Nombre optimal d'arbres298
StatistiquesApprentissageTest
Log de vraisemblance de moyenne0,25560,3881
Zone située sous la courbe ROC0,97960,9089
        IC à 95 %(0,9664; 0,9929)(0,8759; 0,9419)
Lift2,17992,1087
Taux de mauvaise classification0,08910,1617

Exemple avec 500 arbres

  1. Après le tableau récapitulatif du modèle, cliquez sur Affiner les hyperparamètres pour identifier un meilleur modèle.
  2. Dans Nombre d'arbres, saisissez 500.
  3. Cliquez sur Afficher les résultats.

Interpréter les résultats

Pour cette analyse, 500 arbres ont été cultivés et le nombre optimal d'arbres est de 351. Le meilleur modèle utilise un taux d’apprentissage de 0,01, avec une fraction de sous-échantillon de 0,5 et un maximum de 6 nœuds terminaux.

Méthode

Critères de sélection du nombre d'arbres optimalLog de vraisemblance maximale
Validation de modèleValidation croisée pour 5 ensemble(s)
Taux d'apprentissage0,01
Méthode de sélection de sous-échantillonComplètement aléatoire
    Fraction de sous-échantillon0,5
Nombre maximal de nœuds terminaux par arbre6
Taille minimale du nœud terminal3
Nombre de prédicteurs sélectionnés pour la partition des nœudsNombre total de prédicteurs = 13
Lignes utilisées303

Informations de réponse binaire

VariableClasseDénombrement%
Maladies cardiaquesOui (Événement)13945,87
  Non16454,13
  Tous303100,00
Classification TreeNet® avec réglage des hyperparamètres : Maladies cardiaques vs Âge; Pression artérielle de repos; Cholestérol; Fréquence cardiaque maximale; Vieux pic; Sexe; Type de douleur thoracique; Sucre de sang de jeûne; Repos ECG; Exercice Angina; Pente; Principaux navires; Thal

Méthode

Critères de sélection du nombre d'arbres optimalLog de vraisemblance maximale
Validation de modèleValidation croisée pour 5 ensemble(s)
Taux d'apprentissage0,001; 0,01; 0,1
Fraction de sous-échantillon0,5; 0,7
Nombre maximal de nœuds terminaux par arbre6
Taille minimale du nœud terminal3
Nombre de prédicteurs sélectionnés pour la partition des nœudsNombre total de prédicteurs = 13
Lignes utilisées303

Informations de réponse binaire

VariableClasseDénombrement%
Maladies cardiaquesOui (Événement)13945,87
  Non16454,13
  Tous303100,00

Optimisation des hyperparamètres

Test
ModèleNombre
optimal
d'arbres
Log de
vraisemblance
de moyenne
Zone située
sous la
courbe ROC
Taux de
classification
erronée
Taux
d'apprentissage
15000,5429020,9029560,1717490,001
2*3510,3865360,9089200,1750270,010
3330,3965550,9007820,1616940,100
45000,5432920,8941780,1781420,001
53740,3896070,9066200,1650820,010
6390,3933820,9013990,1749730,100
ModèleFraction de
sous-échantillon
Nombre
maximal de
nœuds
terminaux
10,56
2*0,56
30,56
40,76
50,76
60,76
* Le modèle optimal présente un log de vraisemblance de moyenne minimal. Les résultats du
     modèle optimal sont affichés ci-après.

Le diagramme de la moyenne de log de vraisemblance par rapport au nombre d'arbres montre toute la courbe sur le nombre d'arbres développés. La valeur optimale pour les données de test est de 0,3865 lorsque le nombre d'arbres est de 351.

Récapitulatif du modèle

Nombre total de prédicteurs13
Prédicteurs importants13
Nombre d'arbres développés500
Nombre optimal d'arbres351
StatistiquesApprentissageTest
Log de vraisemblance de moyenne0,23410,3865
Zone située sous la courbe ROC0,98250,9089
        IC à 95 %(0,9706; 0,9945)(0,8757; 0,9421)
Lift2,17992,1087
Taux de mauvaise classification0,07590,1750

Récapitulatif du modèle

Nombre total de prédicteurs13
Prédicteurs importants13
StatistiquesOut-of-Bag
Log de vraisemblance de moyenne0,4004
Zone située sous la courbe ROC0,9028
        IC à 95 %(0,8693; 0,9363)
Lift2,1079
Taux de mauvaise classification0,1848

Le tableau récapitulatif du modèle montre que le log de vraisemblance négatif moyen lorsque le nombre d’arbres est de 351 est d’environ 0,23 pour les données de formation et est d’environ 0,39 pour les données d’essai. Ces statistiques indiquent un modèle comparable à ce que Minitab Random Forests® crée. De plus, les taux de mauvais classement sont similaires.

La courbe d'importance relative des variables trace les prédicteurs dans l'ordre de leur effet sur l'amélioration du modèle lorsqu'un prédicteur est divisé sur la séquence des arbres. La variable de prédiction la plus importante est Thal. Si la contribution de la principale variable de prédiction, c'est-à-dire Thal, est de 100 %, alors la variable importante suivante, Principaux vaisseaux, présente une contribution de 97,8 %. Ainsi, les principaux vaisseaux sont à 97,8 % aussi importants que la variable Thal dans ce modèle de classification.

Matrice de confusion



Classe prévue
(apprentissage)





Classe prévue (test)
Classe réelleDénombrementOuiNon% correctOuiNon% correct
Oui (Événement)1391241589,211102979,14
Non164815695,122414085,37
Tous30313217192,4113416982,51
Attribuez une rangée à la classe d'événement si la probabilité d'événement pour la ligne
     dépasse 0,5.
     
StatistiquesApprentissage
(%)
Test (%)
Taux de vrai positif (sensibilité ou puissance)89,2179,14
Taux de faux positif (erreur de type I)4,8814,63
Taux de faux négatif (erreur de type II)10,7920,86
Taux de vrai négatif (spécificité)95,1285,37

La matrice de confusion montre la capacité du modèle à séparer correctement les classes. Dans cet exemple, la probabilité qu'un événement soit correctement prédit est de 79,14%. La probabilité qu'un non-événement soit correctement prédit est de 85,37 %.

Mauvais classement



ApprentissageTest
Classe réelleDénombrementMal classé% erreurMal classé% erreur
Oui (Événement)1391510,792920,86
Non16484,882414,63
Tous303237,595317,49
Attribuez une rangée à la classe d'événement si la probabilité d'événement pour la ligne
     dépasse 0,5.

Le taux de mauvais classement permet d'indiquer si le modèle prédira avec précision les nouvelles observations. L'erreur de mauvais classement de test est de 20,86 % pour la prédiction des événements. L'erreur de mauvais classement de test est de 14,63% pour la prédiction des non-événements et de 17,49% pour l'ensemble.

L'aire sous la courbe ROC lorsque le nombre d’arbres est de 351 est d’environ 0,98 pour les données d'apprentissage et d’environ 0,91 pour les données de test. Ces données indiquent une amélioration significative par rapport au modèle Classification CART®. Le modèle de la fonction Classification Random Forests® présente une valeur AUROC de test de 0,9028, ces deux méthodes donnent donc des résultats similaires.

Dans cet exemple, la courbe des gains augmente fortement au-dessus de la ligne de référence, puis s'aplatit. Dans ce cas, environ 40 % des données représentent environ 80 % des vrais positifs. Cette différence est le gain supplémentaire dû à l'utilisation du modèle.

Dans cet exemple, la courbe de lift augmente fortement au-dessus de la ligne de référence, puis redescend progressivement.

Utilisez les diagrammes de dépendance partielle pour mieux comprendre comment les variables ou les paires de variables importantes affectent la réponse prévue. Les valeurs de réponse sur l'échelle de la moitié du logarithme correspondent aux prédictions du modèle. Les diagrammes de dépendance partielle indiquent si la relation entre la réponse et une variable est linéaire, monotone ou plus complexe.

Par exemple, dans le diagramme de dépendance partielle du type de douleur thoracique, la probabilité de succès sur la moitié du logarithme varie, puis augmente fortement. Lorsque le type de douleur thoracique est 4, la probabilité de succès sur la moitié du logarithme de l'incidence des maladies cardiaques augmente d'environ −0,04 à 0,03. Cliquez sur Sélectionner plus de prédicteurs à tracer pour produire des diagrammes pour d’autres variables