Que sont les méthodes d'estimation par les moindres carrés et par le maximum de vraisemblance ?

Deux approches fréquemment utilisées pour estimer les paramètres de population d'un échantillon aléatoire sont l'estimation par le maximum de vraisemblance (par défaut) et l'estimation par la méthode des moindres carrés.
Estimation par le maximum de vraisemblance (EMaxV)
La fonction de vraisemblance indique dans quelle mesure l'échantillon observé est une fonction des valeurs possibles des paramètres. Par conséquent, la maximisation de la fonction de vraisemblance détermine les paramètres qui sont le plus susceptibles de produire les données observées. D'un point de vue statistique, l'EMaxV est généralement recommandée pour les grands échantillons, car elle est polyvalente, peut s'appliquer à la plupart des modèles et à différents types de données, et produit les estimations les plus précises.
Estimation par les moindres carrés
Pour calculer les estimations par la méthode des moindres carrés, vous devez ajuster une droite de régression aux points à partir d'un fichier de données qui contient la somme minimale des écarts quadratiques (plus petite erreur quadratique). Dans l'analyse de fiabilité, la droite et les données sont tracées sur un diagramme de probabilité.

Pourquoi l'EMaxV est-elle la méthode par défaut dans Minitab ?

Pour les fichiers de données complets et volumineux, l'estimation par les moindres carrés et la méthode EMaxV fournissent des résultats cohérents. Dans les applications de fiabilité, les fichiers de données sont généralement de petite taille ou de taille modérée. Des études de simulation approfondies montrent que, dans les petits plans d'échantillons comptant uniquement quelques défaillances, la méthode EMaxV est plus efficace que l'estimation par les moindres carrés.1 Par conséquent, la méthode d'estimation par défaut dans Minitab est l'EMaxV.

Les avantages de la méthode EMaxV par rapport à l'estimation par les moindres carrés sont les suivants :
  • Les estimations des paramètres de la distribution sont plus précises.
  • L'estimation de la variance est plus faible.
  • Les intervalles de confiance et les tests pour les paramètres de modèle peuvent être calculés de manière fiable.
  • Les calculs utilisent plus d'informations dans les données.

    Lorsqu'il n'existe que peu de défaillances en raison d'une importante troncature des données, la méthode EMaxV utilise les informations de l'intégralité du fichier de données, y compris les valeurs tronquées. L'estimation par les moindres carrés ignore les informations dans les observations tronquées.1

En général, les avantages de la méthode EMaxV l'emportent sur ceux de l'estimation par les moindres carrés. L'estimation par les moindres carrés est plus facile à calculer manuellement et à programmer. Cette méthode est également traditionnellement associée à l'utilisation des diagrammes de probabilité pour l'évaluation de l'adéquation de l'ajustement. Toutefois, cette méthode peut produire des résultats trompeurs sur un diagramme de probabilité. Il existe des exemples où les points d'un diagramme de probabilité de Weibull qui utilise l'estimation par les moindres carrés suivent une droite lorsque le modèle de Weibull est réellement inapproprié.1

1. Genschel, U. and Meeker, W.Q. (2010). A Comparison of Maximum Likelihood and Median-Rank Regression for Weibull Estimation. Quality Engineering, 22(4): 236–255.

Pourquoi les intervalles de confiance et les tests pour les paramètres de modèle ne sont-ils pas disponibles avec la méthode d'estimation par les moindres carrés ?

Dans les versions précédentes, Minitab fournissait des résultats calculés pour les erreurs types, les intervalles de confiance et les tests portant sur les paramètres de modèle lorsque vous utilisiez l'estimation par la méthode des moindres carrés. Ces résultats calculés étaient fondés sur une méthode ad hoc. Cependant, il n'existe aucune méthode statistique établie communément admise concernant le calcul des erreurs types pour les paramètres de modèle à l'aide de la méthode d'estimation par les moindres carrés. Par conséquent, si vous modifiez la méthode d'estimation par défaut et que vous sélectionnez Moindres carrés (temps de défaillance(X) sur rang(Y)), les résultats n'incluront pas les valeurs calculées pour les erreurs types, les intervalles de confiance et les tests des paramètres de modèle. Si vous souhaitez inclure des intervalles de confiance et des tests pour les paramètres de modèle dans vos résultats, vous devez utiliser la méthode EMaxV (par défaut).

Changement de méthode d'estimation

Pour définir la méthode des moindres carrés comme méthode d'estimation des paramètres au lieu de celle du maximum de vraisemblance lorsque vous utilisez une analyse de répartition paramétrique, un diagramme d'identification de répartition ou un diagramme de présentation de répartition, procédez comme suit :

  1. Sélectionnez Stat > Fiabilité/Survie > Analyse de répartition (troncature à droite) ou Analyse de répartition (troncature arbitraire).
  2. Choisissez l'une des analyses suivantes et cliquez sur le bouton approprié :
    Analyse Bouton
    Analyse de répartition paramétrique Estimation
    Diagramme d'identification de répartition Options
    Diagramme de présentation de répartition Options
  3. Sélectionnez .Moindres carrés (temps de défaillance(X) sur rang(Y))

    Si vous utilisez la méthode d'estimation par les moindres carrés, les estimations sont calculées en ajustant une droite de régression aux points d'un diagramme de probabilité. La droite est établie en effectuant une régression de la durée avant défaillance ou du log (durée avant défaillance) (X) sur le pourcentage transformé (Y).

Les percentiles de la distribution étant basés sur les paramètres de distribution estimés, les différences dans les paramètres estimés produiront des différences dans les percentiles estimés.

Entrer les valeurs initiales ou modifier le nombre maximum d'itérations pour l'estimation par le maximum de vraisemblance

Lorsque vous estimez les paramètres à l'aide de l'estimation par le maximum de vraisemblance, vous pouvez spécifier les valeurs initiales de l'algorithme et le nombre maximal d'itérations.

  1. Dans la feuille de travail, entrez les estimations de paramètres de la distribution dans une seule colonne.
    La solution du maximum de vraisemblance peut ne pas converger si les estimations de début ne sont pas proches de la solution réelle. Par conséquent, vous devez indiquer des valeurs de début approximatives pour les estimations de paramètres. Pour les différentes lois, entrez les estimations de paramètres dans la feuille de travail, dans l'ordre indiqué dans ce tableau.
    Distribution Paramètres
    Weibull Entrer la forme et l'échelle
    Exponentiel Entrer la moyenne
    Autres distributions à 2 paramètres Entrer l'emplacement et l'échelle
    Exponentielle à 2 paramètres Entrer l'échelle et le seuil
    Weibull à 3 paramètres Entrer la forme, l'échelle et le seuil
    Autres distributions à 3 paramètres Entrer l'emplacement, l'échelle et le seuil
  2. Sélectionnez Stat > Fiabilité/Survie > Analyse de répartition (troncature à droite) > Analyse de répartition paramétrique ou Stat > Fiabilité/Survie > Analyse de répartition (troncature arbitraire) > Analyse de répartition paramétrique.
  3. Cliquez sur Options.
  4. Dans la zone Utiliser les estimations initiales, indiquez la colonne de valeurs initiales pour l'algorithme.
  5. Dans la zone Nombre maximum d'itérations, entrez le nombre maximal d'itérations pour atteindre la convergence (la valeur par défaut est 20).

    Minitab obtient les estimations du maximum de vraisemblance par un processus itératif. Si le nombre maximal d'itérations est atteint avant la convergence, l'exécution de l'algorithme s'arrête.

Spécifier les paramètres pour une analyse de répartition paramétrique au lieu d'utiliser une estimation calculée par Minitab

Vous pouvez utiliser l'une des méthodes d'estimation fournies avec les fonctions Analyse de répartition paramétrique (troncature à droite) et Analyse de répartition paramétrique (troncature arbitraire). Cependant, au lieu d'utiliser une estimation calculée par Minitab à l'aide de l'une de ces méthodes, vous pouvez également définir certains ou l'ensemble des paramètres. Si vous choisissez d'indiquer vous-même des paramètres, les résultats calculés (comme les percentiles) reposent sur les valeurs de paramètres saisies pour l'analyse.

Spécifier certains paramètres et estimer les autres

Vous pouvez spécifier certains des paramètres de votre loi de distribution et demander à Minitab d'estimer les autres à partir des données. En général, vous estimez certains paramètres pour effectuer une analyse de Bayes lorsque les données ont peu ou pas de défaillances. Pour plus de détails, reportez-vous à la rubrique Comment effectuer une analyse de fiabilité avec peu ou pas de défaillances.

  1. Sélectionnez Stat > Fiabilité/Survie > Analyse de répartition (troncature à droite) > Analyse de répartition paramétrique ou Stat > Fiabilité/Survie > Analyse de répartition (troncature arbitraire) > Analyse de répartition paramétrique.
  2. Cliquez sur Estimation.
  3. Dans la zone Analyse de Bayes, entrez les paramètres que vous souhaitez spécifier pour votre loi de distribution. Les paramètres que vous pouvez spécifier dépendent de la loi choisie :
    Distribution Paramètres que vous pouvez spécifier
    Weibull Forme
    Weibull à 3 paramètres Forme, seuil ou les deux
    Exponentiel Aucune
    Exponentielle à 2 paramètres Seuil
    Autres distributions sans seuil Echelle
    Autres distributions avec seuil Echelle, seuil ou les deux

    Vous estimez toujours le paramètre d'échelle pour la loi de Weibull. Pour les distributions ayant un paramètre d'emplacement, vous estimez toujours le paramètre d'emplacement.

Spécifier tous les paramètres

Vous pouvez spécifier l'ensemble des paramètres au lieu de les estimer à partir des données. Vous pouvez spécifier les paramètres historiques pour, entre autres, comparer les estimations basées sur des paramètres historiques aux estimations basées sur des données actuelles, ou examiner comment les données en cours s'ajustent à un diagramme de probabilité basé sur les paramètres historiques.

  1. Dans la feuille de travail, entrez les estimations de paramètres pour la distribution dans une seule colonne. Vous pouvez entrer plusieurs colonnes d'estimations de paramètres si vous avez plusieurs variables à analyser. Pour les différentes distributions, entrez les estimations de paramètres dans la colonne, dans l'ordre indiqué dans le tableau.
    Distribution Paramètres
    Weibull Entrer la forme et l'échelle
    Exponentiel Entrer la moyenne
    Autres distributions à 2 paramètres Entrer l'emplacement et l'échelle
    Exponentielle à 2 paramètres Entrer l'échelle et le seuil
    Weibull à 3 paramètres Entrer la forme, l'échelle et le seuil
    Autres distributions à 3 paramètres Entrer l'emplacement, l'échelle et le seuil
  2. Sélectionnez Stat > Fiabilité/Survie > Analyse de répartition (troncature à droite) > Analyse de répartition paramétrique ou Stat > Fiabilité/Survie > Analyse de répartition (troncature arbitraire) > Analyse de répartition paramétrique.
  3. Cliquez sur Options.
  4. Sélectionnez .Utiliser les estimations historiques
  5. Dans la zone Utiliser les estimations historiques, indiquez la colonne de paramètres estimés. Si vous avez plusieurs variables à analyser, entrez les colonnes d'estimations dans le même ordre que celui dans lequel vous avez saisi les variables.

Supposition d'un paramètre de forme ou d'échelle commun pour l'analyse de répartition paramétrique

Lorsque vous effectuez une analyse de répartition paramétrique, Minitab peut baser ses estimations sur un paramètre de forme ou d'échelle commun.

  1. Sélectionnez Stat > Fiabilité/Survie > Analyse de répartition (troncature à droite) > Analyse de répartition paramétrique ou Stat > Fiabilité/Survie > Analyse de répartition (troncature arbitraire) > Analyse de répartition paramétrique.
  2. Cliquez sur Estimation.
  3. Sous Méthode d'estimation, cochez la case Faire l'hypothèse d'une forme (pente Weibull) ou d'une échelle (1/pente-autres lois distribution) commune.

    Minitab suppose un paramètre de forme ou d'échelle commun lors du calcul des estimations. Par exemple, supposons que vous ayez 2 (ou plus, en général k>2) échantillons indépendants distribués normalement avec des moyennes différentes, mais une même variance. Pour estimer la moyenne de chaque échantillon, Minitab utilise une estimation regroupée de la variance. Cette approche se généralise également pour d'autres lois. En revanche, le résultat spécifique dépend de la méthode d'estimation sélectionnée pour l'analyse.

Méthode EMaxV avec un paramètre de forme ou d'échelle commun

Pour la méthode du maximum de vraisemblance, Minitab utilise le log de vraisemblance. Dans ce cas, la fonction du log de vraisemblance du modèle correspond à la somme des fonctions de log de vraisemblance individuelles ayant le même paramètre de forme. La fonction de log de vraisemblance globale obtenue est maximisée pour fournir les paramètres d'échelle associés à chaque groupe et le paramètre de forme commun. Pour en savoir plus, reportez-vous à la référence suivante : W. Nelson (1982). Applied Life Data Analysis, Chapter 12. John Wiley & Sons.

Méthode par les moindres carrés avec un paramètre de forme ou d'échelle commun

Minitab calcule d'abord les coordonnées x et y de chaque groupe (pour plus de détails, reportez-vous aux sections sur les points de diagramme et sur la droite d'ajustement dans la rubrique Méthodes et formules pour le diagramme de probabilité pour la fonction Analyse de répartition paramétrique (troncature à droite)). Ensuite, pour obtenir l'estimation par les moindres carrés, Minitab procède comme suit :

  1. Regroupe les données de coordonnées X.
  2. Regroupe les données de coordonnées Y.
  3. Utilise une variable indicatrice (ou variable de répartition) pour identifier les groupes.
  4. Effectue la régression des coordonnées X (réponse) par rapport aux prédicteurs définis par toutes les coordonnées Y (prédicteur continu) et par la variable indicatrice (prédicteur de catégorie).
    Remarque

    Pour les distributions log-emplacement-échelle (par exemple, Weibull), la transformation logarithmique doit être appliquée aux coordonnées X. Les groupes doivent avoir la même pente, soit l'inverse du paramètre de forme commun. Le paramètre de forme des groupes est obtenu par l'exponentiation de l'ordonnée à l'origine de chaque groupe.