Que sont les méthodes d'estimation par les moindres carrés et par le maximum de vraisemblance ?

Deux approches couramment utilisées pour estimer les paramètres de population à partir d’un échantillon aléatoire sont la méthode d’estimation du maximum de vraisemblance (par défaut) et la méthode d’estimation des moindres carrés.
Méthode d’estimation du maximum de vraisemblance (MLE)
La fonction de vraisemblance indique la probabilité que l’échantillon observé soit en fonction des valeurs possibles des paramètres. Par conséquent, maximiser la fonction de vraisemblance détermine les paramètres les plus susceptibles de produire les données observées. D’un point de vue statistique, l’EML est généralement recommandé pour de grands échantillons car il est polyvalent, applicable à la plupart des modèles et différents types de données, et produit les estimations les plus précises.
Méthode d’estimation des moindres carrés (LSE)
Les estimations des moindres carrés sont calculées en ajustant une ligne de régression aux points à partir d’un ensemble de données dont la somme minimale des écarts est au carré (erreur au moindre quadratu). En analyse de fiabilité, la ligne et les données sont tracées sur un diagramme de probabilité.

Pourquoi l'EMaxV est-elle la méthode par défaut dans Minitab ?

Pour de grands ensembles de données complets, la méthode LSE et la méthode MLE fournissent des résultats cohérents. Dans les applications de fiabilité, les ensembles de données sont généralement petits ou de taille modérée. Des études de simulation approfondies montrent que dans les petits échantillons où il n’y a que quelques échecs, la méthode MLE est meilleure que la méthode LSE.1 Ainsi, la méthode d’estimation par défaut dans Minitab est MLE.

Les avantages de la méthode EMaxV par rapport à l'estimation par les moindres carrés sont les suivants :
  • Les estimations des paramètres de distribution sont plus précises.
  • La variance estimée est plus faible.
  • Les intervalles de confiance et les tests pour les paramètres de modèle peuvent être calculés de manière fiable.
  • Les calculs utilisent davantage d’informations contenues dans les données.

    Lorsqu’il n’y a que quelques échecs parce que les données sont fortement censurées, la méthode MLE utilise l’information de l’ensemble du jeu de données, y compris les valeurs censurées. La méthode de la LSE ignore les informations contenues dans les observations censurées.1

En général, les avantages de la méthode EMaxV l'emportent sur ceux de l'estimation par les moindres carrés. La méthode LSE est plus facile à calculer à la main et plus facile à programmer. La méthode de la LSE est également traditionnellement associée à l’utilisation de diagrammes de probabilité pour évaluer la qualité de l’ajustement. Toutefois, cette méthode peut produire des résultats trompeurs sur un diagramme de probabilité. Des exemples existent où les points sur un graphique de probabilité de Weibull utilisant la méthode LSE se situent le long d’une ligne alors que le modèle de Weibull est en réalité inapproprié.1

1. Genschel, U. et Meeker, W.Q. (2010). A Comparison of Maximum Likelihood and Median-Rank Regression for Weibull Estimation. Quality Engineering, 22(4): 236–255.

Pourquoi les intervalles de confiance et les tests pour les paramètres de modèle ne sont-ils pas disponibles avec la méthode d'estimation par les moindres carrés ?

Dans les versions antérieures, Minitab fournissait des résultats calculés pour les erreurs standard, les intervalles de confiance et les tests des paramètres du modèle lors de l’utilisation de la méthode LSE. Ces résultats calculés étaient fondés sur une méthode ad hoc. Cependant, il n’existe pas de méthode statistique établie et acceptée pour calculer les erreurs standard des paramètres du modèle utilisant la méthode LSE. Par conséquent, si vous modifiez la méthode d’estimation par défaut et sélectionnez Moindres carrés (temps de défaillance (X) sur rang (Y)), votre sortie n’inclura pas les résultats calculés pour les erreurs standard, les intervalles de confiance et les tests pour les paramètres du modèle. Si vous souhaitez inclure des intervalles de confiance et des tests pour les paramètres de modèle dans vos résultats, vous devez utiliser la méthode EMaxV (par défaut).

Modifier la méthode d’estimation

Pour changer la méthode d’estimation des paramètres de MLE à LSE lors d’une analyse de distribution paramétrique, d’un diagramme ID de distribution ou d’un graphique d’aperçu de distribution, faites ce qui suit :

  1. Choisissez Stat > Fiabilité/Survie > Analyse de loi.
  2. Choisissez l’une des analyses suivantes et sélectionnez le bouton approprié :
    Analyse Bouton
    Analyse de loi paramétrique Ajustement de la loi
    Diagramme d'identification de loi Ajustement de la loi
    Diagramme de présentation de loi Options
  3. Choisissez Moindres carrés (temps de défaillance(X) sur rang(Y)).

    Si vous utilisez la méthode d’estimation des moindres carrés, les estimations sont calculées en ajustant une ligne de régression aux points d’un graphique de probabilité. La droite est formée en régressant le temps jusqu’à la défaillance ou en logarithmique (temps jusqu’à la défaillance) (X) sur le pourcentage transformé (Y).

Parce que les percentiles de la distribution sont basés sur les paramètres de distribution estimés, les différences dans les paramètres estimés entraîneront des différences dans les percentiles estimés.

Spécifier les paramètres pour une analyse de distribution paramétrique à la place de faire estimer les paramètres par Minitab

Au lieu que Minitab estime les paramètres, vous pouvez spécifier certains paramètres ou tous les paramètres. Si vous choisissez de spécifier des paramètres, les résultats calculés — comme les percentiles — sont basés sur les valeurs des paramètres que vous avez saisis pour l’analyse.

Spécifier certains paramètres et en estimer d’autres

Vous pouvez spécifier certains paramètres pour votre distribution et faire estimer les autres par Minitab à partir des données. En général, on estime certains paramètres pour effectuer une analyse bayesienne lorsque les données ont peu ou pas de défaillance. Pour plus de détails, reportez-vous à la rubrique Comment effectuer une analyse de fiabilité avec peu ou pas de défaillances.

  1. Choisissez Stat > Fiabilité/Survie > Analyse de loi > Analyse de loi paramétrique.
  2. Sélectionnez Ajustement de la loi.
  3. Saisissez les paramètres que vous souhaitez spécifier pour votre distribution. Les paramètres que vous pouvez spécifier dépendent de la distribution que vous choisissez :
    Distribution Paramètres que vous pouvez spécifier
    Weibull Forme
    Weibull à 3 paramètres Forme, seuil ou les deux
    Exponentielle Aucune
    Exponentielle à 2 paramètres Seuil
    Autres distributions sans seuil Echelle
    Autres distributions avec seuil Échelle, seuil, ou les deux

    Vous estimez toujours le paramètre d’échelle pour la distribution de Weibull. Pour les distributions qui ont un paramètre de localisation, on estime toujours ce paramètre de localisation.

Spécifier tous les paramètres

Pour spécifier tous les paramètres au lieu de les estimer à partir des données, spécifiez les paramètres historiques. Vous pouvez spécifier des paramètres historiques pour faire ce qui suit.
  • Comparez les estimations que vous avez basées sur des paramètres historiques avec les estimations basées sur les données actuelles.
  • Voyez comment les données actuelles correspondent à un graphique de probabilité basé sur les paramètres historiques.
  1. Dans la feuille de calcul, saisissez les estimations des paramètres pour la distribution dans une seule colonne. Vous pouvez saisir plus d’une colonne d’estimations de paramètres si vous avez plus d’une variable à analyser. Pour les différentes distributions, entrez les estimations des paramètres dans la colonne dans l’ordre indiqué par le tableau.
    Distribution Paramètres
    Weibull Entrer la forme et l'échelle
    Exponentielle Entrer la moyenne
    Autres distributions à 2 paramètres Entrer l'emplacement et l'échelle
    Exponentielle à 2 paramètres Entrer l'échelle et le seuil
    Weibull à 3 paramètres Entrer la forme, l'échelle et le seuil
    Autres distributions à 3 paramètres Entrer l'emplacement, l'échelle et le seuil
  2. Choisissez Stat > Fiabilité/Survie > Analyse de loi > Analyse de loi paramétrique.
  3. Sélectionnez Ajustement de la loi.
  4. Depuis Paramètres de distribution, select Utiliser les estimations historiques
  5. Dans la zone Estimations historiques, indiquez la colonne de paramètres estimés. Si vous avez plus d’un échantillon, entrez une colonne pour chaque échantillon.

Supposons des paramètres de forme ou d’échelle communs pour l’analyse de distribution paramétrique

Lorsque vous effectuez une analyse de distribution paramétrique pour plusieurs échantillons, vous pouvez faire en sorte que l’analyse assume des paramètres de forme ou d’échelle communs pour les estimations.

  1. Choisissez Stat > Fiabilité/Survie > Analyse de loi > Analyse de loi paramétrique.
  2. Sélectionnez Ajustement de la loi.
  3. Depuis Paramètres de distribution, sélectionnez l’option appropriée pour vos distributions. Par exemple, si l’analyse suppose que les échantillons suivent une distribution de Weibull, alors sélectionnez Estimer à partir des données en supposant des paramètres de forme identiques .

    Minitab suppose alors des paramètres de forme ou d’échelle communs lors du calcul des estimations. Par exemple, supposons que vous ayez 3 échantillons indépendants, distribués normalement, avec des moyennes différentes mais la même variance. Pour estimer la moyenne de chaque échantillon, Minitab utilise une estimation groupée de la variance. Cette approche se généralise également pour d'autres lois. En revanche, le résultat spécifique dépend de la méthode d'estimation sélectionnée pour l'analyse.

Méthode MLE avec des paramètres communs de forme ou d’échelle

Pour la méthode de la vraisemblance maximale, Minitab utilise la fonction logarithmique. Dans ce cas, la fonction de vraisemblance logarithmique du modèle est la somme des fonctions de vraisemblance logarithmique individuelles, avec le même paramètre de forme supposé dans chaque fonction de vraisemblance logarithmique individuelle. La fonction de vraisemblance logarithmique globale résultante est maximisée pour obtenir les paramètres d’échelle associés à chaque groupe et le paramètre de forme commun. Pour en savoir plus, reportez-vous à la référence suivante. W. Nelson (1982). Applied Life Data Analysis, Chapter 12. John Wiley & Sons.

Méthode LSE avec des paramètres communs de forme ou d’échelle

Minitab calcule d’abord les coordonnées y et x pour chaque groupe (pour plus de détails, voir les sujets « Points de tracé » et « Ligne ajustée » dans Méthodes et formules pour le diagramme de probabilité pour la fonction Analyse de loi paramétrique. Ensuite, pour obtenir l'estimation par les moindres carrés, Minitab procède comme suit :

  1. Regroupe les données des coordonnées x.
  2. Regroupe les données des coordonnées y.
  3. Utilise une variable indicatrice (ou variable By) pour identifier les groupes.
  4. Régresse les coordonnées x (réponse) par rapport aux prédicteurs définis par toutes les coordonnées y (prédicteur continu) et la variable indicatrice (prédicteur catégorique).
    Remarque

    Pour les distributions à l’échelle logarthmique (par exemple, Weibull), les coordonnées x doivent être transformées logarithmiquement. Les groupes doivent avoir la même pente, qui est l’inverse du paramètre de forme courant. Le paramètre d’échelle de chaque groupe est obtenu par exponentiation de l’interception pour chaque groupe.