Signification statistique et pratique

La différence entre une statistique issue d'un échantillon et une valeur de paramètre hypothétisée est statistiquement significative si le test d'hypothèse indique qu'il est trop improbable qu'elle se soit produite par hasard. Pour évaluer la signification statistique, examinez la valeur de p du test. Si la valeur de p est inférieure à un seuil de signification (a) spécifié (généralement 0,10, 0,05 ou 0,01), vous pouvez conclure que la différence est statistiquement significative et rejeter l'hypothèse nulle du test.

Par exemple, supposons que vous souhaitiez déterminer si l'épaisseur de pare-brise des véhicules est supérieure à 4 mm, comme l'exigent les règles de sécurité. Vous prélevez un échantillon de pare-brise et effectuez un test t à 1 échantillon avec un niveau d'α de 0,05 et les hypothèses suivantes :

H₀ : μ = 4
H₁ : μ > 4

Si le test calcule une valeur de p de 0,001, vous concluez à la signification statistique et rejetez l'hypothèse nulle, car la valeur de p est inférieure au niveau d'α que vous avez choisi. Vous concluez en faveur de l'hypothèse alternative : l'épaisseur du pare-brise est supérieure à 4 mm.

Mais si la valeur de p est égale à 0,50, vous ne pouvez pas conclure à une signification statistique. Vos données ne vous permettent pas de conclure que l'épaisseur moyenne des pare-brise est supérieure à 4 mm.

Un résultat statistiquement significatif peut ne pas être significatif dans la pratique

En elle-même, la signification statistique n'implique pas que vos résultats ont une conséquence pratique. Si vous utilisez un test doté d'une puissance élevée, vous pourriez conclure qu'une faible différence par rapport à la valeur supposée est statistiquement significative. Toutefois, cette faible différence peut s'avérer insignifiante dans votre situation. Vous devez utiliser vos connaissances afin de déterminer si la différence est significative dans la pratique.

Par exemple, supposons que vous vouliez vérifier si la moyenne (µ) de la population des heures de travail dans une usine de fabrication est égale à 8. Si µ n'est pas égal à 8, la puissance de votre test s'approche de 1 à mesure que l'effectif de l'échantillon augmente, et la valeur de p se rapproche elle de 0.

Avec suffisamment d'observations, même des différences insignifiantes entre les valeurs de paramètres hypothétisées et réelles sont susceptibles de devenir significatives. Par exemple, supposons que la valeur réelle de µ soit de 7 heures, 59 minutes et 59 secondes. Avec un échantillon assez grand, vous avez plus de chances de rejeter l'hypothèse nulle selon laquelle µ est égal à 8 heures, même si la différence n'a pas d'importance dans la pratique.

Les intervalles de confiance (si disponibles) sont souvent plus utiles que les tests d'hypothèse car ils offrent un moyen d'évaluer la signification pratique en plus de la signification statistique. Ils vous permettent de déterminer ce qu'est une valeur de paramètre, plutôt que ce qu'elle n'est pas.