La diferencia entre un estadístico de muestra y un valor hipotético es estadísticamente significativa si una prueba de hipótesis indica que es muy poco probable que la misma haya ocurrido en virtud de las probabilidades. Para evaluar la significancia estadística, examine el valor p de la prueba. Si el valor p está por debajo de un nivel de significancia (α) especificado (generalmente 0.10, 0.05 o 0.01), usted puede decir que la diferencia es estadísticamente significativa y rechazar la hipótesis nula de la prueba.
Sin embargo, si el valor p es igual a 0.50, usted no puede declarar significancia estadística. No tiene suficiente evidencia para afirmar que el grosor promedio de los parabrisas es mayor de 4 mm.
La significancia estadística por sí sola no implica que los resultados tengan una consecuencia práctica. Si utiliza una prueba con una potencia muy alta, podría concluir que una pequeña diferencia con respecto al valor hipotético es estadísticamente significativa. Sin embargo, esa pequeña diferencia podría ser insignificante para su situación. Debe usar su conocimiento especializado para determinar si la diferencia es significativa desde el punto de vista práctico.
Por ejemplo, supongamos que usted está evaluando si la media de la población (μ) para las horas trabajadas en una planta de manufactura es igual a 8. Si μ no es igual a 8, la potencia de la prueba se acercará a 1 a medida que aumente el tamaño de la muestra y el valor p se acerque a 0.
Con suficientes observaciones, es probable que incluso las diferencias triviales entre los valores hipotéticos y reales de los parámetros se vuelvan significativas. Por ejemplo, supongamos que el valor real de mu es 7 horas, 59 minutos y 59 segundos. Con una muestra lo suficientemente grande, lo más probable es que usted rechace la hipótesis nula de que μ es igual a 8 horas, aunque la diferencia no tenga importancia práctica.
Los intervalos de confianza (si corresponde) suelen ser más útiles que las pruebas de hipótesis, porque ofrecen una manera de evaluar la importancia práctica, además de la significancia estadística. Ayudan a determinar cuál es el valor de un parámetro en lugar de determinar cuál no es.