La potencia de una prueba de hipótesis es la probabilidad de que la prueba rechace correctamente la hipótesis nula. La potencia de una prueba de hipótesis se ve afectada por el tamaño de la muestra, la diferencia, la variabilidad de los datos y el nivel de significancia de la prueba.

Si una prueba tiene poca potencia, es posible que usted no detecte un efecto y concluya erróneamente que no existe ninguno. Si la potencia de una prueba es demasiado alta, efectos muy pequeños y posiblemente sin importancia podrían parecer significativos.

Ninguna prueba es perfecta, siempre existe la posibilidad de que los resultados de una prueba conduzcan a rechazar la hipótesis nula (H0) cuando en realidad sea verdadera (un error de tipo I) o a no rechazar H0 cuando realmente sea falsa (error de tipo II). Esto se debe a que para poder estimar las medias de la población, usted tiene que utilizar muestras aleatorias, y las muestras aleatorias son precisamente eso, aleatorias. Por lo tanto, siempre es posible que la media de la muestra resulte muy diferente de la media de la población.

Por ejemplo, supongamos que cierta población distribuida normalmente tiene una media (μ) de 10 y una desviación estándar (σ) de 2. Esta distribución indica que 95.44% de los valores de esta población se encuentran entre 6 y 14. Sin embargo, siempre es posible que usted seleccione 10 observaciones de forma aleatoria y termine con una media de la muestra de 4. ¡Con una muestra como esa, usted no podría inferir que la media de la población es realmente 10!

Por supuesto, las probabilidades de obtener una muestra como esa son increíblemente pequeñas, aunque no deja de ser posible. Un error de muestreo a veces puede conducir a una conclusión equivocada. Aunque usted no puede saber cuándo ocurrirá esto, sí puede estimar la frecuencia con la que ocurrirá. Ahí es donde la potencia entra en juego.

Por ejemplo, supongamos que usted realiza una prueba t de 1 muestra para determinar si el volumen medio de producto dispensado en las botellas de champú en su fábrica es diferente del volumen objetivo de 8 oz. Usted decide tomar una muestra aleatoria de 10 botellas. Si μ realmente es 7.5 oz. (las botellas se están llenando con 0.5 oz. menos de lo esperado) y σ en realidad es 0.43 oz., entonces la prueba tiene una potencia de 0.9039.

Un valor de potencia de 0.9039 significa que si usted decide repetir el experimento muchas veces, (con una nueva muestra aleatoria cada vez), alrededor de 90.39% de las veces, usted terminará rechazando correctamente la hipótesis nula. En el 9.61% restante de las veces, un error de muestreo hará que usted no rechace H0, aunque realmente sea falsa. Por supuesto, es poco probable que usted realice la prueba más de una vez, pero es bueno saber que las probabilidades de obtener una muestra engañosa son relativamente bajas.