O poder de um teste de hipótese é a probabilidade de que o teste rejeite a hipótese nula corretamente. O poder de um teste de hipótese é afetado pelo tamanho amostral, a diferença, a variabilidade dos dados e o nível de significância do teste.
Se um teste apresenta baixo poder, talvez não seja possível detectar um efeito e você conclua erroneamente que não existe nenhum. Se um teste tem poder muito alto,ereitos muito pequenos e possivelmente sem interesse podem ser vistos como significativos.
Nenhum teste é perfeito; há sempre a possibilidade de que os resultados de um teste o levem a rejeitar a hipótese nula (H0) quando ela é, na realidade, verdadeira (um erro tipo I) ou a falhar em rejeitar H0 quanto na realidade ela é falsa (um erro tipo II). Isto porque, a fim de estimar as médias da população, você precisa extrair amostras aleatórias e amostras aleatórias são apenas isso, aleatórias. Assim, é sempre possível que a média da sua amostra seja muito diferente da média da população.
Por exemplo, suponha que uma certa população distribuída normalmente possui média(μ) 10 e desvio padrão (σ) 2. Essa distribuição indica que 95,44% dos valores dessa população estão entre 6 e 14. Entretanto, é sempre possível que você selecione 10 observações aleatoriamente e obtenha uma média amostral de 4. Com essa amostra não seria possível adivinhar que a média da população é na verdade 10!
É óbvio que as chances de se obter tal amostra são incrivelmente pequenas, mas, no entanto, possíveis. O erro de amostragem às vezes pode levar você para a conclusão errada. Embora não seja possível saber quando isso vai ocorrer, você pode estimar quantas vezes irá ocorrer. É aí que entra o poder.
Por exemplo, suponha que você executa um teste t para 1 amostra para determinar se o volume médio de produto distribuído em frascos de xampu em sua fábrica é diferente do volume alvo de 8 onças. Você decide extrair uma amostra aleatória de 10 frascos. Se μ é, na verdade 7,5 onças (os frascos são preenchidas somente com 0,5 onças) e σ é na verdade 0,43 onça, o teste tem um poder de 0,9039.
Um valor de poder de 0,9039 significa que se você sair e repetir o mesmo experimento muitas vezes (tendo uma nova amostra aleatória de cada vez), aproximadamente 90,39% do tempo, você vai acabar rejeitando corretamente a hipótese nula. Os outros 9,61% das vezes, o erro de amostragem fará com que você não rejeite H0, mesmo ele sendo realmente falso. É evidente que não é provável que você saia e repita o teste mais de uma vez, mas é bom saber que as chances de conseguir uma amostra equivocada são relativamente pequenas.