Un test d'hypothèse est la règle qui indique si une affirmation concernant une population doit être acceptée ou rejetée, en fonction des preuves fournies par l'échantillon de données.
Un test d'hypothèse examine deux hypothèses opposées concernant une population : l'hypothèse nulle et l'hypothèse alternative. L'hypothèse nulle est l'énoncé testé. En général, l'hypothèse nulle stipule l'absence d'effet ou l'absence de différence. L'hypothèse alternative est l'énoncé dont vous souhaitez pouvoir conclure à la véracité d'après les preuves fournis par les données de l'échantillon.
Sur la base des données échantillons, le test détermine s'il convient de rejeter l'hypothèse nulle. La valeur de p sert de détermination. Si la valeur de p est inférieure au seuil de signification (appelé α ou alpha), vous pouvez rejeter l'hypothèse nulle.
On croit souvent à tort que les tests d'hypothèse statistiques visent à sélectionner l'hypothèse la plus probable parmi deux. Cependant, en effectuant un test d'hypothèse, nous définissons l'hypothèse nulle comme celle que nous souhaitons rejeter. Comme nous fixons un seuil de signification bas avant l'analyse (généralement, une valeur de 0,05 fonctionne bien), lorsque nous rejetons l'hypothèse nulle, nous avons une preuve statistique que l'alternative est vraie. En revanche, si nous ne parvenons pas à rejeter l'hypothèse nulle, nous ne disposons pas d'une preuve statistique indiquant que l'hypothèse nulle est vraie. La raison en est que nous n'avons pas fixé de valeur assurant que la probabilité d'accepter à tort l'hypothèse nulle est petite.