Fonctionnement d’un test statistique

Un test statistique fonctionne de la manière suivante :

  • On considère une hypothèse nulle dans laquelle il n’y a pas de différence entre les échantillons.
  • On calcule la probabilité de tomber dans la même configuration que celle obtenue avec les échantillons observés en suivant l’hypothèse nulle. On appelle cette probabilité « Risque alpha » ou « p-value ».
  • Si risque alpha < 5%, on considère qu’il est trop peu probable d’obtenir une telle configuration dans le cadre de l’hypothèse nulle. On rejette donc l’hypothèse nulle et on considère que la différence entre les échantillons est significative.

Pour cette raison tous les résultats des tests statistiques proposés par Ellistat se trouveront associés à une valeur de risque alpha avec l’échelle suivante :

Risque alpha

Le chiffre inscrit en dessous de l’échelle est égal au risque alpha du test :

Si risque alpha < 0.01, la différence sera considérée comme très significative

Si risque alpha < 0.05, la différence sera considérée comme significative

Si risque alpha < 0.1, la différence sera considérée comme limite. (On ne peut pas affirmer qu’il y a une différence significative mais l’hypothèse est intéressante)

Si risque alpha > 0.1, la différence sera considérée comme non significative

Il est possible de modifier le risque alpha limite d’Ellistat en se rendant dans « Accueil/Paramètre »

Exemple

Pour illustrer le fonctionnement d’un test statistique prenons l’exemple suivant. Supposons que l’on souhaite détecter le fait qu’une pièce soit pipée et la tirant à pile ou face. Nous supposons que la pièce tombe toujours sur pile.

Après le premier lancer, la pièce tombe sur pile, peut-on pour autant en déduire que la pièce est pipée ?

A priori, ce serait assez osé de parier que la pièce est pipée, car cela aurait très bien pu arriver avec une pièce standard.

Dans ce cas, l’hypothèse nulle est : la pièce n’est pas pipée, elle a donc une chance sur deux de tomber sur pile ou face. La probabilité qu’une pièce non pipée tombe sur pile est de 50%.

Par suite, la probabilité d’obtenir pile après le premier lancer d’une pièce non pipée est de 50%, on dira que le risque alpha du test est :

Risque alpha = 50%

C’est-à-dire, il y a 50% de chance d’obtenir le même résultat en suivant l’hypothèse nulle.

Après le deuxième lancer, la pièce tombe à nouveau sur pile. Le risque alpha devient :

Risque alpha = 25%

Peut-on pour autant en déduire que la pièce est pipée ? Se pose ainsi la question : à partir de quel risque alpha peut-on dire que la pièce est pipée?

En règle générale, dans l’industrie, le risque alpha limite est choisi à 5%. C’est-à-dire :

Si risque alpha < 5%, on rejette l’hypothèse nulle et on considère que la pièce est pipée.

Si risque alpha > 5%, on ne peut pas affirmer que la pièce est pipée. Cela ne signifie pas pour autant que la pièce n’est pas pipée car cela dépend du nombre de lancer que l’on a fait.

Poursuivons notre exemple :

3ème lancer, la pièce tombe sur pile :  Risque alpha = 12.5%

4ème lancer, la pièce tombe sur pile :  Risque alpha = 6.75%

5ème lancer, la pièce tombe sur pile :  Risque alpha = 3.375%

Dans ce cas, à partir du 5ème lancer de suite sur laquelle la pièce tombe sur pile, on peut donc affirmer que la pièce est pipée avec une risque inférieur à 5%.