Lorsque l’on réalise un test statistique on souhaite comparer des données entre elles ou à une valeur théorique. L’objectif est de décider si ces données sont similaires ou s’il existe une différence entre elles.

Par exemple, on souhaite savoir si une pièce de tirage à pile ou face est pipée ou non.

Tous les tests statistiques fonctionnent de la même manière :

  • On considère une hypothèse nulle dans laquelle il n’y a pas de différence entre les échantillons. Dans notre exemple nous supposerons que la pièce n’est pas pipée, c’est-à-dire qu’elle a 50% de chance de tomber du côté pile.
  • On réalise les essais puis on calcule la probabilité de tomber dans la même configuration que celle obtenue avec les échantillons observés en suivant l’hypothèse nulle, c’est-à-dire en supposant que la pièce n’est pas pipée. On appelle cette probabilité « Risque alpha » ou « p-value »
  • Si « risque alpha » < 5%, on considère qu’il est trop peu probable d’obtenir une telle configuration dans le cadre de l’hypothèse nulle. On rejette donc l’hypothèse nulle et on considère que la différence entre les échantillons est significative. Dans notre exemple, on considèrera que la pièce est pipée.

Exemple

Nous allons illustrer un peu mieux notre exemple. Supposons que l’on joue avec un ami à pile ou face, que la pièce est fournie par notre ami farceur et que nous pensons que la pièce est truquée. Nous nous doutons que la pièce tombe toujours sur pile.

Après le premier lancer, la pièce tombe sur pile, peut-on pour autant en déduire que la pièce est pipée ?

A priori, ce serait assez osé de parier que la pièce est pipée après un seul essai, car cela aurait très bien pu arriver avec une pièce standard.

Dans ce cas, l’hypothèse nulle est : la pièce n’est pas pipée, elle a donc une chance sur deux de tomber sur pile ou face. La probabilité qu’une pièce non pipée tombe sur pile est de 50%

Par suite, la probabilité de tomber dans cette configuration, c’est à dire d’obtenir pile après le premier lancer est de 50%, on dira que le risque alpha du test est :

Risque alpha = 50%

C’est-à-dire, il y a 50% de chance d’obtenir le même résultat en suivant l’hypothèse nulle.

Après le deuxième lancer, la pièce tombe à nouveau sur pile. Le risque alpha devient :

Risque alpha = 25%

Peut-on pour autant en déduire que la pièce est pipée ? Pour bien comprendre ce qu’est le risque alpha, posez vous alors la question, au bout de combien de lancers de suite tombant sur pile allez-vous en déduire que la pièce est truquée ?

En règle générale, dans l’industrie, le risque alpha limite est choisi à 5%. C’est-à-dire :

  • Si risque alpha < 5%, on rejette l’hypothèse nulle et on considère que la pièce est pipée
  • Si risque alpha > 5%, on ne peut pas dire que la pièce est pipée. Cela ne signifie pas pour autant que la pièce n’est pas pipée.

Poursuivons notre exemple :

  • 3ème lancer, la pièce tombe sur pile :  Risque alpha = 12.5%
  • 4ème lancer, la pièce tombe sur pile :  Risque alpha = 6.75%
  • 5ème lancer, la pièce tombe sur pile :  Risque alpha = 3.375%

Dans ce cas, à partir du 5ème lancer de suite sur laquelle la pièce tombe sur pile, on peut en conclure que la pièce est pipée.

Attention : Un risque alpha de 5% signifie que le cas observé peut subvenir dans 5% des cas (1 fois sur 20) alors que l’hypothèse nulle est vraie (la pièce n’est pas pipée).

Comment cela se traduit dans Ellistat :

Pour cette raison tous les résultats des tests statistiques proposés par Ellistat se trouveront associés à une valeur de risque alpha avec l’échelle suivante :

Le chiffre inscrit en dessous de l’échelle est égal au risque alpha du test :

  • Si risque alpha < 0.01, la différence sera considérée comme très significative
  • Si risque alpha < 0.05, la différence sera considérée comme significative
  • Si risque alpha < 0.1, la différence sera considérée comme limite
  • Si risque alpha > 0.1, la différence sera considérée comme non significative

Dans notre exemple précédent, le résultat du test est le suivant au bout de 7 lancers, il s’agit du test 1P :

On observe bien la valeur du risque alpha indiqué en bas à droite du test.