Ogni test mette a confronto due ipotesi:
- H0, l'ipotesi nulla: non vi è alcuna differenza. È l'ipotesi predefinita, quella che si cerca di confutare.
- H1, l'ipotesi alternativa: c'è una differenza.
Il test calcola la valore p : la probabilità di osservare uno scostamento almeno pari al vostro se H0 fosse vera. Un valore p basso rende poco plausibile l'ipotesi di casualità, e si rifiuta l'ipotesi nulla H0.
Le rischio alfa è la soglia che ci si prefigge, tradizionalmente 5 %. È il rischio di segnalare una differenza che in realtà non esiste.
Ellistat Analisi dei dati suddivide la conclusione in quattro livelli, con un codice colore:
| valore p | Conclusione |
| p ≤ 0,01 | Molto significativo |
| 0,01 < p ≤ 0,05 | Significativo |
| 0,05 < p ≤ 0,1 | Limite significativo |
| p > 0,1 | Non significativo |
⚠️ «Non significativo» non significa "uguale". Ciò significa che i vostri dati non sono sufficienti per trarre conclusioni. Con cinque misurazioni per gruppo, una differenza reale significativa può risultare non significativa, poiché il test non ha la potenza statistica necessaria per rilevarla. È proprio a questo che serve l’ingresso Potenza.
💡 Allo stesso modo, una differenza minima diventa significativa su campioni molto ampi. "Significativo" non significa "importante". Oltre al valore p, occorre sempre considerare l’entità della differenza: la statistica indica se la differenza è reale, l’ingegnere valuta se è rilevante.