Minden teszt két hipotézist állít szembe egymással:
- H0, a nullhipotézis: nincs különbség. Ez az alapértelmezett hipotézis, amelyet megpróbálunk cáfolni.
- H1, az alternatív hipotézis: van különbség.
A teszt kiszámítja a p-érték : annak a valószínűsége, hogy legalább olyan nagy eltérést figyeljenek meg, mint a tiéd ha a H0 hipotézis igaz lenne. Az alacsony p-érték miatt a véletlen valószínűsége csekélynek tűnik, ezért elutasítjuk a H0-hipotézist.
Le alfa-kockázat az a küszöbérték, amelyet magadnak állítasz be, hagyományosan 5 %. Ez annak a kockázata, hogy olyan eltérést jelentesz, amely valójában nem létezik.
Ellistat Adatelemzés a következtetést négy szintre osztja, színkóddal jelölve:
| p-érték | Következtetés |
| p ≤ 0,01 | Nagyon jelentős |
| 0,01 < p ≤ 0,05 | Jelentős |
| 0,05 < p ≤ 0,1 | Jelentős határérték |
| p > 0,1 | Nem szignifikáns |
⚠️ A «nem szignifikáns» nem jelenti azt, hogy „egyenlő”. Ez azt jelenti, hogy az adatok nem elegendőek a következtetés levonásához. Csoportonként öt mérés esetén egy ténylegesen jelentős különbség is statisztikailag nem szignifikánsnak bizonyulhat, mivel a teszt nem elég érzékeny ahhoz, hogy ezt kimutassa. Pontosan erre szolgál a Teljesítmény.
💡 Ugyanakkor egy apró eltérés is jelentőssé válik nagyon nagy mintanagyság esetén. A „jelentős” nem egyenlő a „fontos” kifejezéssel. A p-érték mellett mindig vegyük figyelembe a különbség nagyságát is: a statisztika azt mutatja, hogy a különbség valódi-e, a mérnök pedig azt, hogy számít-e.