Bei jedem Test stehen sich zwei Hypothesen gegenüber:
- H0, die Nullhypothese: Es gibt keinen Unterschied. Das ist die Standardhypothese, die man zu widerlegen versucht.
- H1, die alternative Hypothese: Es gibt einen Unterschied.
Der Test berechnet die p-Wert : die Wahrscheinlichkeit, eine Abweichung zu beobachten, die mindestens so groß ist wie Ihre wenn H0 wahr wäre. Ein niedriger p-Wert lässt einen Zufall unwahrscheinlich erscheinen, und man verwirft H0.
Die Alpha-Risiko ist der Schwellenwert, den Sie sich selbst setzen, traditionell 5:1 (TP:3T). Dabei besteht das Risiko, eine Differenz anzugeben, die gar nicht existiert.
Ellistat Datenanalyse unterteilt die Schlussfolgerung in vier Stufen und kennzeichnet diese farblich:
| p-Wert | Schlussfolgerung |
| p ≤ 0,01 | Sehr aussagekräftig |
| 0,01 < p ≤ 0,05 | Bedeutsam |
| 0,05 < p ≤ 0,1 | Signifikanzschwelle |
| p > 0,1 | Nicht aussagekräftig |
⚠️ «Nicht signifikant» bedeutet nicht „gleich“. Das bedeutet, dass Ihre Daten nicht ausreichen, um eine Schlussfolgerung zu ziehen. Bei fünf Messwerten pro Gruppe kann ein tatsächlich vorhandener, bedeutender Unterschied dennoch nicht signifikant sein – der Test verfügt nicht über die nötige Aussagekraft, um ihn zu erkennen. Genau dafür ist das Feld Leistung.
💡 Umgekehrt wird eine winzige Abweichung bei sehr großen Stichprobengrößen signifikant. „Signifikant“ bedeutet nicht „wichtig“. Man sollte neben dem p-Wert immer auch die Größe der Abweichung betrachten: Die Statistik sagt, ob die Abweichung real ist, der Ingenieur sagt, ob sie von Bedeutung ist.