Bevor wir auf die parametrischen und nichtparametrischen Tests eingehen, wollen wir uns noch einmal vergegenwärtigen, wie ein statistischer Test funktioniert. Der Ellistat Data Analysis-Modul ermöglicht es Ihnen, diese Tests durchzuführen.
Ein statistischer Test funktioniert folgendermaßen:
- Es wird eine Nullhypothese betrachtet, bei der es keine Unterschiede zwischen den Stichproben gibt.
- Man berechnet die Wahrscheinlichkeit, in das gleiche Muster zu fallen, das man mit den beobachteten Stichproben bei Befolgung der Nullhypothese erhält. Diese Wahrscheinlichkeit wird als "Alpha-Risiko" oder "p-Wert" bezeichnet.
- Wenn das Alpha-Risiko < 5% ist, wird angenommen, dass es zu unwahrscheinlich ist, eine solche Konfiguration im Rahmen der Nullhypothese zu erhalten. Daher wird die Nullhypothese verworfen und der Unterschied zwischen den Stichproben als signifikant angesehen. Aus diesem Grund wird allen Ergebnissen der von Ellistat angebotenen statistischen Tests ein Wert für das Alpha-Risiko mit folgender Skala zugeordnet:
Die Zahl unterhalb der Skala entspricht dem Alpha-Risiko des Tests :
- Wenn das Alpha-Risiko < 0,01 ist, wird der Unterschied als hoch signifikant angesehen<.
- Wenn Alpha-Risiko < 0.05, wird der Unterschied als signifikant angesehen
- Wenn das Alpha-Risiko < 0,1 ist, wird der Unterschied als grenzwertig angesehen. (Man kann nicht sagen, dass es einen signifikanten Unterschied gibt, aber die Hypothese ist interessant).
- Wenn das Alpha-Risiko > 0,1 ist, wird der Unterschied als nicht signifikant angesehen.
Beispiel
Um die Funktionsweise eines statistischen Tests zu veranschaulichen, nehmen wir das folgende Beispiel.
Angenommen, wir möchten erkennen, dass eine Münze pipettiert wird, und werfen eine Münze. Wir gehen davon aus, dass die Münze immer auf Kopf fällt.
Wurf Nr. 1
Nach dem ersten Wurf fällt die Münze auf Zahl. Kann man daraus schließen, dass die Münze gepipet ist?
Auf den ersten Blick wäre es ziemlich gewagt, darauf zu wetten, dass die Münze pipettiert wird, denn das hätte genauso gut mit einer Standardmünze passieren können.
In diesem Fall lautet die Nullhypothese: Die Münze ist nicht gepipet, also hat sie eine Chance von 1:2, auf Kopf oder Zahl zu fallen. Die Wahrscheinlichkeit, dass eine nicht gepipte Münze auf Kopf fällt, beträgt 50%.
Die Wahrscheinlichkeit, nach dem ersten Wurf einer nicht gepipten Münze Kopf zu erhalten, beträgt 50%, das Alpha-Risiko des Tests ist also:Alpha-Risiko = 50%
D. h., es besteht eine 50%-Chance, das gleiche Ergebnis zu erhalten, wenn man der Nullhypothese folgt.
Wurf Nr. 2
Nach dem zweiten Wurf fällt die Münze wieder auf Kopf. Das Alpha-Risiko wird:Alpha-Risiko = 25%
Kann man daraus schließen, dass die Münze gepipet ist?
Es stellt sich also die Frage: Ab welchem Alpha-Risiko kann man sagen, dass die Münze gepipet ist?
In der Regel wird in der Industrie das Alpha-Grenzrisiko bei 5% gewählt.
D. h. :
- Wenn das Alpha-Risiko < 5% ist, wird die Nullhypothese verworfen und die Münze als gepipettiert betrachtet.
- Wenn das Alpha-Risiko > 5 % beträgt, kann man nicht mit Sicherheit sagen, dass die Münze manipuliert ist. Das bedeutet jedoch nicht, dass die Münze nicht manipuliert ist, da dies von der Anzahl der durchgeführten Würfe abhängt.
Fortsetzung des Beispiels
Führen wir unser Beispiel weiter aus:
-3ème Wurf, die Münze fällt auf Zahl: Alpha-Risiko = 12.5%
-4ème Wurf, die Münze fällt auf Zahl: Alpha-Risiko = 6.75%
-5ème Wurf, die Münze fällt auf Zahl: Alpha-Risiko = 3.375%
In diesem Fall wird ab dem 5.ème Wurf in Folge, bei dem die Münze auf Kopf fällt, kann man also sagen, dass die Münze mit einem Risiko von weniger als 5% pipettiert wird.
Parametrische vs. nicht-parametrische Tests
Wenn man Populationsvergleiche durchführt oder eine Population mit einem theoretischen Wert vergleicht, gibt es zwei große Testfamilien: parametrische Tests und nicht-parametrische Tests.
Parametrische Tests
Parametrische Tests funktionieren unter der Annahme, dass die Daten, die man zur Verfügung hat, einem bekannten Typ von Verteilungsgesetz folgen (in der Regel der Normalverteilung).
Um das Alpha-Risiko des statistischen Tests zu berechnen, müssen Sie nur den Mittelwert und die Standardabweichung der Stichprobe berechnen, um auf das Verteilungsgesetz der Stichprobe zuzugreifen.
Da das Verteilungsgesetz somit vollkommen bekannt ist, kann man das Alpha-Risiko auf der Grundlage der theoretischen Berechnungen der Gaußschen Verteilung berechnen.
Diese Tests sind in der Regel sehr fein, setzen aber voraus, dass die Daten tatsächlich dem angenommenen Verteilungsgesetz folgen. Insbesondere sind sie sehr anfällig für Ausreißer und werden nicht empfohlen, wenn Ausreißer festgestellt werden.
Nicht-parametrische Tests
Nichtparametrische Tests machen keine Annahmen über die Art der Verteilungsgesetze der Daten. Sie stützen sich lediglich auf die numerischen Eigenschaften der Stichproben. Hier ein Beispiel für einen nichtparametrischen Test :
Man möchte überprüfen, ob sich der Median einer Population von einem theoretischen Wert unterscheidet. Wir messen 14 Stück und erhalten die folgende Stichprobe:
11 Mal auf derselben Seite von 14
In 11 von 14 Fällen liegt das Ergebnis unter dem theoretischen Median. Wenn der Median der Population dem theoretischen Wert entspricht, sollten 50% der Münzen über dem Median und 50% der Münzen unter dem Median liegen. Um über die Signifikanz der Abweichung des Medians vom theoretischen Median zu entscheiden, müssen wir also nur prüfen, ob sich die Häufigkeit von 11 von 14 Mal signifikant von 50% unterscheidet.
Wir stellen fest, dass diese Abweichung grenzwertig ist.
Wie im vorherigen Beispiel müssen nichtparametrische Tests keinen bestimmten Verteilungstyp voraussetzen, um das Alpha-Risiko des Tests zu berechnen. Sie sind sehr elegant und basieren auf numerischen Eigenschaften. Außerdem sind sie sehr unempfindlich gegenüber Ausreißern und werden daher in diesem Fall empfohlen.
Tabelle: Welcher parametrische Test, welches nichtparametrische Äquivalent?
| Ihre Frage | Parametrischer Test | Nichtparametrisches Äquivalent |
|---|---|---|
| Unterscheidet sich ein Durchschnittswert von einem Zielwert? | T-Test mit einer Stichprobe | Wilcoxon-Zeichen-Test |
| Unterscheidet sich eine Standardabweichung von einem Zielwert? | Chi-Quadrat-Test | — |
| Haben zwei unabhängige Stichproben dieselbe Position? (zwei Lieferanten, zwei Maschinen) | T-Test mit zwei Stichproben | Mann-Whitney |
| Unterscheiden sich zwei gepaarte Messreihen voneinander? (gleiche Teile, die vor und nach der Messung oder mit zwei verschiedenen Messgeräten gemessen wurden) | Gepaarter T-Test | Wilcoxon-Zeichen-Test für Unterschiede |
| Haben drei oder mehr Gruppen dieselbe Position? | ANOVA | Kruskal-Wallis |
| Drei oder mehr Gruppen bei gepaarten Messungen? | gepaarte ANOVA | Friedman |
| Sind zwei Verteilungen unterschiedlich? | Test F | Levene, Fligner-Killeen |
| Unterscheiden sich mehrere Dispersionen voneinander? | Bartlett | Levene |
| Unterscheiden sich die vollständigen Verteilungen? | — | Cramér-von-Mises (2 Proben), Energieprüfung (3 oder mehr) |
Beachten Sie unbedingt die Streuungslinie. In der Produktion können zwei Maschinen denselben Mittelwert und sehr unterschiedliche Streuungen aufweisen, und es ist die Streuung, die die Leistungsfähigkeit bestimmt. Weitere Informationen finden Sie in unserem Artikel über die Vergleich von Verteilungen mit dem Cramér-von-Mises-Test und dem Energietest erläutert diese Ansätze im Einzelnen.
Wie entscheidet man sich zwischen einem parametrischen und einem nichtparametrischen Test?
Stellen Sie sich vier Fragen, und zwar in dieser Reihenfolge:
- Wie viele Proben vergleichen Sie, und handelt es sich um gepaarte Proben? Das zweimalige Messen derselben Teile (vor und nach einer Änderung oder mit zwei Messverfahren) wird als gepaarter Test bezeichnet. Der Vergleich verschiedener Teile wird als unabhängiger Test bezeichnet.
- Folgen die Daten einer Normalverteilung? Überprüfen Sie dies anhand eines Normalitätstests und eines Histogramms. Eine deutlich asymmetrische Verteilung spricht für einen nichtparametrischen Test.
- Gibt es Ausreißer? Wenn ja und sie sich nicht durch einen Eingabe- oder Messfehler erklären lassen, sollten Sie einen nichtparametrischen Test bevorzugen. Ein Ausreißerprüfung hilft bei der Entscheidung.
- Wie groß ist die Stichprobe? Bei großen Datenmengen sind parametrische Tests gegenüber moderaten Abweichungen von der Normalverteilung robust. Bei kleinen Datenmengen lässt sich die Normalverteilung nur schwer überprüfen, weshalb nichtparametrische Tests die sicherere Wahl darstellen.
Im Zweifelsfall empfiehlt es sich, beide Testfamilien durchzuführen. Wenn sie zu denselben Ergebnissen führen, ist die Schlussfolgerung fundiert. Wenn sie voneinander abweichen, ist dies ein Hinweis darauf, dass die Annahmen des parametrischen Tests genauer untersucht werden sollten.
„Nicht signifikant“ bedeutet nicht „gleich“: Äquivalenztests
Das ist der häufigste Interpretationsfehler in der Industrie. Ein Test, der keinen signifikanten Unterschied feststellt beweist nicht dass beide Gruppen identisch sind. Bei einer geringen Stückzahl kann selbst eine tatsächliche Abweichung unbemerkt bleiben.
Wenn es darum geht, nachzuweisen, dass ein neuer Lieferant, ein neues Werkzeug oder eine neue Einstellung zu das gleiche Ergebnis Im Gegensatz zum alten muss man die Logik umkehren und ein Äquivalenztest. Man legt die maximal zulässige Abweichung fest und versucht dann nachzuweisen, dass die tatsächliche Abweichung geringer ist. Das Modul „Data Analysis“ schlägt dies übrigens direkt vor, wenn ein Differenz-Test nicht signifikant ist.
Ein weiterer Punkt, den es zu berücksichtigen gilt: die benötigte Stückzahl. Eine Berechnung von Leistung vor der Messkampagne verhindert, dass man zu dem Schluss kommt, es gebe «keinen Unterschied», nur weil die Stichprobe zu klein war.
Diese Tests mit Ellistat durchführen
Im Modul Datenanalyse von Ellistat, bietet die Ansicht «Tests der inferentiellen Statistik» eine Auswahlmöglichkeit zwischen «parametrisch» und „nichtparametrisch“. Je nach Anzahl der Stichproben und der Paarung zeigt die Software direkt die geeigneten Tests an, die nach Testfamilien gruppiert sind:
- Analyseverfahren: t-Test, ANOVA, Mann-Whitney, Wilcoxon, Kruskal-Wallis, Friedman…;
- Streuung: F-Test, Bartlett-Test, Levene-Test…;
- Verteilung: Cramér-von-Mises, Energietest.
Jeder parametrische Test ist mit einem Piktogramm versehen, das seine Annahmen (Normalverteilung, Ausreißer, Gleichheit der Varianzen) überprüft. So wissen Sie sofort, ob der Test auf Ihre Daten anwendbar ist.
Schlussfolgerung
Sich zwischen einem ein parametrischer Test und ein nichtparametrischer Test bedeutet, Ihre Daten mit den Annahmen des Tests abzugleichen:
- Normale Daten ohne Ausreißer: Der parametrische Test ist am empfindlichsten;
- Unbekannte, asymmetrische Verteilung oder Extremwerte: Der nichtparametrische Test ist die sicherste Methode.
In beiden Fällen helfen drei Verhaltensweisen dabei, Fehlentscheidungen zu vermeiden:
- sowohl die Streuung als auch den Mittelwert betrachten;
- Man darf «nicht signifikant» niemals mit «identisch» verwechseln;
- Die Probe vor der Messung auf die richtige Größe zuschneiden.
FAQ
Was ist der Unterschied zwischen einem parametrischen und einem nichtparametrischen Test?
Ein parametrischer Test geht davon aus, dass die Daten einer bekannten Verteilung folgen – in der Regel der Normalverteilung – und stützt sich auf den Mittelwert und die Standardabweichung. Ein nichtparametrischer Test stellt keine Annahmen über die Verteilung auf und stützt sich auf die Rangfolge oder die Vorzeichen der Daten.
Wann sollte man einen nichtparametrischen Test verwenden?
Wenn die Daten nicht einer Normalverteilung folgen, wenn sie Ausreißer enthalten, die nicht ausgeschlossen werden können, oder wenn die Stichprobe zu klein ist, um die Normalverteilung zu überprüfen.
Was ist das nichtparametrische Äquivalent zum Student-Test?
Bei zwei unabhängigen Stichproben kommt der Mann-Whitney-Test zum Einsatz. Bei zwei gepaarten Stichproben oder einer einzelnen Stichprobe im Vergleich zu einem Zielwert kommen der Wilcoxon-Test und der Vorzeichen-Test zum Einsatz.
Was ist das nichtparametrische Äquivalent der ANOVA?
Der Kruskal-Wallis-Test für unabhängige Gruppen und der Friedman-Test für gepaarte Messwerte.
Beweist ein nicht signifikanter Test, dass zwei Gruppen identisch sind?
Nein. Das bedeutet lediglich, dass anhand der Daten kein Unterschied nachgewiesen werden kann. Um zu beweisen, dass zwei Gruppen gleichwertig sind, ist ein Gleichwertigkeitstest erforderlich, bei dem im Voraus eine maximal zulässige Abweichung festgelegt wird.
