Die Wahl des statistischen Tests

1. Den richtigen Test auswählen

Ellistat stellt die Tests in einer Matrix mit zwei Einträgen : die Testreihe in Zeilen, die Art des Vergleichs in Spalten.

Die fünf Familien, je nachdem, was Sie vergleichen:

Vergleichsarten, in Spalten:

• Bei einem theoretischen Wert : Entspricht Ihre Probe einem Sollwert, einer Norm oder einem historischen Wert?
• Zwischen zwei Proben, gekoppelt oder selbstständig ;
• Zwischen mehreren Proben, gekoppelt oder selbstständig.

Einen Test durchzuführen bedeutet, die Frage «Gibt es einen Unterschied zwischen diesen Situationen?» oder die Frage «Kann ich daraus schließen, dass diese beiden Situationen gleichwertig sind?» zu beantworten.»

Diese beiden Fragen lassen sich nicht mit denselben Tests beantworten. Aus diesem Grund müssen Sie, sofern es die Situation zulässt, die Frage auswählen, indem Sie auf das entsprechende Symbol klicken.

2. Die angebotenen Tests

2.1 Um einen Unterschied aufzuzeigen

Wenn zwei Tests durch einen Schrägstrich getrennt sind, ist der erste parametrisch und der zweite nichtparametrisch : Der F-Test und der Fligner-Killeen-Test beantworten dieselbe Frage, wobei letzterer keine Normalverteilung voraussetzt.

💡 Z oder T?  Der Z-Test setzt voraus, dass die Standardabweichung der Grundgesamtheit bekannt ist, was in der Praxis selten der Fall ist. Der T-Test schätzt diese anhand der Stichprobe. Im Zweifelsfall: T.

2.2 Um eine Äquivalenz zu zeigen

Ellistat wählt automatisch die geeigneten Tests entsprechend der Art der Daten aus, die man vergleichen möchte. Man muss sich nicht alle Tests merken, denn Ellistat liefert das vollständige Ergebnis der passenden Tests. Für eine kontinuierliche Variable werden die Tests auf Unterschiede in Lage, Skala und Streuung angezeigt! Man kann eine dieser Kategorien auswählen. 

3. Parametrische vs. nichtparametrische Tests

Parametrische Tests setzen eine Verteilung voraus, in der Regel die Normalverteilung. Sie sind stärker Wenn diese Annahme zutrifft: Bei gleichen Daten stellen sie geringere Abweichungen fest.

Nichtparametrische Tests gehen von keiner Verteilung aus. Sie sind robuster aber etwas weniger empfindlich.

• Normalverteilung, keine Ausreißer: parametrisch ;
• Fragwürdige Rechtslage, geringer Personalbestand, Extremwerte: nichtparametrisch.

Das Menü zeigt beide nebeneinander an, gerade um diese Wahl deutlich zu machen.

Die Äquivalenz ist nur in parametrisch : Wenn Sie zu diesem Ziel wechseln, kehrt der Wahlschalter in den parametrischen Modus zurück. Die nicht-parametrische Variante wird in einer kommenden Version verfügbar sein.

4. Die Gültigkeitsbedingungen – für Sie überprüft

Das ist ein Highlight der Speisekarte, das oft nicht richtig zur Geltung kommt: Ellistat überprüft automatisch die Annahmen des ausgewählten Tests und zeigt das Ergebnis an.

Die drei Abzeichen können folgende sein:

• Die Bedingungen sind erfüllt

• Die Bedingungen werden trotz einer Abweichung vom Ideal eingehalten

• Mindestens eine Bedingung ist nicht erfüllt

Wenn ein Test keine zu überprüfende Bedingung enthält, weist Ellistat darauf hin: «Für diesen Test gibt es keine zu überprüfende Hypothese»; dies ist bei nichtparametrischen Tests der Fall.

⚠️ Ein parametrischer Test, dessen Annahmen nicht erfüllt sind, liefert einen p-Wert das nicht den angegebenen Wert hat. Der Reflex: auf das nichtparametrische Äquivalent derselben Zeile umschalten oder die Ursache beheben, einen berechtigten Ausreißer entfernen, die Daten umwandeln.

💡 Entferne einen Ausreißer niemals nur deshalb, weil er stört. Ein Ausreißer ist ein Information : Eingabefehler, Produktionsstörung, fehlerhaftes Teil. Es ist besser, den Fehler zu verstehen, als ihn zu löschen.

5. Das Ergebnis ablesen

Das Ergebnis zeigt die Annahmen H0 und H1, im Klartext formuliert für Ihren Fall, die Statistik des Tests, die p-Wert, und die Fazit mit der entsprechenden Farbe: Ablehnung von H0 oder Nichtablehnung von H0.

Die dazugehörige Grafik ergänzt den Test: Boxplots für den Vergleich von Mittelwerten, Balkendiagramme für Anteile.

💡 Betrachten Sie die Grafik und den p-Wert immer gemeinsam. Die Grafik zeigt um wie viel und in welcher Richtung, der p-Wert besagt wenn man das glauben kann. Das eine ohne das andere lässt die Hälfte der Schlussfolgerung außer Acht.

6. Eine Äquivalenz zeigen

Ein klassischer Test zielt darauf ab, einen Unterschied aufzeigen. Er kann das Gegenteil nicht nachweisen: Keinen Unterschied festzustellen ist nicht dasselbe wie die Gleichheit zu beweisen. Oft ist es jedoch gerade die Gleichheit, die Sie interessiert: Ist dieser neue Anbieter genauso gut wie der alte, liefert diese schnellere Einstellung denselben Messwert, ersetzt dieses Messmittel das vorherige?

Der Wahlschalter Ziel entscheidet den Test in diese Richtung.

Nur ein neuer Parameter: δ

δ ist die Äquivalenzgrenze : Die Abweichung, unterhalb derer der Unterschied für Sie keine Rolle spielt. Ihr Wert ist nicht statistischer Natur, sondern fachlich bedingt – Sie entscheiden selbst, dass eine Abweichung von zwei Hundertstel keine Auswirkungen auf die Funktion des Bauteils hat.

Es wird als Einheit des Merkmals, als % des Mittelwerts, als Vielfaches der Standardabweichung oder als % des Toleranzbereichs angegeben – die in der Industrie gängigste Formulierung. Die anderen Ausdrücke werden darunter angezeigt.

⚠️ δ wird festgelegt, bevor man sich die Daten ansieht. Sich nach Feststellung der beobachteten Abweichung dafür zu entscheiden, bedeutet, die Schlussfolgerung vorzugeben, anstatt sie zu überprüfen.

6.1 Lesen ist ein visueller Vorgang

Die Registerkarte Gleichwertigkeit zeigt das Konfidenzintervall der Differenz gegenüber der Indifferenzbereich ±δ. Die Äquivalenz ist bewiesen, wenn das Intervall gilt vollständig in diesem Bereich. Man braucht keinen p-Wert, um das zu erkennen.

6.2 Die Entscheidungsmatrix

Die beiden Lesarten – „Unterschied“ und „Äquivalenz“ – überschneiden sich in vier Fällen:

⚠️ Das Kästchen Unentschlossen ist diejenige, die der Differenz-Test allein verschleiert. Ohne sie würde «nicht signifikant» als «gleich» interpretiert werden, und das ist falsch.

6.3 Wie viele Teile?

Zwei Angaben ersetzen die vorherige Leistungsberechnung:

• der kleinstes nachweisbares δ mit Ihrem derzeitigen Personalbestand; ;
• der Stückzahl was nötig wäre, um den von Ihnen festgelegten δ-Wert einzuhalten.

6.4 Drei Fragen statt einer

Die Zeile mit der alternativen Hypothese behält ihre Funktion und wird neu beschriftet:

Ansteckplakette	Frage
	Nichtunterlegenheit : A ist nicht wesentlich schlechter als B
	Gleichwertigkeit : A und B unterscheiden sich nicht um mehr als δ
	Nicht-Überlegenheit : A ist nicht signifikant besser als B

6.5 Worauf bezieht sich die Gleichwertigkeit?

Positionen : Mittelwerte, für ein Ziel oder zwischen zwei Stichproben, gepaart oder ungepaart; ;

Leitern : Varianzverhältnis. Die Grenze liegt hier bei einem **Verhältnis R > 1**, der Indifferenzbereich beträgt `[1/R; R]`, und die Grafik wird logarithmisch skaliert; ;

Frequenzen : Differenz zwischen zwei Anteilen oder zwischen einem Anteil und dem Zielwert, in Prozentpunkten.

⚠️ Eine Äquivalenz von Abweichungen erfordert deutlich höhere Stückzahlen als bei den mittleren Größen, oft mehrere hundert Stück, während bei den mittleren Größen einige Dutzend ausreichen. Die genaue Zahl wird angezeigt.

7. Mehrere Proben

Eine signifikante ANOVA oder ein signifikanter Kruskal-Wallis-Test besagt: «Diese Gruppen sind nicht alle gleich.» Er sagt jedoch nicht, welcher nicht ist anders.

Ellistat stellt hierfür eine Schlussfolgerung paarweise, bei dem die Gruppen paarweise miteinander verglichen werden.

⚠️ Der Vergleich aller Paare führt zu einer Vervielfachung der Tests und damit auch der Fehlalarme: Bei zehn Gruppen werden 45 Vergleiche durchgeführt, und bei einem Risiko von jeweils 5 % finden sich im Durchschnitt zwei Scheinunterschiede. Deshalb sollte man den bereitgestellten Paarvergleich nutzen, anstatt die t-Tests manuell nacheinander durchzuführen.

8. Die Falle der Paarbildung

Es gibt Daten, die gepaart wenn sich beide Serien mit den dieselben Personen : dasselbe Werkstück vor und nach der Behandlung, derselbe Bediener bei beiden Verfahren, dasselbe Werkstück, gemessen mit zwei Messgeräten.

Der gepaarte Test eliminiert die Variabilität zwischen den Individuen und gewinnt dadurch erheblich an Aussagekraft.

⚠️ Die Behandlung gepaarter Daten als unabhängig voneinander ist der häufigste und kostspieligste Fehler: Die Variabilität zwischen den einzelnen Messungen überdeckt den gesuchten Effekt, und man kommt zu dem Schluss, es gebe «keinen Unterschied», obwohl dieser eindeutig vorliegt. Umgekehrt führt die Einstufung von Datenreihen als gepaart, die es nicht sind, zu künstlichen Unterschieden.

💡 Der Test weist Sie indirekt darauf hin: Bei einem gepaarten Test wird die Normalverteilung überprüft. über den Unterschied. Wenn Ellistat vom Unterschied zwischen Stichproben spricht, dann sind Sie tatsächlich in einer gepaarten Stichprobe.

9. Varianzanalyse bei mehreren ausgewählten X-Variablen und einer quantitativen Y-Variablen

Wenn mehrere X-Variablen ausgewählt sind und die Y-Variable quantitativ ist, ändert sich der Charakter der Fragestellung: Es geht nicht mehr darum, zwei Gruppen zu vergleichen, sondern herauszufinden, welche der ausgewählten Faktoren die Y-Variable beeinflussen. Ellistat führt in diesem Fall eine Varianzanalyse für alle X-Variablen durch.

Das Prinzip besteht darin, die auf der Y-Achse beobachtete Variabilität aufzuschlüsseln: einen Anteil, der jedem Faktor zuzuschreiben ist, und einen Restanteil, den das Modell nicht erklärt.

So sieht die Seite aus:

• Eine Varianzanalyse-Tabelle, eine Zeile pro Faktor: Freiheitsgrade, Summe der Quadrate, mittleres Quadrat, F-Statistik und p-Wert. Ein Faktor gilt als signifikant, wenn sein p-Wert unter dem festgelegten Alpha-Risiko liegt.
• Der durch jeden Faktor erklärte Variabilitätsanteil, der die X-Variablen untereinander in eine Rangfolge bringt, sowie der Residualanteil: das, was die ausgewählten Faktoren nicht vollständig erklären können.
• Die dazugehörigen Grafiken: Durchschnittswerte nach Modalität, Boxplots, die die Richtung und das Ausmaß des Effekts verdeutlichen, während der p-Wert lediglich dessen Vorhandensein angibt.
• Bei einem Einflussfaktor mit mehr als zwei Ausprägungen zeigt der paarweise Vergleich gemäß Abschnitt 3.7, welche sich tatsächlich unterscheiden.

💡 Die gemeinsame Analyse der X-Faktoren ist nicht dasselbe wie die Durchführung einer Reihe von Ein-Faktor-Tests. Jeder Effekt wird hier im Zusammenhang mit den anderen bewertet: So wird die Anhäufung von Fehlalarmrisiken vermieden, und es wird zwischen einem tatsächlich einflussreichen Faktor und einem Faktor unterschieden, der nur aufgrund seiner Verbindung mit einem anderen Einfluss hatte.

💡 P-Wert und erklärter Anteil sollten gemeinsam betrachtet werden. Bei großen Stichproben kann ein Faktor sehr signifikant sein, obwohl er nur wenige Prozent der Variabilität erklärt: Der Effekt ist real, aber der Ansatz für industrielle Maßnahmen liegt woanders.

⚠️ Die Gültigkeitsbedingungen aus Absatz 4 gelten auch hier; sie beziehen sich auf die Residuen des Modells: Normalverteilung, Homogenität der Varianzen zwischen den Modalitäten, Fehlen von Ausreißern. Ein Faktor kann bereits durch einen einzigen atypischen Wert signifikant werden.

⚠️ Die Varianzanalyse stellt einen Zusammenhang her, nicht eine Ursache: Sie zeigt, welche Faktoren mit der Variation von Y einhergehen – und zwar in dem Bereich, der tatsächlich durch Ihre Daten abgedeckt ist. Um die Effekte und ihre Wechselwirkungen zu quantifizieren, ist ein Versuchsplan erforderlich.

Die Tabelle der Gültigkeitsbedingungen:

Man kann festlegen, dass nur die Hauptwirkungen oder mit den Wechselwirkungen. Und auch die Berechnungsmethode Parametrisch oder Nichtparametrisch. Die parametrische Methode ist klassisch, setzt jedoch die Annahme der Normalverteilung voraus; die nichtparametrische Methode benötigt diese Annahme nicht, sie arbeitet mit Austauschverfahren. Es handelt sich um eine zeitaufwändige Methode. Sie lässt sich nur auf Tabellen mit weniger als 1.000 Zeilen anwenden. Die Ergebnisse beider Methoden liegen sehr nahe beieinander, außer bei Abweichungen von der Normalverteilung; in diesem Fall ist es vorzuziehen, den nichtparametrischen Ansatz zu wählen.

Über das Zahnrad lassen sich die Parameter auswählen: Die kleinste Abweichung, ab der sie als Abweichung vom untersuchten Y-Wert betrachtet wird. Sie wird in der nachfolgenden Entscheidungsmatrix verwendet. Die Anzahl der Permutationen, die die kleinste Veränderung des p-Werts bewirkt. Und der Zufallskeim: Er ist fest vorgegeben, wodurch an einem Arbeitsplatz stets dieselben Ergebnisse erzielt werden.

Die Entscheidungsmatrix fasst die Situation aller untersuchten Faktoren entsprechend ihrer Signifikanz und ihrer Bedeutung in Bezug auf Delta zusammen

⚠️ Achtung: Bei hierarchischen Strukturen ist es besser, anstelle der Untersuchung von Wechselwirkungen die generalisierte Varianzanalyse zu verwenden, die im Menü «Variationsquellen» zu finden ist.»