Vergleich zweier Mittelwerte

Zwei Messmethoden, die eigentlich dasselbe messen sollen, liefern selten genau dasselbe Ergebnis. Die Frage ist nicht, ob sie sich unterscheiden – das tun sie immer –, sondern ob die Abweichung gering genug ist, dass man sie beliebig einsetzen kann: ein Messgerät durch ein anderes ersetzen, das Ergebnis eines externen Labors akzeptieren, eine Abnahmemessung mit einer Kontrollmessung vergleichen.

Diese Studie lässt sich weder auf einen R&R-Test noch auf einen Mittelwerttest reduzieren. Ein Test zum Vergleich von Mittelwerten zielt darauf ab, einen Unterschied nachzuweisen; hier ist es genau umgekehrt: Es muss eine Gleichwertigkeit nachgewiesen werden, und ein nicht signifikanter Test reicht für eine Schlussfolgerung nicht aus. Der Bildschirm beantwortet daher fünf verschiedene Fragen, da sich zwei Mittelwerte auf fünf verschiedene Arten unterscheiden können.

1. Was man beachten muss

Der Abschnitt „Informationen“ fasst alles zusammen, was das Studium ausmacht:

• der Name der Studie, die Einheit sowie die Mindest- und Höchsttoleranzen des Merkmals; diese Angaben sind zwar optional, doch ohne sie fehlt der Studie die konkreteste Überprüfung, nämlich die Überprüfung der Konsistenz der Konformitätsentscheidungen; ;
• d, die Äquivalenzgrenze: die Abweichung, unterhalb derer der Unterschied zwischen den beiden Mittelwerten keine praktischen Auswirkungen hat. Dies ist der entscheidende Parameter der Untersuchung; ;
•  die Methode zur Bestimmung von δ: als Absolutwert oder bezogen auf die Toleranz oder die Messgröße; ;
• die Bezeichnungen der beiden Mittel (A und B) und die Angabe desjenigen, das als Referenz dient; die Abweichung wird immer im Vergleich zu diesem berechnet; ;
• die Stückzahl und die Anzahl der Wiederholungen für jedes Mittel; ;
• Das Kästchen „Die Proben umfassen die Wiederaufnahme des Stücks“: anzukreuzen, wenn das Stück zwischen zwei Proben abgebaut und wieder aufgebaut wird.

⚠️ δ wird festgelegt, bevor man sich die Daten ansieht. Es erst nach Betrachtung der festgestellten Abweichung zu wählen, bedeutet, die Schlussfolgerung zu bestimmen, anstatt sie festzustellen. Das ist eine fachliche Entscheidung: Ab welcher Abweichung zwischen den beiden Mittelwerten würde sich Ihre Entscheidung ändern?

💡 Das Feld für Wiederholungsmessungen ist kein rein administratives Detail. Zwei aufeinanderfolgende Messungen ohne Demontage des Bauteils messen lediglich die Wiederholbarkeit der Anzeige, nicht die der Montage: Die Wiederholbarkeit wird dadurch unterschätzt, die Akzeptanzgrenzen sind zu eng, und es besteht die Gefahr, dass man eine Übereinstimmung feststellt, die gar nicht vorliegt. Das Display zeigt diese Warnung automatisch an, wenn das Kästchen nicht angekreuzt ist.

2. Registerkarte „Maßnahmen“

Zwei Tabellen nebeneinander, jeweils eine pro Medium, eine Zeile pro Teil und eine Spalte pro Wiederholung. Das Referenzmedium ist durch ein Symbol gekennzeichnet. Die Eingaberegel ist die einzige strenge Vorgabe: Eine Zeile muss in beiden Tabellen dasselbe Teil bezeichnen, da sonst die berechnete Abweichung keinen Sinn ergibt.

Die Daten lassen sich direkt aus Excel einfügen, Tabulatoren und Zeilenumbrüche werden erkannt, der Dezimalpunkt wird akzeptiert und leere Zellen werden toleriert.

3. Registerkarte „Ergebnis“: die fünf Fragen

Die Diagnosetabelle enthält die fünf Fragen, die beantwortet werden müssen ja um zwei austauschbare Mittel anzugeben. Jedes erhält einen Indikator, einen numerischen Wert mit seinem Konfidenzintervall und eine Antwort: Ja, Nein oder unentschieden.

💡 „Unentschieden“ ist nicht gleichbedeutend. Dies ist die häufigste Antwort bei einer kurzen Kampagne und bedeutet, dass die Daten nicht ausreichen, um eine Entscheidung zu treffen. Der Bildschirm gibt nicht nur diese Information an, sondern nennt auch, wie viele Artikel hinzugefügt werden müssten, um eine Abschlusswahrscheinlichkeit von 80 % zu erreichen – im Beispiel 416 weitere Artikel, also insgesamt 433. Diese Information dient der Kampagnenplanung und sollte eher vor als nach dem Start der Kampagne bekannt sein.

4. Die Kennzahlen

Unter den Diagnosen zeigt eine Reihe von Miniaturansichten die zu beachtenden Werte an:

• die durchschnittliche Abweichung und vor allem ihr Anteil an δ, im Beispiel 6,029 l/min, d. h. 60 % des Äquivalenzgrenzwerts: Die Abweichung ist zwar nicht unzumutbar, verbraucht aber bereits zwei Drittel des Budgets; ;
• das 90-%-Konfidenzintervall der Differenz, verglichen mit dem Band ±δ: Die Äquivalenz ist nachgewiesen, wenn das Intervall vollständig innerhalb des Bands liegt; ;
• die Deming-Steigung und ihr Konfidenzintervall. Die Deming-Regression geht im Gegensatz zur klassischen Regression davon aus, dass beide Mittelwerte mit Fehlern behaftet sind – was hier der Fall ist, da keiner der beiden Werte den wahren Wert darstellt; ;
•  der geschätzte Mittelwert am unteren und oberen Ende des Bereichs. Zwei Zahlen mit unterschiedlichem Vorzeichen deuten auf einen Wendepunkt hin: Die Mittelwerte kreuzen sich in der Mitte des Bereichs; ;
• die Anzahl der Teile, die außerhalb des Toleranzbereichs liegen (±δ) – im Beispiel 12 von 17 –, was die eigentliche Botschaft dieser Studie ist.

5. Die Wiederholbarkeit der beiden Verfahren

Ein separater Abschnitt gibt für jedes der beiden Verfahren dessen Wiederholgenauigkeit s_r, den Anteil des Toleranzintervalls, den diese bei Angabe der Toleranzen einnimmt, sowie die durchschnittliche Anzahl der ausgewerteten Wiederholungen an. Das Verhältnis λ der beiden Streuungen wird angegeben, zusammen mit der Angabe seiner Herkunft: aus den Wiederholungen geschätzt oder vorgegeben.

Dieser Abschnitt erklärt oft den Rest des Bildschirms. Zwei Verfahren, deren Wiederholgenauigkeit sich deutlich unterscheidet, können nicht als austauschbar bezeichnet werden, selbst wenn ihre Durchschnittswerte übereinstimmen: Das Verfahren mit der größeren Streuung führt bei denselben Teilen zu unterschiedlichen Konformitätsbeurteilungen.

6. Die Diagnose im Klartext

Am Ende der Registerkarte wird für jedes nicht erfüllte oder noch nicht geklärte Kriterium ein Absatz angezeigt, in dem erklärt wird, was passiert und was zu tun ist. Diesen Abschnitt sollten Sie als Erstes lesen: Er setzt die Konfidenzintervalle in Entscheidungen um.

•  Die Beanstandungen beziehen sich auf das Protokoll: Proben, bei denen der Ablauf nicht nachgestellt wurde, fehlende Toleranzen, unzureichende Teilnehmerzahl. Sie machen die Schlussfolgerungen teilweise ungültig und müssen geklärt werden, bevor eine Schlussfolgerung gezogen werden kann.

•  Die Diagnosen beziehen sich auf das Ergebnis: nachgewiesene Verzerrung, Akzeptanzgrenzen, die größer als δ sind, Abweichung im Verlauf der Messreihe. Jede Diagnose geht mit einer praktischen Konsequenz einher, beispielsweise dass eine Anpassung der mittleren Abweichung nicht ausreicht, wenn die individuelle Streuung zu groß bleibt.

⚠️ Eine Gleichheit der Durchschnittswerte rechtfertigt nicht den Austausch der Mittelwerte auf Einzelteilbasis. Wird die Konformitätsentscheidung für jedes Teil einzeln getroffen, ist die dritte Frage – 95 % der Teile innerhalb von ±δ – maßgeblich, und die Streuung muss verringert werden, bevor die beiden Mittelwerte ausgetauscht werden.

7. Registerkarte „Diagramme“

Vier Grafiken, von denen jede eine der Fragen aus der Diagnosetabelle beantwortet.

• Die Abweichung vom Referenzwert – das Bland-Altman-Diagramm. Auf der x-Achse ist der Referenzmittelwert dargestellt, auf der y-Achse die Differenz zwischen den beiden Mittelwerten. Auf einen Blick lassen sich darin die durchschnittliche Abweichung, die Akzeptanzgrenzen, das ±δ-Band und der Trend der Abweichung ablesen. Die Teile, die außerhalb des Bandes liegen, sind mit einem eigenen Symbol gekennzeichnet: Ihre Anzahl gibt die Antwort auf die Frage nach der Stück-zu-Stück-Variation.
• B in Abhängigkeit von A: die Messpaare, die Identitätsgerade y = x, die Deming-Regression und das Akzeptanzband. Eine Messpunktwolke, die der Identitätsgeraden folgt und innerhalb des Akzeptanzbandes liegt, deutet auf Austauschbarkeit hin; eine gegenüber der Identitätsgeraden geneigte Deming-Gerade deutet auf eine vom Niveau abhängige Abweichung hin.
• Der Mountain-Plot: die Verteilung der Abweichungen, dargestellt als gefaltete Perzentile. Der Scheitelpunkt gibt den Median der Abweichungen an, die Breite zeigt die Streuung an, und die Symmetrie gibt Aufschluss über das Vorhandensein einer Verzerrung. Dies ist die übersichtlichste Darstellung, um zu beurteilen, ob die Abweichungen zentriert und eng beieinander liegen oder weit verstreut und verschoben sind.
• Abweichungen in der Reihenfolge der Erfassung: derselbe Unterschied, dargestellt in der Reihenfolge, in der die Messungen durchgeführt wurden. Dies ist die einzige Grafik, die eine Abweichung aufzeigen kann: Eine Abweichung, die im Laufe der Messkampagne stetig zunimmt, ist kein Messfehler, sondern ein Zeichen dafür, dass sich das Messgerät verschiebt.

Zusammenfassung

Beide Vorgehensweisen sind austauschbar, wenn alle fünf Fragen mit „Ja“ beantwortet werden. Ist dies nicht der Fall, hängt das weitere Vorgehen davon ab, bei welcher Frage die Antwort „Nein“ lautet:

•  Eine nachgewiesene und stabile Abweichung des Mittelwerts wird korrigiert: Es handelt sich um eine Verschiebung, die durch Kalibrierung oder durch eine Korrektur eines der beiden Mittelwerte ausgeglichen wird; ;
• Eine vom gemessenen Wert abhängige Abweichung lässt sich nicht durch eine Verschiebung korrigieren: Man muss entweder den gemeinsamen Anwendungsbereich einschränken oder die beiden Mittel als nicht austauschbar behandeln; ;
• Wenn die Akzeptanzgrenzen größer als δ sind, muss die Streuung vor jedem Austausch verringert werden – es gilt, die Wiederholbarkeit des Wertes mit der größten Streuung zu verbessern; ;
• Eine Abweichung im Verlauf der Kampagne macht die Studie selbst ungültig: Sie muss wiederholt werden, nachdem der betreffende Wert stabilisiert wurde; ;
• Ein unentschiedenes Ergebnis ist kein Misserfolg, sondern liegt an einem Mangel an Spielsteinen. Auf dem Bildschirm wird die erforderliche Anzahl angezeigt.

💡 Diese Studie ergänzt den R&R, ersetzt ihn jedoch nicht. Der R&R bewertet ein Mittel absolut, unter Berücksichtigung einer Toleranz oder einer Prozessschwankung. Der Vergleich zweier Messmittel bewertet eine Substitution: Er sagt nicht aus, ob die Messmittel gut sind, sondern ob sie übereinstimmen. Zwei mittelmäßige Messmittel können vollkommen austauschbar sein, während zwei ausgezeichnete Messmittel dies möglicherweise nicht sind.