Versuchspläne: Smart Design und bayessche Optimierung – was sich für die Industrie wirklich ändert

Seit Jahrzehnten wird in den Kursen zur Wirtschaftsstatistik immer wieder dasselbe gesagt: In Versuchspläne, alles wurde zwischen den Arbeiten von Fisher (1926, dann Versuchsplanung (1935) und in den 1950er Jahren. Die Theorie galt als abgeschlossen.

Das stimmt nicht mehr. Bei einem kürzlich gehaltenen Vortrag, Maurice Pillet, Mitbegründer von Ellistat und führende französische Autorität in Sachen Qualität und Six Sigma, stellte zwei Ansätze vor, die die Art und Weise, wie Versuche in Unternehmen durchgeführt werden, konkret verändern: die Smart Designs und das’Bayesianische Optimierung. Das sind die wichtigsten Punkte.

Die Grenzen klassischer Versuchspläne

Die Versuchspläne Traditionelle Ansätze haben sich als äußerst nützlich erwiesen. Sie beruhen jedoch auf Annahmen, die oft vergessen werden.

Die Linearitätsannahme

Ein zweistufiges Versuchsdesign (ein Minimalwert, ein Maximalwert) setzt voraus, dass die Antwort zwischen den beiden Grenzwerten linear variiert. Dies trifft lokal zu, so wie die Erde flach erscheint, wenn man auf seine Füße schaut. Sobald sich der Untersuchungsbereich erweitert oder das Phänomen nichtlinear ist, wird das Modell irreführend. Man muss auf Modelle mit mehr Stufen zurückgreifen, was zu Versuchsplänen mit einer oft unzumutbar hohen Anzahl von Versuchen führt.  

Die Auswahl der Klemmen

Zweite Schwierigkeit: Wenn der Minimal- und der Maximalwert falsch gewählt wurden, kann das Optimum außerhalb des untersuchten Bereichs liegen. Die Ebene liefert dann zwar eine Lösung … aber an der falschen Stelle.

Die Screening-Pläne und das Problem der Aliase

Bei vielen Faktoren (zum Beispiel sechs) werden üblicherweise Screening-Designs verwendet: die zweistufige L12-Tabelle oder die L18-Tabelle für drei Stufen. Ihr größter Nachteil: Die Effekte der Faktoren vermischen sich teilweise (Aliasing) mit den Wechselwirkungen. Es ist daher unmöglich, eindeutig festzustellen, ob der beobachtete Effekt vom Faktor selbst oder von einer Wechselwirkung zwischen zwei Faktoren stammt.

Smart Design: Die wichtigsten Effekte, die Krümmung und die Wechselwirkungen mit wenigen Versuchen erzielen

Ein Lastenheft, das lange Zeit nicht realisierbar war

Was die Industrieunternehmen in Wirklichkeit wollen, ist eigentlich alles zugleich:

• die wichtigsten Auswirkungen eindeutig zu kennen; ;
• eine mögliche Nichtlinearität zu erkennen; ;
• die wesentlichen Wechselwirkungen zu identifizieren; ;
• zweistufige qualitative Faktoren und dreistufige quantitative Faktoren miteinander kombinieren; ;
• so wenig Versuche wie möglich durchführen.

Bis vor kurzem gab es bei sechs Faktoren nur zwei Möglichkeiten: den (unrealistischen) vollständigen Versuchsplan oder einen Versuchsplan auf der Antwortfläche mit mindestens 54 Versuchen. Das vollständige Modell (Haupteffekte, quadratische Terme, Wechselwirkungen) umfasst jedoch 28 Koeffizienten, von denen die meisten in der Praxis null sind. Das Problem: Man weiß im Voraus nicht, welche das sind.

Was sich durch das Smart Design ändert

Jüngste wissenschaftliche Veröffentlichungen von Núñez et al. (2020) (2023) haben es ermöglicht, eine neue Familie von Plänen zu entwickeln. Ihre wichtigste Eigenschaft: Die Haupteffekte korrelieren weder mit den quadratischen Termen noch mit den Wechselwirkungen. Sie sind sich Ihrer Haupteffekte sicher, und die verbleibenden Korrelationen sind gering genug, um die Effekte zweiter Ordnung zu schätzen.

In dem von Maurice Pillet vorgestellten Beispiel (ein Katalysator mit zwei Stufen, fünf weitere Faktoren mit drei Stufen), Ein Versuchsplan mit 18 Versuchen reicht aus wo 54 nötig waren.

Wie wird das analysiert?

Anstelle einer klassischen schrittweisen Auswahl (die bei weniger Versuchen als Koeffizienten unmöglich ist) basiert die Analyse auf der Suche nach dem beste Teilmenge von Begriffen : Die Software testet alle möglichen Kombinationen und wählt das treffendste Modell aus. Das Ergebnis spiegelt die tatsächliche Struktur des Phänomens wider, manchmal mit einem überflüssigen Term von geringer Auswirkung, der jedoch keine praktischen Konsequenzen für die Schlussfolgerungen hat.

Um das Tool für den täglichen Gebrauch einsatzfähig zu machen, wurden mehr als 2.000 Anordnungen vorab berechnet und in die Ellistat-Software integriert. Der Benutzer gibt seine Faktoren ein, woraufhin die Software ihm die verfügbaren Anordnungen mit den entsprechenden Qualitätskriterien vorschlägt.

Maurice Pillet bringt es auf den Punkt: In Unternehmen realisiert er fast ausschließlich noch Smart Designs.

Bayesianische Optimierung: Den Betriebsbereich finden, wenn man nicht weiß, wo man suchen soll

Ein typisches Beispiel: das Laserschweißen

Manche Verfahren «hinken»: Eine Einstellung funktioniert, man ändert einen Parameter, und schon läuft nichts mehr rund. Maurice Pillet nennt das Beispiel eines Teils, das von zwei Lieferanten per Laser geschweißt wurde – jeder mit völlig unterschiedlichen Einstellungen –, wobei bei keinem der beiden die Ergebnisse wirklich zufriedenstellend waren. Wahrscheinlich gibt es einen Bereich, in dem das Verfahren einwandfrei funktioniert. Aber wo?

In diesem Fall ist ein klassischer Versuchsplan, der die verschiedenen Aspekte eines bereits abgegrenzten Bereichs untersucht, nicht geeignet.

Quadrieren? Keine gute Idee

Der natürliche Reflex ist es, den Raum in ein Raster zu unterteilen: 4 × 4 = 16 Versuche. Das Problem dabei ist, dass jeder Wert jedes Faktors viermal getestet wird und ein kleiner günstiger Bereich dabei durch die Maschen schlüpfen kann.

Die Füllpläne (raumfüllende Versuchspläne) verteilen die Versuche gleichmäßig, wobei jeder Versuch einen anderen Wert jedes Faktors testet. Bei gleicher Anzahl von Versuchen steigt die Wahrscheinlichkeit, den richtigen Bereich zu «treffen», deutlich an. Um jedoch nichts zu übersehen, wäre man versucht, auf 100 Versuche zu erhöhen … von denen die große Mehrheit jedoch nutzlos wäre.

Der sequenzielle Ansatz: Gaußsche Prozesse + bayessche Optimierung

Die bayessche Optimierung kombiniert zwei mathematische Werkzeuge:

• Gaußsche Prozesse, die die Antwort und vor allem die Unsicherheit an jedem Punkt des Bereichs modellieren. Im Gegensatz zu polynomischen Modellen variiert diese Unsicherheit von Ort zu Ort.
• Die Bayes’sche Optimierung, der die nächsten Versuche auswählt, indem er zwischen zwei Ansätzen abwägt: vielversprechende Bereiche zu nutzen und noch wenig erforschte Bereiche zu erkunden, in denen die Ungewissheit auf ein besseres Ergebnis hoffen lässt.

Der Ablauf erfolgt schrittweise: Zunächst werden etwa zehn Startversuche im Füllplan durchgeführt, dann schlägt die Software die nächsten Versuche vor und erklärt, warum. Man führt sie durch, beobachtet die Konvergenz und hört auf, wenn der optimale Bereich ausreichend dokumentiert ist. Eine Vorgehensweise, die der Intuition der Techniker viel näher kommt als das Prinzip «Ich erstelle erst einmal die gesamte Füllung und analysiere sie dann».

Um sich mit der Methode vertraut zu machen, verfügt die Ellistat-Software über einen Demo-Modus, der einen Prozess mit drei Einflussgrößen (Temperatur, Druck, Zykluszeit) simuliert.

Smart Design oder Bayes’sche Optimierung: Wann ist was angebracht?

Die beiden Ansätze stehen nicht im Widerspruch zueinander, sondern sind auf unterschiedliche Situationen zugeschnitten:

• Smart Design : Sie kennen den Betriebsbereich in etwa und möchten ihn detailliert modellieren. Maximal drei Stufen, wenige Einstellungsänderungen – ideal, wenn die Anpassung eines Faktors mit hohen Kosten verbunden ist.
• Bayesianische Optimierung : Sie kennen den Prozess noch nicht gut und müssen herausfinden, wo er funktioniert. Man muss bereit sein, die Einstellungen oft zu ändern – das ist die Voraussetzung dafür, Neues zu entdecken.

In beiden Fällen ist das Ziel dasselbe: immer komplexere industrielle Probleme zu lösen, ohne die Anzahl der Versuche zu erhöhen.

Fortgeschrittene Mathematik, die für den Benutzer unsichtbar ist

Hinter diesen Methoden verbergen sich anspruchsvolle mathematische Werkzeuge. Ellistat hat es sich zum Ziel gesetzt, diese transparent zu machen. Wie Maurice Pillet zusammenfasst, ist das Tool nicht für Statistiker, sondern für Techniker konzipiert.

Schlussfolgerung

Die Versuchspläne haben noch nicht das letzte Wort gesprochen. Mit den Smart Designs lässt sich in 18 Versuchen das erreichen, wofür zuvor 54 Versuche erforderlich waren, und zwar ohne Unklarheiten hinsichtlich der Haupteffekte. Die bayessche Optimierung ebnet den Weg für Verfahren, die bisher nur durch Ausprobieren eingestellt wurden. Für die Teams in den Bereichen Verfahrenstechnik, Qualität und Prozessforschung und -entwicklung bedeutet dies weniger Versuche, einen geringeren Materialverbrauch und robustere Einstellungen.

FAQ

• Was versteht man unter einem „Smart Design“ bei einem Versuchsplan? Es handelt sich um eine Gruppe neuer Versuchspläne, mit denen sich die Haupteffekte abschätzen lassen, ohne sie mit Wechselwirkungen oder quadratischen Effekten zu verwechseln, während diese Effekte zweiter Ordnung bereits mit sehr wenigen Versuchen nachgewiesen werden können.
• Was ist der Unterschied zwischen einem Screening-Plan und einem Smart Design? Ein klassischer Screening-Plan (L12, L18) vermischt teilweise die Effekte der Faktoren mit den Wechselwirkungen. Das Smart Design beseitigt diese Unklarheit hinsichtlich der Haupteffekte und lässt gemischte Faktoren mit zwei und drei Niveaus zu.

• Wann sollte man die bayessche Optimierung anstelle eines klassischen Versuchsplans verwenden? Wenn man nicht weiß, wo sich der Betriebsbereich eines Prozesses befindet, und diesen erst erkunden muss. Ist der Bereich bereits ungefähr bekannt, ist ein Smart Design besser geeignet.

• Muss man Statistiker sein, um diese Methoden anzuwenden? Nein. In der Ellistat-Software sind die Berechnungen verborgen: Der Benutzer gibt seine Parameter ein, führt die vorgeschlagenen Versuche durch und liest die Ergebnisse ab.