Bayesianische Optimierung

Das ist eine Umkehrung der Vorgehensweise. Anstatt zunächst einen vollständigen Plan zu erstellen und dann zu modellieren, geht man wechselt : einige Testläufe, ein Modell, die vom Modell ausgewählten nächsten Testläufe, ein besseres Modell und so weiter. In jeder Runde ermittelt die Software die Einstellungen, die den größten Gewinn bringen.

Das Werkzeug ist das Gauß-Prozess : Er sagt die Antwort voraus und seine Ungewissheit an jeder beliebigen Stelle des Bereichs. Gerade diese Ungewissheit ermöglicht es, den nächsten Versuch sinnvoll auszuwählen: Ein Punkt ist interessant, wenn er eine gute Reaktion verspricht – oder wenn man noch keine Ahnung davon hat.

💡 Das ist die moderne Alternative zum simplex, und das Modul berücksichtigt dies: gleiche Anwendungsfälle: kostspielige Verfahren, langwierige Versuche, verrauschte Messungen, doch der Gauß-Prozess nutzt jede die bei jeder Iteration gesammelten Informationen, während der Simplex nur seine letzten Eckpunkte berücksichtigt.

1. Die Studie abrechnen

Das linke Bild, Studienparameter :

Die Schaltfläche Den ersten Plan erstellen erstellt die ersten Entwürfe. Die Faktoren sind dann gesperrt : Man wechselt nicht mitten im Studium das Fachgebiet, ohne wieder ganz von vorne anzufangen – genau dafür ist es da Studie zurücksetzen. Die Sitzung wird exportiert in JSON.

Die Strategie Regel zur Unterscheidung zwischen „exploiter“ und „explorer“:

• Vorsichtig = bleibt in der Nähe der bereits bewährten Bereiche und geht nur wenige Risiken ein. Ideal, wenn Tests teuer sind
• Ausgewogen = ein Kompromiss zwischen der Nutzung vielversprechender Bereiche und der Erforschung des Unbekannten. Die richtige Standardwahl
• Explorativ = Testet auch unklare Bereiche, um das Fachgebiet besser zu verstehen. Nützlich zu Beginn des Studiums.

Der zu erwartende Lärm begrenzt den Bereich, den das Modell abschätzen darf:

• Niedrig = präzise Messungen, stabiles Verfahren: Das Modell führt eine feine Interpolation durch (Rauschen ≤ ~5 % der Varianz); ;
• Mittel = Allgemeiner Fall, Lärmbegrenzung auf ~25 %; ;
• Hoch = stark schwankende Messwerte oder Verfahren: Das Modell führt keine Interpolation durch Rauschbereiche hindurch durch (bis zu ~60 %).

Die Qualität der Forschung erweitert den Kreis der bei jedem Vorschlag geprüften Kandidaten. Vertiefung wird ab 6 Faktoren empfohlen; die Berechnung dauert dann länger.

⚠️ Der zu erwartender Lärm ist die Einstellung, die die Ergebnisse am stärksten beeinflusst, und sie wird im Verlauf der Untersuchung neu bewertet. Wenn ein Prozess als stabil deklariert wird, obwohl er es nicht ist, führt dies dazu, dass das Modell jede Messschwankung als tatsächlichen Effekt interpretiert und die folgenden Versuche auf falsche Fährten führt. Wenn in der Diagnose die Warnung «hohes Rauschen» erscheint, muss man darauf zurückkommen.

2. Der Versuchsplan

Das ist die Arbeitsregisterkarte. Eine Tabelle, eine Zeile pro Versuch:

Das Modell lässt sich anpassen ab 4 gemessenen Versuchen. Darunter ist die Schaltfläche „Vorschlag“ deaktiviert, was dort auch erklärt wird. Sie bleibt außerdem deaktiviert, solange vorgeschlagene Versuche noch auf ihr Ergebnis warten: Es wird kein neuer Stapel vorgeschlagen, ohne dass der vorherige ausgewertet wurde.

Die Schaltfläche Vorschlagen n nächste Versuche startet die Berechnung. Im Demo-Modus, Die Ergebnisse der noch ausstehenden Tests simulieren trägt die Antworten ein.

Die Vorschläge lesen = Jeder angebotene Test ist mit einem Etikett und einem erwarteter Gewinn :

💡 Dass zwei sehr ähnliche Vorschläge gemacht wurden, ist kein Fehler. Das Modul weist ausdrücklich darauf hin: Das Modell konzentriert sich auf einen als vielversprechend eingestuften Bereich, um die Messung zu bestätigen und das Signal vom Rauschen zu trennen. Dies ist das erwartete Verhalten bei einem verrauschten Prozess, und es wäre ein Fehler, diese Duplikate manuell zu «korrigieren».

Wenn der erwartete Nutzen der nächsten Versuche sehr gering wird, erscheint eine Meldung, die besagt, dass Eine Annäherung ist wahrscheinlich: Man kann die Untersuchung abbrechen oder fortsetzen, um die Ergebnisse zu bestätigen.

3. Die Registerkarten zum Lesen

💡 Die Anzeige des’Unsicherheit Die Punktkarte ist das beste Entscheidungsinstrument des gesamten Moduls: Sie zeigt, wo das Modell keine Informationen liefert. Ein roter Unsicherheitsbereich am Rand des Bereichs erklärt schon für sich allein, warum die Vorschläge dorthin führen.

3.1 Registerkarte „Konvergenz“:

3.2 Registerkarte „Fläche“:

Die schwarzen Punkte sind die bereits durchgeführten Versuche, die braunen Punkte sind die vorgeschlagenen Punkte

4. Diagnose: Kann ich dem Modell vertrauen?

Das ist die Frage, die die Registerkarte wörtlich stellt, und sie beantwortet sie mit einer Leave-One-Out-Kreuzvalidierung : Jeder Versuch wird vorhergesagt als ob es nicht stattgefunden hätte. Auf diese Weise wird die tatsächliche Generalisierungsfähigkeit getestet und nicht die Fähigkeit des Modells, seine eigenen Punkte erneut zu durchlaufen.

Ein Gesamturteil:

• Insgesamt zuverlässiges Modell, 
• Ein Modell, das mit Vorsicht anzuwenden ist, 
• Ein noch wenig zuverlässiges Modell

Dann vier Indikatoren:

Zwei Grafiken ergänzen dies: beobachtet vs. vorhergesagt und tatsächliche Werte vs. vorhergesagte Werte mit einem 95-Prozent-Intervall (%), wobei jeder Punkt als „richtig“ oder „falsch“ vorhersagt gekennzeichnet ist.

⚠️ Die Umschlag ist der wichtigste und zugleich am wenigsten beachtete Indikator. Unterhalb von 95 % gilt das Modell unterschätzt seine eigene Unsicherheit : Die Intervalle sind zu eng, daher sind die Aussagen zu sicher. Das Modul empfiehlt daher, den erwarteten Rauschpegel zu erhöhen oder weitere Versuche hinzuzufügen.

⚠️ Bei sehr wenigen Versuchen ist die „Leave-One-Out“-Validierung selbst wenig robust – das Modul weist darauf hin. Dies sollte nach einigen Iterationen neu bewertet werden, anstatt es bereits beim dritten Versuch wörtlich zu nehmen.

5. Faktoren und Modell

Auf dieser Registerkarte wird das Modell selbst angezeigt: Matérn-Kern 5/2, anisotrop, marginale Log-Likelihood und die’geschätzte Standardabweichung des Rauschens, die Mess- und Prozessschwankungen, die das Modell berücksichtigt.

Er zeigt vor allem die Richtwert für die Empfindlichkeit des Modells (ARD) : Ein Faktor mit kurzer Korrelationslänge ist ein Faktor, der aus Sicht des Modells zu starken Schwankungen der Antwort führt.

⚠️ Das Modul macht dies deutlich, und es muss noch einmal betont werden: Diese Empfindlichkeit ist eine Auswertung des Modells, kein Signifikanztest und keine Varianzanalyse. Sie zeigt Ansatzpunkte auf; eine spezielle statistische Analyse bestätigt diese.

Je nach Status der Untersuchung werden Warnmeldungen angezeigt: zu wenige Iterationen im Verhältnis zur Anzahl der zu schätzenden Hyperparameter, hohes oder auffälliges geschätztes Rauschen, Korrelationslänge eines Faktors im unteren Bereich (Risiko der Überanpassung) oder im oberen Bereich (das Modell erkennt fast keinen Effekt).