Bayesi optimalizálás

Ez egy módszertani fordulat. Ahelyett, hogy először egy teljes tervet készítenénk, majd modelleznénk, mi váltakozik : néhány próba, egy modell, a modell által kiválasztott következő próbák, egy jobb modell, és így tovább. Minden körben a szoftver kijelöli azokat a beállításokat, amelyek a legnagyobb eredményt hozzák.

Az eszköz a gauss-eloszlás : előre megmondja a választ és a vele járó bizonytalanság a tartomány bármely pontján. Éppen ez a bizonytalanság teszi lehetővé a következő kísérlet okos kiválasztását: egy pont akkor érdekes, ha jó választ ígér, vagy ha erről semmit sem tudunk.

💡 Ez a modern alternatíva a egyszerű, és a modul ezt figyelembe veszi: ugyanazok a jellemzők: költséges eljárások, hosszú kísérletek, zajos mérések, de a gauss-eloszlású folyamat kihasználja minden az egyes iterációk során felhalmozódott információ, míg a szimplex csak a legutóbbi csúcsait veszi figyelembe.

1. A tanulmány kidolgozása

A bal oldali tábla, A vizsgálat paraméterei :

A gomb A kezdeti terv létrehozása elkészíti az első próbákat. A tényezők ezután lezárva : a tanulmányozott területet nem lehet megváltoztatni anélkül, hogy elölről kezdenénk – erre szolgál A vizsgálat visszaállítása. Az ülés exportálható JSON.

A stratégia meghatározza az „exploit” és „explore” közötti különbséget:

• Óvatos = a már jól teljesítő területek közelében marad, kevés kockázatot vállal. Ideális megoldás, ha a kísérletek drágák
• Kiegyensúlyozott = egyensúly a ígéretes területek kiaknázása és a bizonytalan területek feltárása között. Az alapértelmezett helyes választás
• Feltáró jellegű = a bizonytalan területeket is vizsgálja, hogy jobban megértsük a témakört. Hasznos a tanulmányozás kezdetén.

A várható zaj meghatározza azt a zajtartományt, amelyet a modell becsülni tud:

• Alacsony = pontos mérések, stabil eljárás: a modell finom interpolációt végez (zaj ≤ ~5 % a varianciából); ;
• Közepes = általános eset, a zajszint felső határa ~25 %; ;
• Magas = nagyon változó mérési eredmények vagy eljárások: a modell nem végez interpolációt a zajon keresztül (akár ~60 %-ig).

A kutatás minősége bővíti az egyes javaslatok esetében vizsgált jelöltek körét. Részletes 6 tényező felett ajánlott; ilyenkor a számítás hosszabb ideig tart.

⚠️ A várható zaj ez az a beállítás, amely a leginkább befolyásolja az eredményeket, és a vizsgálat során újraértékelésre kerül. Ha egy folyamatot stabilnak nyilvánítunk, miközben valójában nem az, a modell minden mérési ingadozást valós hatásnak tekint, és a következő kísérleteket téves irányba tereli. Ha a diagnosztikában megjelenik a «magas zajszint» figyelmeztetés, akkor vissza kell térni a beállításokhoz.

2. A kísérleti terv

Ez a munkalap. Egy táblázat, egy sor minden egyes kísérlethez:

A modell alkalmazkodik legalább 4 mért kísérlet alapján. Alatta a javaslat gomb le van tiltva, és ezt magyarázza is. Addig is le van tiltva, amíg a javasolt kísérletek eredményére várunk: nem javasolunk új tételt anélkül, hogy az előzőt feldolgoztuk volna.

A gomb Javasolni a n következő kísérletek elindítja a számítást. Demó módban, A függőben lévő vizsgálati eredmények szimulálása kitölti a válaszokat.

A javaslatok elolvasása = minden felkínált próba címkével és egy várható nyereség :

💡 Az, hogy két nagyon hasonló változatot javasoltak, nem jelenti azt, hogy hiba lenne. A modul ezt kifejezetten jelzi: a modell a mérést megerősítés és a jel és a zaj elválasztása érdekében a potenciálisan ígéretesnek ítélt területre összpontosítja az erőfeszítéseket. Ez a várt viselkedés egy zajos folyamat esetében, és hiba lenne ezeket az ismétlődéseket kézzel «kijavítani».

Amikor a következő kísérletekből várható nyereség nagyon alacsonyra csökken, egy felirat jelzi, hogy valószínű a konvergencia: a vizsgálatot le lehet állítani, vagy folytathatjuk annak megerősítése érdekében.

3. Az olvasási lapok

💡 A kijelző’bizonytalanság A ponttérkép az egész modul legjobb döntéshozatali eszköze: megmutatja, hol nincs információja a modellnek. A terület szélén található piros bizonytalansági zóna önmagában is megmagyarázza, miért térnek el ott a javaslatok.

3.1 „Konvergencia” fül:

3.2 „Felület” fül:

A fekete pontok a megvalósult próbák helyszínei, a barna pontok pedig a javasolt helyszínek

4. Diagnózis: bízhatok-e a modellben?

Ezt a kérdést teszi fel szó szerint a fül, és erre a következő válasszal szolgál: „leave-one-out” keresztellenőrzés : minden kísérlet eredményét előre meghatározzák mintha nem valósult volna meg. Így a tényleges általánosítási képességet teszteljük, és nem azt, hogy a modell képes-e újra végigmenni a saját pontjain.

Összességében a következtetés:

• Összességében megbízható modell, 
• Óvatosan alkalmazandó modell, 
• Még mindig nem túl megbízható modell

Majd négy mutató:

Két ábra egészíti ki: megfigyelt vs. előre jelzett és tényleges értékek vs. előrejelzések a 95%-os konfidencia-intervallummal (%), ahol minden pontot „jól előrejelzett” vagy „rosszul előrejelzett” kategóriába soroltak.

⚠️ A borító ez a legfontosabb, és egyben a legkevésbé figyelembe vett mutató. 95 % alatt a modell alábecsüli saját bizonytalanságát : az intervallumai túl szűkek, ezért a javaslatai túl magabiztosak. A modul ezért azt javasolja, hogy növeljék a várható zajszintet, vagy végezzenek további kísérleteket.

⚠️ Nagyon kevés próbafutás esetén a „leave-one-out” validáció maga is kevéssé robusztus — a modul ezt jelzi is. Ezt inkább néhány iteráció után érdemes újraértékelni, mintsem a harmadik próbafutásnál szó szerint venni.

5. Tényezők és modell

A lap a modellt magát mutatja be: Matérn 5/2 anizotróp mag, marginális log-valószínűség, és az’a becsült zaj szórása, a mérési és eljárási eltéréseket, amelyeket a modell figyelembe vesz.

Elsősorban a a modell becsült érzékenysége (ARD) : Az a tényező, amelynek korrelációs hossza rövid, olyan tényező, amely a modell szempontjából jelentősen befolyásolja a válaszértéket.

⚠️ A modul egyértelműen kifejti ezt, és érdemes megismételni: ez az érzékenység a modell értelmezése, nem pedig szignifikanciateszt vagy varianciaanalízis. Meghatározza a lehetséges irányokat; ezeket egy erre a célra kidolgozott statisztikai elemzés is alátámasztja.

A vizsgálat állapotától függően figyelmeztetések jelennek meg: túl kevés próba a becsülendő hiperparaméterek számához képest, magas vagy jelentős becsült zajszint, valamint a korreláció hossza, amely vagy túl rövid (túlillesztés kockázata), vagy túl hosszú (a modell szinte semmilyen hatást nem észlel).