Wenn die Prüfung aus einer Bewertung besteht: OK/KO, Vorliegen eines Mangels, Aussehen, gibt es keine Messwerte, die aufgeschlüsselt werden müssten. In diesem Fall wird die Übereinstimmung unter den Prüfern sowie gegenüber einem Standard von einem Sachverständigen erstellt.
Jeder Prüfer bewertet jedes Teil mehrmals. Die Eingabe erfolgt per Mausklick: Klick für OK, Strg+Klick für KO.
Die Indikatoren:
- Wiederholbarkeit : Beurteilt sich ein Prüfer von einer Prüfung zur nächsten selbst auf dieselbe Weise?
- Rahmenvereinbarung / Gesamtübereinstimmung : Sind sich alle Fluglotsen und die Zentrale einig?
- Kappa : die um den Zufall bereinigte Übereinstimmung. Zwei Prüfer, die alles für konform erklären, stimmen zu 100 % überein, ohne etwas zu prüfen; der Kappa-Koeffizient hingegen lässt sich nicht täuschen. Der festgelegte Schwellenwert beträgt 0,75.
- Kappa unter allen Steuergeräten und Kappa im Vergleich zum Standard : Der erste gibt an, ob sie untereinander konsistent sind, der zweite, ob sie richtig liegen. Sehr konsistente, aber durchweg falsche Prüfer ergeben untereinander einen ausgezeichneten Kappa-Wert und einen schlechten Kappa-Wert im Vergleich zum Standard.
- Wirksamkeit, Fehlerquote, Falschalarmquote : jeweils der Anteil der korrekten Urteile, der übersehenen Mängel und der zu Unrecht zurückgewiesenen Teile.
- Strenger / weniger streng : die Ausrichtung jedes Prüfers. Ein durchweg strengerer Prüfer verursacht unnötigen Ausschuss; ein nachsichtigerer lässt Fehler durch.
- Die Zusammenfassung nach Betreiber geprüfte und sortierte Spenden sowie prozentualer Anteil, nach Prüfer aufgeschlüsselt.
💡 Die Unterscheidung zwischen diesen beiden Fehlern ist wirtschaftlich von Bedeutung: Ein Fehlalarm kostet ein einwandfreies Teil, ein Fehler kostet einen Kunden. Sie haben nicht denselben Preis, und dies muss bei der Festlegung des Prüfkriteriums berücksichtigt werden.