Annex-22-Entwurf: Welche Leistungsmetriken brauchen Sie für die KI-Prüfung?

1. Ordnen Sie Entwurfsstatus und Einsatzgrenze ein

Am 7. Oktober 2026 ist Annex 22 weiterhin als Konsultationsentwurf zu behandeln. Die Konsultation endete 2025; daraus entstand keine automatische Inkraftsetzung. Die folgenden Vorschläge dienen der Vorbereitung eines konkreten Humanarzneimittel-GMP-Einsatzes neben den bestehenden anwendbaren Anforderungen.

Der Entwurf richtet sich hier auf statische deterministische Modelle in kritischen GMP-Anwendungen. Seine Liste möglicher Kennzahlen ist kein fertiger Validierungsplan. Zunächst benötigen Sie eine klare Beschreibung dessen, was das Modell entscheiden soll und wo ein Mensch oder anderer Prozessschritt die Entscheidung ergänzt.

Dieser Artikel vertieft die Leistungsbewertung. Die Unabhängigkeit des Testbestands wird separat behandelt, weil eine sauber gerechnete Kennzahl durch bekannte oder ungeeignete Daten dennoch irreführend sein kann.

Quellen: [1] [2] [3] [4]

2. Beschreiben Sie den Fehler vor der Kennzahl

Nehmen Sie eine konkrete Entscheidung: Ein Bild wird als „Defekt“ oder „kein Defekt“ klassifiziert. Ein übersehener Defekt und ein fälschlich beanstandetes Gutteil haben unterschiedliche Folgen. Welcher Fehler für Produktqualität, weitere Bearbeitung und verfügbare Kontrollkapazität relevant ist, muss der Fachbereich erläutern.

Definieren Sie außerdem, was „positiv“ in Ihrer Rechnung bedeutet. Im folgenden Beispiel bedeutet positiv „Defekt erkannt“. Ohne diese Festlegung können Sensitivität und Spezifität korrekt gerechnet, aber fachlich falsch verstanden werden.

Legen Sie fest, welche Referenz den tatsächlichen Zustand bestimmt. Unsichere oder strittige Referenzbewertungen sind eine eigene Qualitätsfrage. Sie sollten nicht still dem Modellergebnis angepasst werden, nur damit die Kennzahl besser aussieht.

Quellen: [1]

3. Wählen Sie ergänzende Metriken statt einer Gesamtquote

Der Entwurf nennt unter anderem Sensitivität, Spezifität, Accuracy, Präzision und F1. Wählen Sie die für Ihre Entscheidung nützlichen Größen und dokumentieren Sie Zähler und Nenner. Die Auswahl sollte erklären, welchen Fehler die jeweilige Kennzahl sichtbar macht.

Die folgende Tabelle verwendet übliche Definitionen für eine binäre Klassifikation. TP bezeichnet richtig erkannte Defekte, FN übersehene Defekte, FP fälschlich beanstandete Gutteile und TN richtig erkannte Gutteile. Die fachliche Eignung dieser Definitionen bleibt für andere Aufgaben gesondert zu prüfen.

Quellen: [1]

4. Ein vollständig gerechnetes illustratives Beispiel

Für ein konstruiertes Beispiel werden 240 unabhängige Prüffälle angenommen: 40 tatsächliche Defekte und 200 Gutteile. Vor dem Lauf gelten ausschließlich für dieses Beispiel zwei Kriterien: Sensitivität mindestens 95 Prozent und Spezifität mindestens 97 Prozent. Ihre fachliche Angemessenheit und statistische Sicherheit werden durch diese Annahme nicht bewiesen.

Das Modell erkennt 38 Defekte und übersieht 2. Es beanstandet außerdem 8 Gutteile; 192 Gutteile werden richtig erkannt. Damit sind 230 von 240 Entscheidungen richtig, also rund 95,83 Prozent. Trotzdem wird eines der zwei angenommenen Kriterien verfehlt.

Die Matrix bewahrt die absoluten Zahlen. Wer nur die Gesamtquote berichtet, verdeckt die unterschiedliche Fehlerwirkung. Auch die Erfüllung eines beobachteten Prozentwertes wäre noch kein Beleg für eine ausreichend sichere Populationsaussage.

Quellen: [1] [4]

5. Lassen Sie relevante Untergruppen sichtbar

Eine gute Gesamtleistung kann eine schwache Untergruppe überdecken. Im konstruierten Fall könnten beispielsweise 30 Defekte einer häufigen und 10 einer seltenen Fehlerart angehören. Werden alle 30 häufigen, aber nur 8 seltene erkannt, bleibt die Gesamtsensitivität 38 von 40 beziehungsweise 95 Prozent; die seltene Gruppe liegt bei 80 Prozent.

Der Entwurf nennt vorab definierte Untergruppen und passende Kriterien. Sie müssen nicht jede denkbare Kombination mit derselben Tiefe prüfen. Begründen Sie, welche Unterschiede für den Einsatz entscheidend sind, etwa Material, Standort, Gerät oder Fehlerart.

Vermeiden Sie nachträgliches Herausgreifen nur gut gelaufener Gruppen. Eine nach dem Test entdeckte Schwäche kann eine neue Hypothese und weitere Untersuchung begründen. Sie sollte nicht durch eine neue Gruppendefinition aus dem Abschlussbericht verschwinden.

Quellen: [1]

6. Trennen Sie Entscheidungsschwelle und Akzeptanzgrenze

Die Entscheidungsschwelle steuert, ab welchem Modellwert ein Fall beanstandet wird. Die Akzeptanzgrenze bestimmt, welche gemessene Leistung für den geplanten Einsatz genügen soll. Das sind unterschiedliche Festlegungen. Wird die Entscheidungsschwelle nach Sichtung des Abschlusstests optimiert, beeinflusst dies die Unabhängigkeit der Leistungsbewertung.

Prüfen Sie auch den Umgang mit nicht entschiedenen oder technisch fehlerhaften Fällen. Diese dürfen nicht still aus dem Nenner verschwinden. Legen Sie vorab fest, wie sie klassifiziert, untersucht und in der Gesamtentscheidung berücksichtigt werden.

Bei einer verfehlten Grenze folgt eine begründete Entscheidung: Ursachen untersuchen, Einsatz eingrenzen, ergänzende Kontrollen bewerten oder Modell überarbeiten. Eine nachträgliche Absenkung der Grenze allein, damit das Ergebnis passt, liefert keinen belastbaren Eignungsnachweis.

Quellen: [1] [4]

7. Vorbereitung für eine aussagekräftige Leistungsprüfung

Fachverantwortliche begründen die Fehlerfolgen und akzeptable Leistung. Datenspezialisten definieren Berechnung und Unsicherheit, QA prüft die Nachvollziehbarkeit der Entscheidung. Die Rollen benötigen dieselben Definitionen; ein rein technischer Kennzahlenexport ersetzt diese Abstimmung nicht.

• Intended Use, Positivklasse und Referenzbewertung festlegen.
• Relevante Fehlerfolgen und Untergruppen benennen.
• Zähler, Nenner und Umgang mit unentschiedenen Fällen definieren.
• Kriterien vor dem entscheidenden Test fachlich begründen.
• Unabhängigkeit, Repräsentativität und Umfang der Testdaten bewerten.
• Absolute Fallzahlen, Einzelbefunde und Rechenweg aufbewahren.
• Verfehlte Kriterien und verbleibende Unsicherheit in der Entscheidung berücksichtigen.

Quellen: [1] [4]

8. Schreiben Sie eine Entscheidung statt einer Kennzahlenliste

Der Abschluss sollte erklären, für welchen Einsatz welche Aussage getragen wird. Nennen Sie die geprüfte Version, die maßgeblichen Kriterien, wesentliche Fehler und Grenzen. Ein Modell kann für einen eingeschränkten Bereich geeignet sein, ohne dass dies den gesamten ursprünglich vorgesehenen Einsatz belegt.

Verknüpfen Sie die Bewertung mit dem späteren Betrieb. Welche Kennzahl wird weiter beobachtet, welche Untergruppe benötigt Aufmerksamkeit und welches Signal löst eine erneute Bewertung aus? Damit werden die Testwerte zum Ausgangspunkt einer kontrollierten Nutzung statt zu einer einmaligen Erfolgszahl.

Quellen: [1] [4]