Inhaltsverzeichnis
Das Wichtigste vorab
Reicht Human-in-the-loop aus, um KI im GxP-Prozess abzusichern?
Ein menschlicher Review ist nur dann eine tragfähige Kontrolle, wenn der Reviewer die relevanten Fehler erkennen, Ergebnisse korrigieren und eine ungeeignete Nutzung verhindern kann. Dafür braucht er Kompetenz, Zeit und geeignete Vergleichsinformationen. Eine zusätzliche Unterschrift oder ein Bestätigungsklick belegt diese Wirksamkeit noch nicht.
Einordnung und Geltungsbereich
Die folgenden Prüffragen sind eine praktische Methode zur Bewertung menschlicher Kontrollen. Aussagen zum Annex 22 beziehen sich ausdrücklich auf den Konsultationsentwurf 2025; sie ersetzen keine Bewertung des geltenden Rahmens und des konkreten Anwendungsfalls.
Kann der Reviewer das Ergebnis auch begründet ablehnen?
Stellen Sie unabhängige Vergleichsgrundlagen bereit. Wer ausschließlich dieselbe KI nach der Richtigkeit ihrer ersten Antwort fragt, gewinnt noch keinen unabhängigen Nachweis. Freigegebene Originalinformationen und nachvollziehbare Prozesskriterien sind für die Prüfung wesentlich.
Erproben Sie die Kontrolle mit bekannten Fehlern und realistischem Arbeitsumfang. Wenn ein Reviewer hundert lange Ausgaben unter Zeitdruck freigeben soll, kann die vorgesehene Kontrolle praktisch versagen. Die zulässige Nutzung muss zu der tatsächlich erreichbaren Prüfung passen.
Die Kontrolle als konkrete menschliche Aufgabe beschreiben
Human Review ist nur dann eine tragfähige Kontrolle, wenn die Person die relevanten Fehler erkennen und eine ungeeignete Nutzung verhindern kann. Beschreiben Sie deshalb, was geprüft wird, welche Vergleichsgrundlage verfügbar ist und welche Entscheidung der Reviewer treffen darf. Eine zusätzliche Unterschrift ohne diese Voraussetzungen ist kein ausreichender Wirksamkeitsnachweis.
Der Annex-22-Konsultationsentwurf 2025 behandelt menschliche Beteiligung unter anderem in der Beschreibung des vorgesehenen Einsatzes und im laufenden Review. Seine Aussagen bleiben ausdrücklich Entwurfspositionen. Die folgenden Übungen sind eigene methodische Vorschläge zur Bewertung der Kontrolle, keine universell vorgeschriebenen Tests.
Unterscheiden Sie die fachliche Verantwortung vom technischen Modellbetrieb. Ein Reviewer kann eine Ausgabe beurteilen, ohne Trainingsdaten oder Infrastruktur selbst zu verwalten. Er benötigt jedoch Informationen über relevante Grenzen. Ein Modellbetreiber kann Kennzahlen erklären, ersetzt aber nicht automatisch die Qualitätsentscheidung des Fachbereichs.
Eine Reviewmatrix mit erkennbaren Fehlern und Konsequenzen erstellen
Leiten Sie Fehlerfälle aus der Aufgabe ab. Eine Textzusammenfassung kann eine Einschränkung auslassen. Eine Klassifikation kann einen kritischen Fall als normal einordnen. Eine Zahlenausgabe kann eine falsche Einheit besitzen. Für jeden Fall wird beschrieben, wodurch die Person den Fehler erkennen kann und was anschließend geschieht.
Bewerten Sie Arbeitslast und Informationsdarstellung. Eine vollständige Quelle kann vorhanden, aber unter Zeitdruck praktisch nicht nutzbar sein. Ein übersichtlicher Vergleich kann helfen, darf aber keine relevanten Informationen ausblenden. Die Erprobung sollte die tatsächlichen Bedingungen berücksichtigen, nicht nur eine idealisierte Einzelprüfung.
| Fehlerart | Benötigte Vergleichsgrundlage | Erwartete Handlung |
|---|---|---|
| Falscher Fakt | Geeignete Originalquelle | Korrigieren oder Ausgabe verwerfen |
| Ausgelassene Ausnahme | Vollständiger relevanter Kontext | Fehlende Einschränkung erkennen |
| Falsche Einheit | Fachregel und Eingangsdaten | Keine ungeprüfte Weiterverwendung |
| Unsichere Klassifikation | Definierte Kriterien und Eskalation | Grenzfall angemessen weitergeben |
| Nicht belegte Quelle | Zugriff auf tatsächlichen Originalbeleg | Behauptung nicht als bestätigt übernehmen |
Beispiel: bekannte Fehler unter realistischem Arbeitsumfang
Das Szenario ist konstruiert. Ein Reviewer erhält zehn kurze Ausgaben, darunter zwei bekannte fachliche Fehler und eine ausgelassene Einschränkung. Die Übung soll nicht eine universelle Erfolgsquote belegen. Sie zeigt, ob die vorgesehenen Informationen und Befugnisse grundsätzlich zur Aufgabe passen.
Legen Sie Sollbefunde und erwartete Handlungen vorab fest. Der Reviewer prüft die Ausgaben mit den im Betrieb vorgesehenen Quellen und Zeitbedingungen. Dokumentieren Sie erkannte und übersehene Fälle sowie benötigte Rückfragen. Eine Erklärung nach Ende der Übung ist Lernunterstützung, ersetzt aber nicht das beobachtete Ergebnis.
Wiederholen Sie passende Fälle nach Verbesserung von Darstellung, Kriterien oder Schulung. Prüfen Sie außerdem, ob ein korrekt wirkender Normalfall unnötig abgelehnt wird. Die Kontrolle soll nicht nur möglichst viel stoppen, sondern die vorgesehenen Entscheidungen angemessen unterstützen. Umfang und Bewertung richten sich nach Kritikalität und Aufgabe.
| Übungsfall | Eingebrachter Zustand | Erwartete Kontrolle |
|---|---|---|
| Normalfall | Fachlich richtige Ausgabe | Begründete Annahme im erlaubten Umfang |
| Falscher Fakt | Plausible, aber falsche Aussage | Gegen Originalquelle erkannt |
| Auslassung | Kritische Ausnahme fehlt | Vollständiger Kontext wird herangezogen |
| Unsicherheit | Nicht eindeutig bewertbarer Fall | Geregelte Eskalation statt geratenem Klick |
| Arbeitslast | Realistischer Stapel von Ausgaben | Kontrolle bleibt praktisch ausführbar |
Unabhängige Grundlagen und Ablehnungsbefugnis bereitstellen
Eine zweite Antwort desselben Modells ist keine unabhängige Originalquelle. Sie kann denselben Fehler wiederholen oder überzeugend bestätigen. Stellen Sie geeignete freigegebene Informationen und nachvollziehbare fachliche Kriterien bereit. Der Reviewer sollte wissen, welche Quelle bei Widerspruch maßgeblich ist.
Die Person muss eine Ausgabe zurückweisen oder die Nutzung unterbrechen können. Ein Prozess, der nur „Bestätigen“ als praktikablen Weg vorsieht, kann die Kontrolle entwerten. Beschreiben Sie Korrektur, Eskalation und den Umgang mit offenen Fragen. Benötigte Zeit und verfügbare Vertretung gehören ebenfalls zur Bewertung.
Vermeiden Sie eine bloße Automationsgläubigkeit. Eine hohe bisherige Modellleistung macht den aktuellen Einzelfall nicht automatisch richtig. Umgekehrt sollte ein Reviewer eine Ausgabe nicht allein aus Misstrauen ohne fachliche Grundlage ablehnen. Die Entscheidung braucht konkrete Kriterien und geeignete Evidenz.
Reviewnachweis und Modellleistung auseinanderhalten
Ein unterschriebener Review zeigt eine dokumentierte Handlung, aber nicht automatisch deren Qualität. Geeignete Beobachtungen, bekannte Fehlerfälle und spätere Befunde können die Wirksamkeit beurteilen helfen. Verwenden Sie keine unbegründete Prozentvorgabe als universelle Freigabegrenze. Kritische Fehlerarten können unterschiedliche Bedeutung besitzen.
Ein Mensch im Prozess hebt die Bewertung des Modells nicht pauschal auf. Der Entwurf behandelt menschliche Kontrolle gerade im Zusammenhang mit begrenztem Testaufwand und abhängig von Kritikalität. Wie stark eine Kontrolle trägt, muss im konkreten System nachgewiesen werden. Eine formale Beteiligung ist dafür zu wenig.
Dokumentieren Sie betrachteten Umfang, Modellbezug, Eingabe und Entscheidung, soweit dies für den Prozess benötigt wird. Ein pauschaler Tagesvermerk ohne Bezug zu den tatsächlich bewerteten Ausgaben kann schwach sein. Die Form soll nachvollziehbare Nutzung ermöglichen, ohne unnötige doppelte Aufzeichnungen zu erzeugen.
Änderungen und schleichende Nutzungsausweitung erkennen
Ein Modellwechsel, eine neue Eingabequelle oder eine andere Aufgabe kann die Kontrolle verändern. Prüfen Sie, ob vorhandene Vergleichsgrundlagen und Kompetenzen weiterhin ausreichen. Ein Reviewer, der sprachliche Formulierungen beurteilt, ist nicht automatisch für eine neue analytische Klassifikation qualifiziert.
Beobachten Sie tatsächliche Nutzung. Ein ursprünglich unterstützender Entwurf kann später direkt übernommen werden. Diese Verschiebung verändert das Risikobild, auch wenn die Software gleich bleibt. Benennen Sie erlaubte Aufgaben und einen Weg für neue Anwendungsfälle. Die Grenze sollte im Alltag verständlich sein.
Erhalten Sie geeignete Referenzfälle für Auffrischung und Änderungen. Sie sollten typische kritische Fehler abbilden und bei neuen Erkenntnissen angepasst werden. Ziel ist eine wirksame menschliche Aufgabe innerhalb eines klaren Einsatzes, kein symbolischer Bestätigungsschritt hinter jeder KI-Ausgabe.
Arbeitsvorlage: menschliche Kontrolle unter realistischen Bedingungen beurteilen
Beschreiben Sie eine konkrete Revieweraufgabe mit verfügbarer Quelle, Zeit und Entscheidungsmöglichkeit. Im Beispiel wird eine Zusammenfassung gegen einen Originalbericht geprüft. Der Test enthält bekannte richtige Aussagen, eine falsche Zahl und eine ausgelassene Einschränkung. Erwartete Befunde werden unabhängig vorbereitet.
Beobachten Sie nicht nur Treffer, sondern auch den Weg zur Entscheidung. Kann der Reviewer relevante Originalstellen finden? Erkennt er Unsicherheit? Darf er die Nutzung tatsächlich stoppen? Eine Kontrolle kann theoretisch richtig beschrieben sein und wegen fehlender Zeit oder ungeeigneter Darstellung praktisch versagen.
Die Ergebnisse sind auf die geprüfte Aufgabe zu beziehen. Eine erfolgreiche Textprüfung bestätigt nicht automatisch die Fähigkeit zur Beurteilung einer neuen analytischen Klassifikation. Bewerten Sie Nutzungsänderungen und erhalten Sie passende Referenzfälle. Eine pauschale Aussage Mensch prüft alles ist für eine belastbare Kontrolle zu ungenau.
| Kontrollfeld | Konstruierter Eintrag | Beobachtungsfrage |
|---|---|---|
| Aufgabe | Zusammenfassung mit Original vergleichen. | Ist der Prüfumfang verständlich? |
| Grundlage | Freigegebene unabhängige Quelle. | Keine bloße Modell-Selbstbestätigung? |
| Fehler | Falsche Zahl und fehlende Ausnahme. | Werden relevante Unterschiede erkannt? |
| Befugnis | Ausgabe verwerfen oder eskalieren. | Kann ungeeignete Nutzung verhindert werden? |
| Last | Repräsentativer Stapel unter realen Bedingungen. | Bleibt die Kontrolle ausführbar? |
| Verbesserung | Kriterien, Darstellung oder Schulung anpassen. | Wird Wirkung erneut geprüft? |
Die nächsten Schritte
- Zu prüfende Aussage und mögliche Fehlerfolgen bestimmen.
- Kompetenz, Quellen und Zeitbedarf des Reviewers klären.
- Kontrolle mit bekannten Fehlern erproben.
- Ablehnung, Korrektur und Nachweis der Entscheidung regeln.
Häufige Fragen zu Human Review bei KI
Ist eine zweite KI ein unabhängiger fachlicher Reviewer?
Muss jeder KI-Text vollständig neu geschrieben werden?
Kann menschlicher Review einen unzulässigen Einsatz legalisieren?
Macht Human-in-the-Loop eine KI-Anwendung automatisch zulässig?
Nein. Bewerten Sie zuerst Anwendungsfall, Geltungsbereich und mögliche Folgen. Anschließend wird geprüft, ob die menschliche Kontrolle relevante Risiken tatsächlich begrenzt. Kompetenz, Zeit, unabhängige Informationen und Ablehnungsbefugnis sind dafür wesentlich. Ein Freigabeklick allein bestätigt weder die Eignung des Modells noch die Angemessenheit des gesamten Prozesses.
Wie lässt sich Human Review praktisch prüfen?
Verwenden Sie geeignete bekannte Normal- und Fehlerfälle unter realistischen Bedingungen. Legen Sie erwartete Erkennung und Handlung vorher fest. Beobachten Sie Ergebnis, Rückfragen und übersehene Fälle. Verbessern Sie bei Bedarf Kriterien, Darstellung oder Schulung. Die Methode ist an Aufgabe und Risiko anzupassen; eine universelle Standardprüfung wird hier nicht angenommen.
Warum ist eine zweite KI-Antwort keine ausreichende Reviewgrundlage?
Sie kann denselben Fehler wiederholen oder überzeugend bestätigen. Für relevante Fakten und Entscheidungen werden geeignete unabhängige Grundlagen benötigt. Eine weitere Modellantwort kann Recherche unterstützen, ersetzt aber keinen Originalbeleg. Der Reviewer muss die tatsächlich maßgebliche Information erreichen und beurteilen können.
Kann mehr Schulung jede Schwäche des Human Review beheben?
Nein. Fehlende Zeit, unzugängliche Quellen oder fehlende Ablehnungsbefugnis können strukturelle Grenzen sein. Prüfen Sie die tatsächliche Aufgabe und verbessern Sie bei Bedarf Prozess oder Darstellung. Schulung hilft dort, wo Wissen oder Anwendung fehlen; sie ersetzt nicht jede notwendige Voraussetzung wirksamer Kontrolle.
Quellen & fachlicher Stand
Die Quellen bilden den fachlichen Rahmen. Tabellen, Checklisten und ausdrücklich illustrative Beispiele sind eigene methodische Ableitungen, keine wörtlichen Normvorgaben. Herstellerinformationen sind auf die eingesetzte Version und Konfiguration zu beziehen. Aussagen zum Annex-22-Entwurf sind ausdrücklich als Entwurfsposition gekennzeichnet.
- Europäische Kommission: EU-GMP Annex 11, Computerised Systems (2011)Geltende Fassung laut EudraLex-Verzeichnis am 14.10.2026. Anwendung, Risiken, Betrieb und Datenlebenszyklus; konkrete Prüfvorschläge sind eigene Ableitungen.
- Europäische Kommission: Annex 22 Artificial Intelligence – Konsultationsentwurf 2025Entwurf, Stand der Prüfung 14.10.2026. Scope, Daten, menschliche Kontrolle und Modellprüfung; keine geltende Neuregelung.
- Europäische Kommission: Konsultation zu Chapter 4, Annex 11 und Annex 22 (2025)Geschlossene Konsultation 07.07.–07.10.2025; Veröffentlichung zur Konsultation ist kein Inkrafttreten.
Zuletzt fachlich geprüft am 14.10.2026.
Daniel Herrmann Consulting
Vom offenen Punkt zu einem nachvollziehbaren Vorgehen.
Wir unterstützen Sie dabei, die Ausgangslage einzuordnen, Verantwortlichkeiten zu klären und passende Nachweise im Betrieb umzusetzen. Welche Unterstützung sinnvoll ist, hängt von Ihrem System, Ihrem Team und dem konkreten Ziel ab.
- IT-GxP-Audit →
Offene Punkte und Prioritäten für Ihren Betrieb einordnen.
- IT-GxP-Consulting →
Vereinbarte Systemprojekte strukturiert umsetzen und übergeben.