Annex-22-Entwurf: Wie bleiben KI-Testdaten wirklich unabhängig?

1. Was der Entwurf behandelt – und was heute gilt

Quellenstand ist der 7. Oktober 2026. Annex 22 liegt als Konsultationsentwurf vor; die 2025 geschlossene Konsultation hat ihn nicht zur geltenden Leitlinie gemacht. Für den konkreten Humanarzneimittel-GMP-Einsatz bleiben die anwendbaren bestehenden Anforderungen maßgeblich. Die folgenden Arbeitshilfen unterstützen eine vorausschauende Planung.

Der Entwurf betrachtet statische deterministische Modelle für kritische GMP-Anwendungen. Seine Aussagen dürfen nicht ohne Weiteres auf fortlaufend selbstlernende oder generative Systeme übertragen werden. Ebenso wenig bedeutet ein unverändertes Modell, dass seine Einsatzbedingungen unverändert bleiben.

Im maschinellen Lernen dient ein Validierungsdatensatz häufig der Modellauswahl. Das ist nicht dasselbe wie die GMP-Validierung des gesamten Einsatzes. Benennen Sie die Datensätze deshalb nach ihrer tatsächlichen Aufgabe, statt nur „Validation“ auf mehrere Ordner zu schreiben.

Quellen: [1] [2] [3] [4]

2. Bestimmen Sie, welche Einheit unabhängig sein muss

Bei Bildern kann die relevante Einheit ein physischer Gegenstand sein, bei Zeitreihen ein Lauf oder ein zusammenhängender Produktionsabschnitt. Eine zufällige Aufteilung einzelner Dateien kann dann verwandte Beobachtungen auf beide Seiten verteilen. Das Modell wird möglicherweise an einem Gegenstand geprüft, dessen Besonderheiten es schon kennt.

Der Entwurf berücksichtigt ausdrücklich physische Objekte und die Unabhängigkeit ihrer Merkmale. Für Ihre Planung heißt das: Erfassen Sie neben der Datei-ID eine passende Herkunfts- oder Objekt-ID. Begründen Sie, auf welcher Ebene getrennt wird und welche Beziehungen dennoch bestehen.

Beschreiben Sie auch erlaubte Gemeinsamkeiten. Dasselbe fachlich definierte Fehlermerkmal soll in Entwicklung und Prüfung vorkommen dürfen, wenn es zum Einsatz gehört. Entscheidend ist, ob die Prüfung neue unabhängige Beobachtungen liefert und den vorgesehenen Einsatz angemessen abbildet.

Quellen: [1]

3. Führen Sie ein Herkunfts- und Verwendungsregister

Ein eigenes Register verbindet Sammlung, Aufteilung und Zugriffe. Es sollte zeigen, welche Daten zu welcher Entscheidung beigetragen haben. Ein nur nachträglich erstelltes Verzeichnis kann einen früheren Zugang nicht ungeschehen machen, macht aber die verbleibende Unsicherheit sichtbar.

Die folgende Arbeitshilfe lässt sich in vorhandene Datenverwaltung integrieren. Sie verlangt kein bestimmtes Werkzeug. Entscheidend ist, dass die Angaben prüfbar bleiben und nicht nur auf Erinnerung beruhen.

Quellen: [1]

4. Ein illustrativer Fall: 200 Gegenstände sind nicht 400 unabhängige Fälle

Angenommen, 200 unterschiedliche Gegenstände werden jeweils aus zwei Blickwinkeln aufgenommen. Es entstehen 400 Bilder. Für das Beispiel wird vorab eine objektbezogene Aufteilung festgelegt: 140 Gegenstände mit 280 Bildern für Entwicklung und 60 Gegenstände mit 120 Bildern für den abschließenden Test. Die Zahlen sind reine Rechenannahmen; sie begründen keine ausreichende statistische Stichprobe.

Bei der Datenprüfung zeigt sich, dass die Testbilder von 10 Gegenständen eine weitere Ansicht im Entwicklungsbestand haben. Damit sind 20 der 120 Testbilder betroffen. Die verbleibenden 50 Gegenstände ergeben 100 Bilder. Diese Rechnung beschreibt nur die Überschneidung, noch keine ausreichende Restprüfung.

Das Team muss die Ursache, die tatsächliche Entwicklungsnutzung und die verbleibende Aussagekraft bewerten. Es darf nicht einfach die 20 Bilder entfernen und behaupten, der Test sei damit automatisch geeignet. Untergruppen oder seltene Fehler könnten dadurch gerade aus dem Test verschwinden.

Quellen: [1] [4]

5. Trennung braucht passende Zugriffsregeln

Der Entwurf beschreibt bei einer frühen Aufteilung die Absicherung gegen vorherigen Zugriff durch Entwicklungspersonal und berücksichtigt Kopien sowie Zugriffsaufzeichnungen. Ein gesperrter Hauptordner reicht als Nachweis nicht, wenn derselbe Bestand bereits als Download oder Präsentation verfügbar war.

Legen Sie fest, wer die Testdaten vorbereitet, kennzeichnet und verwendet. Die Personen benötigen genügend fachlichen Kontext für die Aufgabe, ohne die Entwicklungsentscheidung unbemerkt mit Testwissen anzureichern. Kleine Teams müssen ihre tatsächlichen Rollenüberschneidungen offen bewerten; bloße unterschiedliche Rollenbezeichnungen schaffen keine Unabhängigkeit.

Prüfen Sie in einem eigenen Kontrollfall einen unzulässigen Zugriff und einen zulässigen Testzugriff. Dokumentieren Sie auch die Grenzen: Nicht jeder frühere Informationskontakt lässt sich durch ein aktuelles Berechtigungsprotokoll ausschließen.

Quellen: [1]

6. Bewerten Sie Wiederverwendung nach ihrem Einfluss

Ein Testdatensatz kann mit jeder Rückmeldung stärker in die Entwicklung einfließen. Wenn ein Fehlertyp aus dem Testbericht gezielt zum Nachtrainieren verwendet wird, ist die nächste Prüfung desselben Bestands anders zu bewerten als ein rein technischer Wiederholungslauf ohne Modellanpassung.

Der Entwurf fordert eine nachvollziehbare Aufzeichnung der Verwendungen. Ergänzen Sie methodisch, welche Entscheidung aus jedem Lauf entstanden ist: nur Wiederherstellung eines abgebrochenen Tests, neue Vorverarbeitung, andere Entscheidungsschwelle oder neues Modell. So lässt sich der Einfluss auf die Unabhängigkeit gezielt beurteilen.

Leiten Sie daraus keinen pauschalen Satz ab, dass jeder Datensatz nur einmal verwendet werden dürfte. Begründen Sie, welche Aussage ein weiterer Lauf noch trägt und wo neue unabhängige Daten erforderlich werden. Diese Entscheidung gehört vor die endgültige Bewertung der Modellleistung.

Quellen: [1]

7. Vorbereitung vor dem abschließenden Test

Fachbereich und QA legen den Einsatz und die relevanten Fehler fest; Datenspezialisten erklären Herkunft und Abhängigkeiten. IT unterstützt Zugriff und nachvollziehbare Bereitstellung. Der größte Aufwand entsteht oft durch fehlende Objektbezüge oder undokumentierte frühere Nutzung, nicht durch das Anlegen eines weiteren Ordners.

• Einsatzraum und wichtige Untergruppen benennen.
• Trenneinheit festlegen: Datei, Gegenstand, Lauf oder andere begründete Einheit.
• Herkunft, Kennzeichnung und zulässige Vorverarbeitung dokumentieren.
• Aufteilung und Rollen vor der entscheidenden Nutzung festlegen.
• Objektüberschneidungen, Kopien und frühere Zugriffe prüfen.
• Jeden Testlauf mit Modellversion und Folgeentscheidung verbinden.
• Restunsicherheit und ausreichende Abdeckung vor Abschluss bewerten.

Quellen: [1] [4]

8. Vermeiden Sie zwei irreführende Schlussfolgerungen

„Unabhängig“ bedeutet nicht automatisch „repräsentativ“. Ein vollständig neuer Bestand kann seltene Defekte oder veränderte Aufnahmebedingungen auslassen. Prüfen Sie daher sowohl die Trennung als auch die Eignung für die beabsichtigte Aussage.

Auch ein perfektes Ergebnis kann eine schwache Datengrundlage nicht reparieren. Wenn die Bewertung auf bekannten Gegenständen, unklaren Labels oder nachträglich ausgewählten Fällen beruht, braucht sie eine andere Einordnung. Halten Sie solche Grenzen im Abschluss offen, statt sie hinter einer hohen Trefferquote zu verbergen.

Quellen: [1] [4]