Praxiswissen · Praxisleitfaden

RAG-Wissensassistent für GxP: Quellen und Antworten prüfen

Der Wissensassistent nennt eine interne Quelle und klingt sicher. Trotzdem kann er eine Ausnahme übersehen, eine alte Revision abrufen oder eine Aussage ergänzen, die im Dokument nicht steht. RAG verbessert den Quellenzugang, macht Antworten aber nicht automatisch richtig oder verwendbar.

Daniel HerrmannCompliance-Experte für Life Sciences

Fachlicher Stand: 14.10.20267 Minuten Lesezeit

Inhaltsverzeichnis

Das Wichtigste vorab

Wie prüft man einen RAG-Wissensassistenten für einen GxP-Anwendungsfall?

Bewerten Sie die gesamte Kette aus freigegebenem Quellenbestand, Aufbereitung, Index, Berechtigungsfilter, Retrieval, Generierung und erlaubter Nutzung. Prüfen Sie bekannte Fragen mit unabhängig festgelegten Referenzquellen und erwarteten Aussagen. Ergänzen Sie veraltete, widersprüchliche, unberechtigte und nicht beantwortbare Fälle. Ein Quellenlink oder eine hohe Trefferähnlichkeit bestätigt nicht automatisch die fachliche Richtigkeit der Antwort.

RAG beschreibt eine Architektur, keine Freigabe

Retrieval-Augmented Generation verbindet die Suche in einem Quellenbestand mit einer generierten Antwort. Microsoft beschreibt dies als Muster, das Sprachmodelle mit zusätzlichem Inhalt verankert. Die konkrete Umsetzung kann unterschiedlich sein. Dieser Leitfaden konzentriert sich auf einen internen Wissensassistenten, nicht auf autonome Qualitätsentscheidungen oder die automatische Freigabe von Aufzeichnungen. Produkt, Komponenten und tatsächlicher Einsatz werden gesondert bestimmt.

Beschreiben Sie zuerst die erlaubte Frage und Folgehandlung. „Eine passende SOP-Stelle finden“ ist anders zu bewerten als „eine Abweichung beurteilen“. Der Einfluss auf regulierte Entscheidungen hängt von der tatsächlichen Nutzung ab. Ein als Hilfe bezeichneter Assistent kann faktisch zur führenden Quelle werden, wenn Mitarbeiter Originaldokumente nicht mehr prüfen. Diese Wirkung gehört in die Risikobewertung. Ein technischer Architekturbegriff ersetzt keine fachliche Abgrenzung.

Quellen: [1] [2]

Quellenbestand und Gültigkeitsregeln festlegen

Bestimmen Sie, welche Dokumente aufgenommen werden und wer deren Eignung verantwortet. Erfassen Sie Identität, Revision, Status, Geltungsbereich und erforderlichen historischen Bezug. Eine Sammlung aller erreichbaren Dateien enthält häufig Entwürfe, Dubletten und zurückgezogene Anweisungen. Mehr Inhalt verbessert die Antwortqualität dann nicht automatisch. Definieren Sie die Regeln, nach denen eine Quelle für eine bestimmte Frage verwendet werden darf.

Trennen Sie aktuellen Arbeitsgebrauch von historischen Fragen. Ein Anwender kann bewusst nach dem früher gültigen Stand fragen; eine Routinefrage benötigt meist den für ihn maßgeblichen aktuellen Stand. Das System muss diese Zwecke gemäß dem freigegebenen Konzept unterscheiden. Ein pauschales Entfernen aller historischen Dokumente kann Recherchebedarf verletzen, während unkontrolliertes Vermischen falsche Handlungsempfehlungen erzeugt. Die Quelle braucht deshalb verständlichen Kontext, nicht nur einen Dateinamen.

Quellen: [2] [3]

Aufbereitung und Index als Datenverarbeitung prüfen

Dokumente werden häufig extrahiert und in Abschnitte aufgeteilt. Dabei können Tabellen, Fußnoten, Seitenbezüge oder Ausnahmen verloren gehen. Prüfen Sie repräsentative Formate und komplexe Strukturen. Ein korrekt gespeichertes Original beweist nicht, dass sein Suchindex dieselbe erforderliche Information enthält. Besonders kritisch sind Bedingungen, die erst durch einen benachbarten Absatz oder eine Tabellenüberschrift verständlich werden.

Definieren Sie, welche Metadaten an einem Abschnitt erhalten bleiben und wie Änderungen übernommen werden. Eine neue Revision muss gemäß dem vorgesehenen Verfahren im Index wirksam werden; ein zurückgezogenes Dokument darf nicht unbemerkt weiter als aktuelle Quelle dienen. Testen Sie Fehler und verzögerte Aktualisierung. Die konkrete Architektur kann Indexierung oder andere Abrufwege verwenden. Übernehmen Sie keine universelle Aktualitätszusage aus einem allgemeinen RAG-Diagramm.

Quellen: [1] [2]

Retrieval und Antworttreue getrennt messen

Retrieval prüft, ob die benötigte Quelle beziehungsweise Passage gefunden wird. Antworttreue prüft, ob die Ausgabe diese Information richtig und vollständig wiedergibt. Eine gute Suche kann eine schlechte Zusammenfassung speisen; eine sprachlich gute Antwort kann auf der falschen Quelle beruhen. Bewerten Sie beide Ebenen getrennt. Ein gemeinsamer Durchschnittsscore kann einen kritischen Fehler verdecken.

Erstellen Sie Referenzfragen mit bekannten richtigen Quellen, erforderlichen Aussagen und unzulässigen Ergänzungen. Ergänzen Sie Fragen ohne ausreichende Quelle. Dort kann eine erkennbare Nichtantwort das richtige Ergebnis sein. Legen Sie Kriterien vor der Prüfung fest und passen Sie sie nicht erst an beobachtete Antworten an. Bei generativen Ausgaben werden relevante Variationen betrachtet. Ein einzelner erfolgreicher Durchlauf belegt keine gleichbleibende Eignung jeder Formulierung und jedes Kontexts.

Quellen: [1]

Konstruiertes Beispiel: Ausnahmeregel einer Arbeitsanweisung

Im Beispiel enthält eine SOP eine Standardregel und eine Ausnahme für einen bestimmten Standort. Der Assistent soll die richtige Passage für den berechtigten Anwender auffindbar machen und den Geltungsbereich nennen. Eine zweite Quelle beschreibt einen früheren Stand. Die Referenzantwort ist unabhängig vorbereitet und nennt die aktuelle Regel sowie die entscheidende Ausnahme. Sie erteilt keine neue Prozessfreigabe.

Prüfen Sie eine eindeutige Frage, eine Frage ohne Standort, eine widersprüchliche Quelle und eine Formulierung, die eine unbelegte Ausnahme nahelegt. Die Ausgabe darf den Quelleninhalt nicht einfach entsprechend dem Wunsch des Fragenden umschreiben. Testen Sie außerdem ein Dokument mit einer eingebetteten Anweisung an das Modell. Quelleninhalt ist fachliches Material, keine Berechtigung zur Änderung von Systemregeln oder zum Abruf zusätzlicher vertraulicher Daten.

Eigene Arbeitshilfe: Konstruiertes Beispiel: Ausnahmeregel einer Arbeitsanweisung
Prüffall	Erwartete Aussage	Getrennte Bewertung
Eindeutige Frage	Richtige aktuelle Passage	Retrieval und Antwortinhalt
Ausnahme	Standortbezug erhalten	Vollständigkeit und Kontext
Alte Revision	Historischen Stand erkennen	Gültigkeitsregel
Keine Quelle	Grenze transparent machen	Keine unbelegte Ergänzung
Manipulative Passage	Systemregeln bleiben wirksam	Umgang mit Quellinstruktionen
Widerspruch	Klärungsbedarf sichtbar	Keine erfundene Auflösung

Quellen: [2]

Berechtigungen über die ganze Kette erhalten

Quellenzugriff, Index, Retrieval, Antwort und Protokolle müssen zum Berechtigungskonzept passen. Ein Nutzer darf nicht allein deshalb vertrauliche Inhalte erhalten, weil sie unter einer technischen Sammelidentität indexiert wurden. Microsoft beschreibt für sichere RAG-Architekturen eine bewusste Trennung und Durchsetzung von Zugriffsgrenzen. Die konkrete Implementierung und ihre verfügbaren Funktionen werden am tatsächlichen Stand geprüft.

Testen Sie positive und negative Rollenfälle. Betrachten Sie auch indirekte Fragen, Zitate, Zusammenfassungen und wiederverwendete Zwischenergebnisse. Ein entzogener Quellenzugriff muss im freigegebenen Konzept wirksam werden. Prüfen Sie Cache und gespeicherte Antworten soweit relevant. Die spätere Protokollierung darf vertraulichen Inhalt nicht unkontrolliert einem größeren Personenkreis zugänglich machen. Eine Berechtigungsprüfung nur am Originaldokument deckt diese nachgelagerten Datenwege nicht vollständig ab.

Quellen: [4] [2]

Human Review und regulatorische Grenzen einordnen

Der Annex-22-Konsultationsentwurf 2025 ist keine allgemeine Freigabe für einen generativen Wissensassistenten. Seine Abgrenzung generativer Modelle und die Entwurfsposition zum kritischen GMP-Einsatz bleiben relevant. Prüfen Sie den tatsächlichen Prozess im anwendbaren Rahmen. Eine interne Quellenanbindung ändert die Modellart nicht automatisch und macht eine kritische Anwendung nicht allein durch einen zusätzlichen Reviewer unkritisch.

Definieren Sie einen praktisch ausführbaren Review. Der Anwender muss Quelle, Gültigkeit, Ausnahme und erlaubte Verwendung prüfen können. Testen Sie die Wirksamkeit mit bewusst fehlerhaften Ausgaben. Wenn der Review im Alltag nur aus einem schnellen Bestätigungsklick besteht, bleibt die behauptete Kontrolle unbewiesen. Schulung und klare Nutzungsgrenzen sind erforderlich, ersetzen aber keine geeignete technische Architektur. Offene fachliche Fragen werden vor einer relevanten Verwendung geklärt.

Quellen: [2] [5]

Änderungen, Monitoring und Einsatzentscheidung

Der freigegebene Stand umfasst Quellenregeln, Aufbereitung, Retrievalkonfiguration, Prompt, Modell beziehungsweise Dienst und Ausgabeprozess. Änderungen an einer dieser Ebenen können die Antwort beeinflussen. Legen Sie relevante Auslöser und Verantwortliche fest. Referenzfragen werden für gezielte Wiederholungen gepflegt; neue Fehlerbilder ergänzen den Bestand. Ein dauerhaft unveränderter Testkatalog kann neue Dokumenttypen oder Nutzungsweisen übersehen.

Die Einsatzentscheidung verbindet Nutzen, Fehlerarten, Berechtigungen, Reviewaufwand und verbleibende Grenzen. Messen Sie nicht nur Antwortgeschwindigkeit oder Nutzerzufriedenheit. Relevant sind richtige Quellen, vollständige Aussagen und kontrollierte Nichtantworten. Ein begrenzter Pilot bekommt definierte Daten und erlaubte Aufgaben. Erst nach Auswertung wird die Nutzung im verantworteten Umfang erweitert. Gute RAG-Bewertung zeigt, welche Wissensarbeit verlässlich unterstützt wird und an welcher Stelle eine fachliche Klärung nötig bleibt.

Quellen: [2]

Häufige Fragen zu RAG: Validierung eines Wissensassistenten

Verhindert RAG Halluzinationen vollständig?

Nein. Zusätzliche Quellen können Antworten besser verankern, garantieren aber weder richtige Auswahl noch vollständige Wiedergabe. Prüfen Sie Retrieval und Antworttreue getrennt. Unbelegte Ergänzungen, ausgelassene Ausnahmen und falsche Revisionen bleiben relevante Fehlerfälle. Ein Quellenlink allein bestätigt die behauptete Aussage nicht.

Ist eine RAG-Lösung dasselbe wie Modelltraining?

Nein. Retrieval stellt zur Laufzeit zusätzliche Inhalte bereit; Training verändert ein Modell auf andere Weise. Die konkrete Architektur kann weitere Verfahren enthalten und muss beschrieben werden. Für die Eignungsbewertung zählen Quellen, Verarbeitung, Ausgabe und Nutzung, unabhängig davon, ob ein eigenes Modell trainiert wurde.

Müssen alle SOPs in den Wissensassistenten aufgenommen werden?

Nicht automatisch. Beginnen Sie mit einem klaren Anwendungsfall und geeigneten Quellen. Ein unkontrollierter Gesamtbestand kann Dubletten, Entwürfe und widersprüchliche Regeln enthalten. Definieren Sie Gültigkeit, Verantwortlichkeit und Berechtigungen. Der Umfang wird entsprechend dem erlaubten Nutzen erweitert und geprüft.

Was ist eine gute Antwort auf eine nicht beantwortbare Frage?

Eine erkennbare Begrenzung mit passendem Hinweis auf fehlende Grundlage oder zuständige Klärung. Eine plausible freie Ergänzung kann im regulierten Prozess irreführend sein. Legen Sie die erwartete Reaktion vor der Prüfung fest. Nichtantworten sind ein eigener wichtiger Teil des Qualitätsnachweises.

Reicht ein Test mit hundert Standardfragen?

Die Zahl allein ist kein Qualitätsmaßstab. Prüfen Sie die Abdeckung von Aufgaben, Quellenarten, Rollen, Fehlern und Grenzen. Ergänzen Sie seltene, widersprüchliche und unberechtigte Fälle. Die Auswahl und erwartete Aussage müssen begründet sein; viele ähnliche Normalfragen können kritische Schwächen unentdeckt lassen.

Wann muss ein RAG-Assistent erneut geprüft werden?

Bewerten Sie Änderungen an Quellenregeln, Dokumentformaten, Index, Retrieval, Modell, Prompt, Berechtigungen und erlaubter Nutzung. Der Umfang folgt den betroffenen Aussagen. Eine unveränderte Oberfläche belegt keine unveränderte Verarbeitung. Pflegen Sie Referenzfälle und reagieren Sie auf neue relevante Fehlerbilder im Betrieb.

Quellen & fachlicher Stand

Stand: 14. Oktober 2026. Regulatorische Einordnung und Herstellerfunktionen sind getrennt belegt. Beispiele, Testmatrizen und Vorlagen sind eigene Arbeitshilfen; sie werden für den tatsächlichen Einsatzzweck angepasst.

Zuletzt fachlich geprüft am 14.10.2026.

Daniel Herrmann Consulting

Wie wir Sie dabei unterstützen

Daniel Herrmann Consulting verbindet die fachliche Bewertung mit der Arbeit am konkreten System. Im Erstgespräch klären wir Ihren Einsatzzweck, vorhandene Nachweise und den nächsten sinnvollen Schritt.

IT-GxP-Consulting →
Anforderungen, Tests und Umsetzung für Ihren konkreten Systemprozess zusammenführen.

Ihr Vorhaben besprechen Einblicke in unsere Projektarbeit →