OCR unter GxP validieren: Felder und Fehler prüfen

OCR, Extraktion und fachliche Entscheidung auseinanderhalten

Optische Zeichenerkennung überführt Bildinhalte in maschinenlesbaren Text. Eine Dokumentverarbeitung kann darüber hinaus Felder zuordnen, Tabellen interpretieren, Dokumenttypen erkennen und Regeln ausführen. Manche Verfahren verwenden trainierte Modelle; andere Verarbeitungsschritte sind regelbasiert. Bestimmen Sie den tatsächlich eingesetzten Aufbau. Aus dem Etikett „OCR“ folgt weder, dass jede Komponente künstliche Intelligenz ist, noch, dass ein Gesamtsystem bereits für einen GxP-Prozess geeignet wäre.

Beschreiben Sie die beabsichtigte Wirkung. Unterstützt die Erkennung nur eine Suche, erstellt sie einen Entwurf zur menschlichen Prüfung oder übergibt sie Werte automatisch an ein LIMS? Diese Verwendungen haben unterschiedliche Fehlerfolgen. Ein falsch erkanntes Suchwort kann eine andere Kontrolle erfordern als ein falsch übernommener Grenzwert. Legen Sie fest, welche Felder entscheidungsrelevant sind und wann die Verarbeitung zwingend anhalten oder zur Prüfung weiterleiten muss. Die Systemgrenze umfasst die benötigten Folgeaktionen.

Quellen: [1]

Ein bekanntes Quelldokument ist noch kein unabhängiger Referenzbestand

Erstellen Sie einen kontrollierten Referenzbestand mit unabhängig bestätigten Sollinformationen. Dokumentieren Sie Dokumenttyp, Herkunft, Version und erwartete Werte. Berücksichtigen Sie die im Betrieb erlaubten Eingangsqualitäten: Auflösung, Schräglage, Schatten, mehrseitige Dateien, überlagerte Stempel, Handschrift oder wechselnde Lieferantenlayouts. Grenzen Sie bewusst aus, was nicht unterstützt wird. Ein System darf einen außerhalb des freigegebenen Umfangs liegenden Eingang nicht stillschweigend wie einen gültigen Normalfall behandeln.

Trennen Sie Beispiele zur Entwicklung von Beispielen zur abschließenden Leistungsprüfung. Ein Modell kann bekannte Vorlagen gut verarbeiten, ohne neue relevante Varianten zu beherrschen. Auch nachträgliches Nachtrainieren anhand des vermeintlichen Prüfsatzes verändert dessen Unabhängigkeit. Bewahren Sie die Beziehung zwischen Modellstand und verwendetem Referenzsatz auf. Datenschutz und Verwendungsrechte der Dokumente werden separat geklärt; ein echtes Produktionsdokument wird nicht allein wegen seines Nutzens für einen Test zu einer frei verwendbaren Trainingsquelle.

Zeichenrichtigkeit und Feldzuordnung sind verschiedene Prüfschritte

Prüfen Sie zunächst die Zeichen: O und 0, I und 1, Minuszeichen, Dezimaltrennzeichen und Einheiten. Anschließend prüfen Sie die Zuordnung. Eine korrekt erkannte Zahl kann zum falschen Analyt, zur falschen Charge oder zur falschen Spalte gehören. Tabellen benötigen deshalb mehr als eine Liste erkannter Wörter. Der Referenzabgleich verbindet Wert, Einheit, Parameter, Zeile, Spalte und Dokumentidentität in dem Umfang, den die spätere Entscheidung benötigt.

Berücksichtigen Sie leere und mehrdeutige Felder. Ein nicht gefundenes Ergebnis darf nicht automatisch als Null interpretiert werden. Mehrere ähnliche Chargennummern auf einer Seite brauchen eine eindeutige Zuordnungsregel. Ein aus mehreren Quellen zusammengesetztes Dokument darf nicht ohne Prüfung als ein einziges Zertifikat gelten. Definieren Sie, welche Unsicherheit das System erkennt und wie sie sichtbar wird. Nur ein plausibel aussehender Gesamtausdruck kann diese Kontrollen nicht belegen.

Konstruiertes Beispiel: drei richtige Zeichenfolgen, eine falsche Aussage

Ein Lieferantenzertifikat enthält die Chargennummer A0O17 sowie die Zeilen Wasser 0,05 % und Restlösemittel 0,50 %. Im eigenen Übungsfall werden die Zeichenfolgen der Zahlen korrekt erkannt. Die Extraktion ordnet jedoch 0,50 % dem Parameter Wasser zu. Eine reine Zeichenvergleichsquote kann dabei hervorragend aussehen, obwohl die fachliche Aussage falsch ist. Der Test muss die Beziehung zwischen Parameter und Wert sowie die richtige Chargenidentität erhalten.

Ergänzen Sie das Beispiel um eine abgeschnittene Einheit, eine Folgeseite und ein zusätzliches Zertifikat mit ähnlicher Nummer. Die erwartete Behandlung wird vorher festgelegt. Wo eine sichere Zuordnung fehlt, kann beispielsweise eine fachliche Prüfung erforderlich sein. Die folgende Arbeitshilfe zeigt eigene Prüfvorschläge, keine universellen OCR-Akzeptanzgrenzen. Technische Fehler werden in kontrollierten Referenzdokumenten erzeugt; reale freigegebene Aufzeichnungen werden dafür nicht unbemerkt verändert.

Konfidenzwerte im eigenen Prozess bewerten

Hersteller können unterschiedliche Konfidenzwerte für Dokumenttypen, Wörter oder Felder bereitstellen. Microsoft beschreibt für Document Intelligence eine eigene Bewertung mit repräsentativen Dokumenten und eine darauf beruhende Entscheidung über automatische Verarbeitung oder menschliche Prüfung. Übernehmen Sie einen beispielhaft genannten Schwellenwert nicht als regulatorische Vorgabe. Ein technischer Confidence-Wert ist auch kein unabhängiger Beweis, dass Ihr konkreter Extraktionsfall richtig verarbeitet wurde.

Bewerten Sie die tatsächlichen Fehlentscheidungen auf Ihrem Prüfsatz. Welche falschen Werte erhalten trotzdem einen hohen Score? Welche richtigen Werte werden unnötig zur Prüfung geschickt? Untersuchen Sie dies nach relevanten Feld- und Dokumentklassen. Ein gemeinsamer Durchschnitt kann einen schlecht erkannten seltenen Grenzwert verbergen. Änderungen an Layouts oder Modellständen können die Aussage einer einmal gewählten Schwelle verändern. Die Freigabe beschreibt daher den geprüften Umfang und die Voraussetzungen des eingesetzten Entscheidungsverfahrens.

Quellen: [2] [3]

Kennzahlen auf die Fehlerfolge beziehen

Definieren Sie, was eine gezählte Einheit ist: Zeichen, Wort, Feld, Dokument oder vollständiger Geschäftsfall. 99 Prozent korrekte Felder bedeuten bei 10.000 bewerteten Feldern zunächst 100 falsch bewertete Felder. Daraus folgt noch nicht, ob die betroffenen Entscheidungen akzeptabel abgesichert sind. Eine falsche Telefonnummer und ein falsch übernommener Freigabestatus können denselben Zählbeitrag haben, aber eine andere fachliche Bedeutung. Bewerten Sie kritische Fehlerklassen deshalb gezielt.

Für eine automatisch übernommene Information ist besonders relevant, welche falschen Werte das Gesamtsystem unbemerkt akzeptiert. Eine hohe Erkennungsquote allein beantwortet diese Frage nicht. Dokumentieren Sie Nenner, Ausschlüsse und bereits manuell korrigierte Fälle. Sonst misst die Kennzahl möglicherweise den korrigierten Endzustand statt der ursprünglichen OCR-Leistung. Akzeptanzkriterien werden aus Verwendung und Fehlerfolge abgeleitet. Eine allgemeine Mindestquote für sämtliche GxP-OCR-Anwendungen lässt sich aus diesen Beispielen nicht bestimmen.

Menschliche Prüfung als eigener kontrollierter Schritt

Ein Review braucht eine geeignete Darstellung. Der Prüfer sollte den extrahierten Wert eindeutig an seiner Quelle sehen können, einschließlich notwendigem Kontext. Testen Sie, ob hervorgehobene Fundstellen tatsächlich zur richtigen Seite und Zeile führen. Eine Vorschau, die nur den bereits erkannten Text anzeigt, kann einen Erkennungsfehler bestätigen statt ihn aufzudecken. Legen Sie fest, welche Felder immer geprüft werden und wann weitere Unsicherheit eine zusätzliche Bewertung auslöst.

Korrekturen müssen mit dem ursprünglichen Dokument und dem Verarbeitungsvorgang verbunden bleiben. Prüfen Sie Berechtigungen, Änderungsgrund und die Weitergabe des korrigierten Werts. Wenn sich das Quelldokument ändert, darf eine alte Freigabe nicht unbemerkt auf einen neuen Inhalt übertragen werden. Schulen Sie die Prüfer anhand echter Fehlerklassen aus dem kontrollierten Testsatz. Das Vorhandensein eines menschlichen Bestätigungsbuttons allein beweist weder eine wirksame Kontrolle noch eine unabhängige Prüfung.

Quellen: [4]

Quelldokument, Modell und Folgeaktion zusammen erhalten

Die erforderliche Rekonstruktion kann Quelldokument, Extraktion, Modell- oder Regelstand, Korrekturen und Zielrecord umfassen. Legen Sie die führende Aufzeichnung fest. Eine Textdatei aus OCR ist nicht automatisch eine vollständige True Copy eines komplexen Originaldokuments. Bilder, Unterschriften, Tabellenbeziehungen oder andere benötigte Informationen können fehlen. Prüfen Sie die Eignung einer Kopie für den beabsichtigten Zweck getrennt von der eigentlichen Erkennungsleistung.

Änderungen am Modell, an Vorverarbeitung, Feldschema oder Zielmapping brauchen eine Auswirkungsbewertung. Ein neuer Scanfilter kann schwache Zeichen entfernen; ein neues Lieferantenlayout kann die Zuordnung verändern. Nutzen Sie einen kontrollierten Regressionsbestand und ergänzen Sie relevante neue Varianten. Der Betrieb muss außerhalb des geprüften Umfangs liegende Eingänge erkennen und bearbeiten können. So entsteht ein beherrschter Dokumentenprozess statt einer Sammlung plausibel aussehender Extraktionsergebnisse.

Quellen: [1] [4]