Selbst führende Sprachmodelle neigen zu “interpretiver” Transkription

Neue Forschung von Amazon zeigt, dass das Modell umso kreativer wird, je intelligenter es ist, wenn es aufgefordert wird, Optical Character Recognition durchzuführen.

Optical Character Recognition (OCR) gilt als weitgehend gelöstes Problem. Wenn Sie einen Text scannen oder ein Foto des Textes dem OCR-System präsentieren, führt es eine elaborierte Individuation jedes Buchstabens durch und macht die beste Schätzung, die es auf Basis jedes Buchstabens kann:

Top links, die Zonierung von charakteristischen Loci in einem segmentierten identifizierten Buchstaben (Quelle); Hauptbild: Segmentierungsergebnis für ein institutionelles Repository (Quelle).

OCR interpretiert Zeichen individuell; diese Zeichen, die in ausreichender Nähe zueinander stehen, können Wörter oder andere linguistische Konstrukte bilden oder nicht. OCR interessiert sich nicht dafür; sobald diese Probleme auftreten, ist es bereits aus der Tür und auf dem Weg zu seinem nächsten Job, da die Rechtschreibprüfung nicht in seinem Aufgabenbereich liegt.

Eines der bekanntesten OCR-Systeme ist das traditionsreiche Tesseract, ein streng algorithmischer Interpreter, der in einer Vielzahl von Open-Source-Anwendungen und Workflows verwendet wird. Mit einer breiten Palette von “flachen” algorithmischen OCR-Add-ons, die auf allen Betriebssystemen verfügbar sind, hat die Fähigkeit, Bildtext zurück in bearbeitbaren Text umzuwandeln, nun den Status einer kostenlosen Ware erreicht – auch wenn kein System ohne Fehler oder Macken ist.

Zusätzlich haben Organisationen und kommerzielle Produkte, die traditionell im algorithmischen OCR-Bereich konkurrieren, ihre Legacy-Systeme in AI-gestützte Dokumentenmanagementsysteme umgewandelt. Die KernTechnologie – die geschätzten Gruppen von segmentierten und identifizierten Buchstaben ausgibt – bleibt jedoch unverändert.

Word Up

Zusammen mit einer wachsenden Anzahl von Aufgaben wird OCR zunehmend von der neuen Generation von Vision Language Models (VLMs) bearbeitet; wenn sie mit nicht bearbeitbaren oder gerasterten Texten konfrontiert werden, können agente Versionen dieser neuesten Systeme geschickt lesen und transliterieren, wenn nötig.

Es zeigt sich jedoch, dass diejenigen, die glauben, dass AI genau die gleiche Funktion wie OCR nachahmen wird, eine Überraschung erleben könnten: die neue Studie hat herausgefunden, dass Ihr bevorzugtes LLM wahrscheinlich “den extra Schritt” in der Transkription gehen wird, ob Sie es wollen oder nicht; es überschreitet den Kontext pro Buchstabe in den Kontext pro Wort – und korrigiert alle “Fehler”, die es findet, auf Weise, die unerwünschte Konsequenzen für Bereiche wie Recht, Medizin und historische Transliteration haben könnten.

Die Autoren behaupten:

‘Vision Language Models (VLMs) werden zunehmend anstelle von traditionellen OCR-Pipelines für Dokumentenverständnis verwendet.

‘[Wir] zeigen, dass sie nicht immer als treue Transkriptoren handeln: wenn der Text unvollkommen ist, neigen sie oft dazu, ihn in eine plausiblere Form umzuschreiben – ein Verhalten, das Clean-Text-OCR-Benchmarks nicht erkennen können.’

Die Autoren stellen ein umfangreiches neues kuratiertes Dataset und Benchmark vor, das FaithC4 genannt wird, das sie an einer Auswahl von 15 FOSS- und Closed-Source-Modellen getestet haben, einschließlich Versionen von ChatGPT und Google Gemini.

Sie fanden heraus, dass allgemeine AI-Modelle wesentlich eher als traditionelle OCR-Systeme unvollkommene Wörter durch plausiblere ersetzen, manchmal bis zu 65% der verwirrten Wörter umschreiben, während kleine lokale Fehler auch Fehler an anderen Stellen im ansonsten genauen Text verursachten.

Kurze Wörter waren besonders anfällig, und explizite Anweisungen nicht Korrekturen vorzunehmen, reduzierten das Problem, eliminierten es jedoch nicht.

Das Papier besagt*:

‘Während das Umschreibeverhalten für die Wiederherstellung einiger echter Fehler nützlich sein kann, kann es für einige Bereiche problematisch sein, die eine wörtliche Transkription erfordern, wie z.B. Rechtsdokumente, medizinische Aufzeichnungen und historische Manuskripte.

‘Trotz seiner Bedeutung wurde dieses Umschreibeverhalten in VLM-Forschung weitgehend übersehen. Bestehende OCR Benchmarks konzentrieren sich auf saubere Texterkennung und sind daher unzureichend, um zu untersuchen, wie Modelle mit unvollkommenen Eingaben umgehen können.’

Die zentrale Botschaft ist, dass fortgeschrittenere AI-Systeme Schwierigkeiten haben, Fehler nicht zu korrigieren, die algorithmische OCR-Plattformen leicht konfigurieren können, um “rohe” Daten zu liefern; in vielen Fällen ist menschliche Interpretation erforderlich, um das Problem zu lösen; aber wenn eine falsche “Korrekture” bereits angewendet wurde, wird das Problem tendenziell unter dem Radar der meisten Überprüfungssysteme gleiten.

Das neue Papier trägt den Titel Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models und stammt von fünf Forschern bei Amazon.com.

Daten und Methode

Um ihr Benchmark-Datensatz zu erstellen, zogen die Autoren auf die Colossal Cleaned Crawled Corpus – auch bekannt als C4 – zurück, eine hyperskalige Web-Crawled-Sammlung aus dem Jahr 2020. Aus diesem Corpus wurden 1.455 einzelne Dokumentenseiten in englischer, chinesischer und koreanischer Sprache ausgewählt, wobei jedes Dokument auf eine einzelne gerenderte Seite passte.

Der endgültige Benchmark enthielt 500 englische Dokumente, 500 chinesische Dokumente und 455 koreanische Dokumente, was einen mehrsprachigen Testbereich für die Messung bot, ob AI-Systeme Text treu kopierten oder auf irgendeine Weise umschrieben.

Um zu testen, ob AI-Modelle treu kopieren würden, was sie sahen, wurden kontrollierte Fehler in die Dokumente eingeführt, bevor sie als Bilder gerendert wurden, wobei etwa 8% der geeigneten Wörter geändert wurden, von denen jedes mindestens vier Zeichen enthielt. Unveränderte Versionen dieser wurden als Grundwahrheit verwendet.

Drei Perturbationsvarianten wurden dann angewendet: scramble mischte die internen Buchstaben von Wörtern, während die ersten und letzten Buchstaben erhalten blieben; random ersetzte jeden Charakter durch einen zufälligen Charakter aus dem gleichen Schreibsystem; und visual ersetzte visuell ähnliche Charaktere, die für das Auge plausibel blieben, während der zugrunde liegende Text geändert wurde.

Die chinesische Variante ließ den scramble-Zustand aus, da ihr Schreibsystem keine durch Leerzeichen getrennten Wörter verwendet, sondern stattdessen feste vier-Zeichen-Fenster für die anderen Perturbationen verwendete; zusätzlich bedeutete die kürzere durchschnittliche Wortlänge des Koreanischen, dass weniger Wörter für die Modifikation in Frage kamen.

Jedes Dokument wurde dann als PDF-Seite gerendert und an die konkurrierenden Transkriptionssysteme übergeben.

Tests

Die Tests für die Studie umfassten sowohl Closed-Source-General-Purpose-Modelle, wie GPT-5.4-mini; Gemini-3-Flash; und Gemini-2.5-Flash; als auch Open-Source-Modelle, bestehend aus den General-Purpose-Modellen Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; und Gemma4-E2B.

Zusätzlich wurden OCR-spezifische Modelle einbezogen, bestehend aus olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; und LightOnOCR-2-1B. Schließlich wurden auch die traditionellen OCR-Engines Tesseract und docTR getestet.

Die drei Gruppen verlassen sich auf Sprache in unterschiedlichem Maße: General-Purpose-AI-Modelle stützen sich stark auf umfassendes Sprachwissen, das während der Vorbereitung erworben wurde; OCR-spezifische Modelle legen größeren Wert auf treue Dokumenten-Transkription durch Aufgaben-spezifische Schulung; und traditionelle OCR-Systeme verlassen sich auf Zeichen-Erkennung, anstatt auf linguistische Inferenz.

Zwei Metriken wurden übernommen, beginnend mit Word Error Rate (WER), der Standard-OCR-Metrik zur Bestimmung, wie viele vollständige Wörter ein System falsch transkribiert hat. Anstatt einfach falsche Zeichen zu zählen, zeichnet WER Ersetzungen, Löschungen und Einfügungen im Vergleich zum Originaltext auf, was es empfindlich auf falsche Wörter und Wörter macht, die weggelassen oder hinzugefügt wurden.

Für Chinesisch, wo Wörter nicht durch Leerzeichen getrennt sind, wurde der gleiche Ansatz auf Charakter-Ebene als Character Error Rate (CER) angewendet.

Um subtilere Fehler zu erfassen, wurde die Metrik Edit Distance Similarity (EDS) verwendet. EDS vergleicht den vorhergesagten Text mit dem Original auf Charakter-Ebene und kann – im Gegensatz zu WER – zwischen einem völlig falschen Wort und einem, das sich nur um ein oder zwei Zeichen unterscheidet, unterscheiden. Dies macht es nützlich, um Near-Misses und teilweise Umschreibungen zu erkennen, die ansonsten ähnlich erscheinen könnten.

Wie in der folgenden Grafik gezeigt, erwiesen sich traditionelle OCR-Systeme als am wenigsten anfällig für alle drei Perturbations-Typen, mit wenig Genauigkeitsverlust, da sie hauptsächlich einzelne Zeichen erkennen, anstatt versuchen, Wörter aus dem Kontext abzuleiten:

Änderungen im Word Error Rate (links) und Edit Distance Similarity (rechts) über Englisch, Chinesisch und Koreanisch nach Anwendung der drei Text-Perturbationsmethoden. Traditionelle OCR-Systeme zeigten den geringsten Leistungsabfall insgesamt, OCR-spezifische Modelle befanden sich im Mittelfeld, während General-Purpose-AI-Modelle am stärksten von korruptem Text betroffen waren. Quelle

OCR-spezifische AI-Modelle befanden sich im Mittelfeld; MinerU und LightOn blieben relativ robust; und olmOCR und DeepSeek-OCR zeigten eine größere Empfindlichkeit gegenüber korruptem Text, was darauf hindeutet, dass die Dokument-spezifische Schulung die Tendenz, das Gelesene umzuschreiben, verringerte, aber nicht eliminierte.

General-Purpose-AI-Modelle schnitten insgesamt am schlechtesten ab, wobei sie bei der Konfrontation mit gestörtem Text deutlich mehr Transkriptionsfehler aufwiesen. Die meisten litten unter einem wesentlich größeren Leistungsabfall als OCR-spezifische Modelle oder traditionelle OCR-Systeme – obwohl Gemini-3-Flash als bemerkenswerte Ausnahme hervorstach, die eher wie ein konventionelles OCR-System agierte.

Insgesamt entsprach die Rangliste weitgehend dem Grad, in dem jedes Modell auf Sprachwissen angewiesen war, wobei stärkere Sprach-Priorisierungen einer stärkeren Tendenz zur Umschreibung von Text anstelle der einfachen Transkription entsprachen.

Ein Fehler-Typen-Aufschluss, wie in der folgenden Tabelle gezeigt, zeigt, dass traditionelle OCR-Systeme hauptsächlich konventionelle Transkriptionsfehler produzierten, wie Ersetzungen, Löschungen und Einfügungen:

Ergebnisse des englischen ‘Scramble’-Perturbations-Tests, die zeigen, wie jedes Transkriptionssystem seine Fehler über exakte Umschreibungen, Near-Miss-Transkriptionen (‘Close’), größere Transkriptionsfehler (‘Moderate’) und völlig falsche Ausgaben (‘Wrong’) verteilt. Modelle sind nach ihrer Umschreibungsrate korrupter Wörter geordnet.

Im Gegensatz dazu waren General-Purpose-AI-Modelle wesentlich eher bereit, korrupte Wörter durch plausible Alternativen zu ersetzen, während sie den umgebenden Satz beibehielten, was starke Beweise dafür liefert, dass sie nicht einfach fehlerhaften Text falsch lasen, sondern ihn aktiv mithilfe des linguistischen Kontexts umschrieben.

Die Studie fand auch heraus, dass Transkriptionsfehler nicht auf korrupte Wörter beschränkt blieben:

Ergebnisse der Fehler-Propagations-Analyse, die pro-Wort-Fehler-Raten auf gestörten und ungestörten Wörtern nach jeder Perturbations-Methode zeigen. Die Änderung von etwa 4,7% der Wörter verursachte Transkriptionsfehler, die in den umgebenden, unveränderten Text übergriffen, bei vielen Modellen.

Wie in den Ergebnissen der Tabelle oben und der Grafik unten gezeigt, verursachte die Änderung von etwa 4,7% der Wörter in einem englischen Dokument einen deutlichen Anstieg der Fehler-Raten im umgebenden, unveränderten Text:

Weitere Ergebnisse der Fehler-Propagations-Analyse, die den Anstieg der Transkriptionsfehler auf gestörten und ungestörten Wörtern nach jeder Perturbations-Methode zeigen. General-Purpose-AI-Modelle zeigten die stärkste Fehler-Verstärkung, wobei Fehler häufig über die ursprünglich korrupten Wörter hinausgingen.

General-Purpose-VLMs waren am stärksten betroffen, wobei die Fehler-Raten auf unveränderten Wörtern um bis zu zehnmal über dem Basiswert stiegen. Im Gegensatz dazu zeigten traditionelle OCR-Systeme nur einen geringen Anstieg. Modelle, die den größten Anteil korrupter Wörter umschrieben, zeigten auch die stärkste Fehler-Propagations-Tendenz, was darauf hindeutet, dass beide Verhaltensweisen aus der gleichen zugrunde liegenden Abhängigkeit von linguistischem Kontext resultieren.

Praktisch bedeutet dies, dass eine kleine Menge beschädigten Textes die Genauigkeit eines ansonsten intakten Dokuments beeinträchtigen kann, was saubere OCR-Benchmark-Scores zu einem unzuverlässigen Leitfaden für die Transkriptions-Treue in der realen Welt macht.

Schließlich untersuchten die Autoren auch, ob Wortlänge das Umschreibeverhalten beeinflusste, und fanden heraus, dass kürzere Wörter wesentlich anfälliger waren als längere.

Weil sie weniger visuelle Hinweise enthalten, scheinen kurze Wörter VLMs zu ermutigen, sich stärker auf kontextuelles Sprachwissen zu verlassen – was die Wahrscheinlichkeit erhöht, dass beschädigter Text still durch eine plausible Alternative ersetzt wird, anstatt wörtlich transkribiert zu werden (was möglicherweise eine nützliche Warnung für menschliche Überwachung verursachen könnte).

Die Autoren fanden auch heraus, dass explizite Anweisungen, nicht Fehler zu korrigieren, diese Tendenz verringerten, aber nicht eliminierten. Dies deutet darauf hin, dass interpretive Transkription eine inhärente Eigenschaft aktueller VLMs ist, anstatt ein Verhalten, das durch Prompting allein zuverlässig unterdrückt werden kann.

Die Autoren schlussfolgern:

‘Für Anwendungen, die eine wörtliche Transkription erfordern, wie z.B. die Verarbeitung von Rechtsdokumenten, die Digitalisierung historischer Manuskripte und Forensik, bleiben traditionelle OCR-Systeme oder sorgfältig ausgewählte OCR-spezifische VLMs die sicherste Wahl, während General-Purpose-VLMs systematische Umschreibungen einführen, die Clean-Text-Benchmarks nicht erfassen.’

Schlussfolgerung

Diese Studie wiederholt, was zu einem wiederkehrenden Thema in der LLM-Literatur wird: dass obwohl trainierte VLM-Modelle enorm leistungsfähig sind, sie auch resistent gegen kritische Anweisungen sind – in diesem Fall Lesen und Parsen der Buchstaben, die Sie im Bild finden.

Die fortschrittlicheren Modelle können es einfach nicht, es scheint – als ob sie es als “Schmutzarbeit” betrachten oder irrationale Zwänge haben, eine “halbfertige Aufgabe” abzuschließen.

* Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks.

Erstveröffentlichung am Montag, 27. Juli 2026