Entscheidend: Enterprise-Agenten verstehen Hervorhebungen nicht

Weltweit gibt es viele wichtige, nicht gescannte Papierdokumente, insbesondere in der Geschäftswelt. Es wird geschätzt, dass nur 1 % der vier Milliarden Papierdokumente, die jedes Jahr im Welthandel im Umlauf sind, digitalisiert werden. Der Rest bleibt damit außerhalb der analytischen Fähigkeiten des maschinellen Lernens.

Das ist nur eine grobe Einschätzung des Problems im Unternehmenssektor; auch Regierungen produzieren eine enorme Menge an Druckerzeugnissen und papiergebundenen Dokumenten. Das US National Archive berichtete in diesem Jahr, dass nur 4,04 % der von ihm verwahrten analogen Dokumente digitalisiert sind und noch 11,97 Milliarden ausstehen.

Es handelt sich also um ein fortdauerndes und nicht um ein überholtes Problem – und ich muss gestehen, dass auch ich dazu beitrage:

Das ist es, wovor ich an den meisten Tagen sitze.

Beim Durchsehen von Fachartikeln drucke ich sie aus, weil sie sowohl viel menschliche Analyse als auch eine maschinelle Zusammenfassung erfordern. Da die Zeit knapp ist, kritzele ich großflächige Hervorhebungen über wichtige Abschnitte und mögliche Zitate, damit mir die Struktur der Daten ins Auge springt, wenn es ans Schreiben geht. Da ich nicht zwanghaft genug bin, um mich mit Textmarkern abzugeben, kennzeichne ich zusätzliche Hervorhebungen mit vielfältigen Symbolen, größerer Schrift und anderen sehr persönlichen Hinweisen auf die Wichtigkeit.

Viele Menschen – darunter zahlreiche einflussreiche Personen, die Wichtiges schreiben – verwenden jedoch farbige Textmarker und unterschiedlich gefärbten Text, um Inhalte hervorzuheben.

Winston Churchill verwendete Stifte in verschiedenen Farben für unterschiedliche Arten von Hervorhebungen. Hier scheint er bei den Vorbereitungen für seine Rede „finest hour“ Rot als Korrekturzeichen zu verwenden. Quelle

Dem Artikel zufolge, der auf dem früheren Foto zu sehen ist (dem auf dem schwarzen Rednerpult), gibt es möglicherweise Hunderte Millionen Dokumente mit einer solchen Hervorhebungsebene, die Dokumentenverarbeitungssysteme wie Docling derzeit nicht erkennen können.

Diese manuellen Hervorhebungen sind bedeutsam: Sie verleihen Textstellen Gewicht, ohne dass sich dies zwangsläufig im sprachlichen Aufbau widerspiegelt. Wird der Inhalt einer solchen markierten Seite daher durch OCR (oder fortgeschrittenere Verfahren wie VLMs) auf bloßen Text reduziert, geht die gesamte Absicht des Autors nicht mit über; außerdem können Zweck und Intention des Dokuments dadurch sogar falsch dargestellt werden.

Nur die Hervorhebungen

Die neue Studie* kommt zu dem Ergebnis, dass weit verbreitete Dokumentkonverter Hervorhebungen und Textfarben regelmäßig verwerfen. KI-Agenten können wichtige Anweisungen dadurch weiterhin nicht erkennen. Von den 6.462 Richtliniendokumenten, die in den Tests der Studie untersucht wurden, enthielt fast ein Drittel roten Text oder rote Hervorhebungen; etwa jedes zehnte Dokument nutzte diese Markierungen, um auf wichtige Anforderungen aufmerksam zu machen.

Zu Agenten für die Verarbeitung von Unternehmensdokumenten erklären die Autoren^†††:

„Ausgereifte Konverter erfassen Text, Tabellen und Struktur zuverlässig, sodass die Pipeline einen einwandfreien Eindruck macht.

„Wir zeigen, dass bei allen eine Ebene verloren geht: die Bedeutung, die ein Autor durch die visuelle Gestaltung von Text vermittelt– und dass dieser Verlust dazu führt, dass Agenten mit voller Überzeugung falschliegen, statt sichtbar unvollständig zu sein. Letzteres ist im Einsatz schwerer zu erkennen.“

Im Test der Autoren schnitten KI-Modelle bei der Erkennung wichtiger Anforderungen in echten Richtliniendokumenten deutlich besser ab, wenn die ursprünglichen Hervorhebungen und Textfarben erhalten blieben. Dieses Ergebnis bestätigte sich bei sechs Modellen, darunter GPT-5.6 Terra, Claude Opus 5 und Claude Sonnet 5.

Aus Hervorhebungen lassen sich grundsätzlich zwei Signale gewinnen: a) ob überhaupt etwas hervorgehoben wurde und b) die Farbe, in der es markiert wurde. Wenn für manuelle Hervorhebungen mehrere Farben verwendet wurden, könnte ein sinnvolles Schema Rot als in gewisser Weise negativ codieren (wie wir zuvor bei Winston Churchills Korrekturen an seinen eigenen Reden gesehen haben):

Unten in dieser JSON-Ausgabe des Parsers für die erste Verarbeitungsstufe der Autoren sehen wir, dass die Pipeline die rote Hervorhebung erkannt und codiert hat. Folgerichtig können wir erkennen, dass die Wörter dem so codierten Intensitätsgrad entsprechen. Nützlicher ist die Methode jedoch, wenn Wörter hervorgehoben werden, die für sich genommen den Ton nicht wesentlich verschärfen und bei denen die Hervorhebung somit eine fehlende Betonung ergänzt. Quelle

Die Autoren schlagen vor, dass sich das Problem mit bestehenden Verarbeitungsketten ganz einfach lösen lässt: Sie können bei der Dokumentkonvertierung die ursprünglichen Hervorhebungen und Textfarben beibehalten und Kennzeichnungen hinzufügen, die dem KI-Modell ihre Bedeutung erklären. Dafür ist zwar keine zusätzliche KI-Verarbeitung nötig, doch die Zahl der Tokens, die zur Darstellung jedes Dokuments benötigt werden, verdoppelt sich dadurch ungefähr:

„Diese Hinweise wiederherzustellen ist deterministisch, erfordert ausschließlich Code und verursacht keine LLM-Aufrufe; der gesamte hier berichtete Effekt beruht allein auf dem Parsing. Es kostet allerdings Tokens – ungefähr doppelt so viele wie reiner Text –, sodass bewusst Kontextbudget zugunsten der Faktentreue eingesetzt wird und kein kostenloser Gewinn erzielt wird.“

Gleichgültigkeit gegenüber Fettdruck

Ein interessanter Aspekt der Studie ist, dass die herkömmlichen Möglichkeiten zur Hervorhebung in digitalen Textdokumenten offenbar durch übermäßigen Gebrauch unwirksam werden^††:

„Der gesamte Effekt [i.e., of the new pipeline] wird von Hervorhebungen [and] [colour] getragen. Fettdruck, Kursivschrift, Festbreitenschrift und Durchstreichungen tragen nichts [measurable] dazu bei; ihre Konfidenzintervalle schließen den Nullwert ein.“

„Das liegt nicht daran, dass diese Formatierungen fehlen: Ein einziges Dokument enthält mehr als tausend Fettdruck-Markierungen. Vielmehr kommen sie so häufig vor, dass sie keine aussagekräftigen Hinweise liefern.“

„Wer jede Überschrift und jeden definierten Begriff fett setzt, hebt dadurch nichts gezielt hervor. Eine Anforderung einzufärben oder hervorzuheben, ist dagegen eine bewusste, sparsam eingesetzte Maßnahme. Die Typisierung von Formatierungshinweisen lohnt sich nur bei solchen Hinweisen, die selten genug sind, um eine Absicht zu signalisieren.“

Aufgaben und Tests

Um das System zu entwickeln, durchsuchten die Autoren 6.462 echte Richtliniendokumente im .docx-Format aus einem nicht näher bezeichneten öffentlichen Korpus nach rotem Text und Hervorhebungen, ohne Vermutungen anhand der Formulierungen anzustellen. Anschließend sollten die Modelle die Anforderungen herausfiltern, die als besonders wichtig gekennzeichnet waren, und die nicht gekennzeichneten Anforderungen außer Acht lassen. Dazu erhielten sie folgende zentrale Anweisung:

„Liste alle Anforderungen in diesem Dokument auf, die der Autor besonders hervorgehoben oder als besonders wichtig gekennzeichnet hat.“

Für den Haupttest wurden 84 Dokumente ausgewählt. Sie enthielten 332 gekennzeichnete und 4.192 nicht gekennzeichnete Anforderungen (also Anforderungen ohne roten Text oder farbige Hervorhebung). Jedes Dokument musste mindestens eine gekennzeichnete und drei nicht gekennzeichnete Anforderungen enthalten, damit die KI nicht einfach alle Anforderungen auflisten konnte.

Der Referenzstandard wurde unmittelbar anhand der Formatierung in den Dokumenten festgelegt, nicht anhand menschlicher Einschätzungen oder eines anderen KI-Modells. Die Leistung wurde anhand der Werte für Präzision, Trefferquote und F1 gemessen. Dabei wurden sowohl korrekt erkannte Anforderungen als auch falsch positive Ergebnisse berücksichtigt, also Fälle, in denen nicht gekennzeichnete Anforderungen fälschlich in die Auswahl aufgenommen wurden.

Die Bewertung erfolgte programmgesteuert und ohne ein LLM als Beurteiler. Damit eine Antwort als Treffer gewertet wurde, musste sie mindestens vier aufeinanderfolgende Inhaltswörter aus der ursprünglichen Anforderung enthalten. So sollte verhindert werden, dass ähnliche, aber unterschiedliche Anforderungen als korrekt gewertet wurden.

Hervorhebungen ausblenden

In einem weiteren Test wurde untersucht, ob sich wichtige Anforderungen allein anhand ihrer Formulierung erkennen lassen, also ohne Hervorhebungen oder Farben. Ein anhand von Beispielen trainierter Textklassifikator erzielte einen ROC-AUC-Wert von 0,664 (wobei 0,5 einer zufälligen Auswahl entspricht).

Einfachere Methoden schnitten nicht besser ab als der Zufall: Wenn Wörter, die auf Dringlichkeit hindeuteten, als Hinweise dienten, wurde ein Wert von 0,508 erzielt; bei Verwendung der Satzlänge lag der Wert bei 0,492. Diese Ergebnisse legen nahe, dass sich allein aus der Formulierung nur sehr wenig darüber ableiten lässt, was der Autor, der Hervorhebungen vorgenommen hat, beabsichtigt hat.

Das leuchtet ein: Wenn die Formulierungen vermutlich nachdrücklich genug gewesen wären, hätte der Autor keinen Anlass gesehen, sie nachträglich hervorzuheben.

Verglichene Verfahren

Verglichen wurden der Parser der Autoren (OURS), OURS mit Salienzrollen, OURS mit untypisiertem Markup, docx2python, Docling und die Konvertierung in reinen Text.

Für alle Verfahren wurden dieselben Dokumente und Fragen verwendet; nur die Art der Dokumentkonvertierung änderte sich. Der Hauptvergleich umfasste 76 Dokumente, wobei jeder Test dreimal wiederholt wurde:

Testergebnisse zum Vergleich von sechs Methoden, mit denen in Word-Dokumenten als „wichtig“ gekennzeichnete Anforderungen erkannt werden. Der obere Abschnitt zeigt die Ergebnisse für 76 Dokumente, die jeweils dreimal getestet wurden. Der untere Abschnitt zeigt einen separaten Bestätigungstest mit 79 Dokumenten und sechs Wiederholungen. Höhere F1-Werte stehen für eine bessere Leistung; niedrigere Falsch-Positiv-Raten bedeuten, dass weniger nicht gekennzeichnete Anforderungen fälschlich ausgewählt wurden. Statistisch signifikante Unterschiede sind fett hervorgehoben.

Wie oben gezeigt, erzielte das System der Autoren mit 0,690 den besten F1-Wert insgesamt, verglichen mit 0,586 für docx2python, 0,150 für Docling und gerade einmal 0,075 für reinen Text (der F1-Wert fasst Präzision und Trefferquote zu einem einzigen Genauigkeitsmaß zusammen, wobei 1,0 einem perfekten Ergebnis entspricht).

Wie wichtig es ist, die Formatierung zu erhalten, zeigten auch die Ergebnisse zu falsch positiven Treffern: Mit Docling wurden nicht markierte Anforderungen fast viermal so häufig fälschlich ausgewählt wie mit dem System der Autoren (4,3 % gegenüber 1,1 %).

In einem separaten Test wurde untersucht, ob KI-Modelle davon profitierten, wenn ihnen die Bedeutung der Formatierung erklärt wurde, statt ihnen lediglich die ursprünglichen Farben und Hervorhebungen zu zeigen. Dabei wurde eine kleine, aber statistisch signifikante Verbesserung festgestellt, wenn diese zusätzlichen Erläuterungen bereitgestellt wurden. Der größte Teil des Nutzens war jedoch bereits durch den Erhalt der Formatierung selbst erzielt worden.

Druck von außen

Die Forschenden führten eine zusätzliche Bewertung anhand des Office-Verständnistests (OCB) von Microsoft durch, der misst, wie genau sich Informationen aus Office-Dokumenten wiederherstellen lassen.

Aus 59 Word-Dokumenten wurden 326 Fragen zu Formatierung, Tabellen, Hyperlinks, Kommentaren und Fußnoten zusammengestellt. Sowohl die Fragen als auch die Bewertungskriterien wurden unabhängig von der Studie von Microsoft bereitgestellt:

Ergebnisse eines Vergleichs von fünf Methoden zur Dokumentkonvertierung anhand des Office-Verständnistests von Microsoft, der 326 Fragen aus 59 Word-Dokumenten umfasst. Die Werte reichen von 0 bis 1; höhere Werte stehen für bessere Ergebnisse. Der jeweils beste Wert jeder Kategorie ist fett hervorgehoben. Die untersten Zeilen fassen die Gesamtleistung und die statistische Signifikanz zusammen. Hier erzielte das System der Autoren den höchsten Gesamtwert, während docx2python bei der Erkennung von Hervorhebungen besser abschnitt.

Wie oben gezeigt, erzielte das System der Autoren mit 0,959 einen ausgezeichneten Gesamtwert, verglichen mit dem guten Wert von 0,810 für docx2python, dem mittleren Wert von 0,720 für Docling und dem relativ schwachen Wert von 0,634 für reinen Text.

Das neue System erzielte bei Metadaten, Kommentaren und Fußnoten perfekte Werte, während alle konkurrierenden Methoden null Punkte erreichten – diese Verbesserungen waren jedoch nicht allein auf den Erhalt von Hervorhebungen und Textfarben zurückzuführen. Auch bei der Wiederherstellung von Informationen aus Tabellen, Dokumentlayouts, Schriftarten und Hyperlinks erwies sich das System der Autoren als überlegen.

Fazit

Vor Kurzem habe ich mit wenig Erfolg versucht herauszufinden, ob sich meine eigene manuelle Hervorhebung von Tabellen und Abbildungen in einem wissenschaftlichen Fachaufsatz als PDF mithilfe von LLMs und/oder Python automatisieren ließe. Die Ergebnisse waren … nun ja, urkomisch. Die Strukturierung, Quantifizierung und Auswertung wissenschaftlicher Fachaufsätze ist inzwischen ein stark vertretener Forschungszweig, und für Gelegenheitslaien bleibt kaum Spielraum – oder Hoffnung.

Der Erfolg der Autoren besteht bei dieser Arbeit darin, einen wichtigen Hervorhebungshinweis erkannt zu haben, der bei der Übertragung verloren ging. Die Verdoppelung des Tokenverbrauchs, die ihre Lösung erfordert, ist jedoch keineswegs unerheblich – insbesondere angesichts des Umfangs, in dem OCR- und Dokumenterfassungsebenen arbeiten müssen. Ich denke daher, dass der eigentliche Gewinn hier darin besteht, das Problem erkannt zu haben.

* Titel: „Was der Autor geschrieben hat und was der Agent liest: Der unbemerkte Verlust von Hinweisen bei der Erfassung von Unternehmensdokumenten“.

^† Alles von Amazon.

^†† Hervorhebungen der Autoren, nicht meine; ich wandle allerdings regelmäßig die Quellenverweise im Fließtext der Autoren in Hyperlinks um.

Erstmals veröffentlicht am Freitag, dem 30. Oktober 2026