Die PDF-Berg des US-Regierungs mit Computer-Vision bekämpfen

Adobes PDF-Format hat sich so tief in die Dokumentenpipelines der US-Regierung verankert, dass die Anzahl der von den Bundesstaaten ausgestellten Dokumente, die derzeit existieren, auf Hunderte von Millionen geschätzt wird. Oft undurchsichtig und ohne Metadaten, erzählen diese PDFs – viele davon von automatisierten Systemen erstellt – keine Geschichten oder Sagen; wenn man nicht genau weiß, wonach man sucht, wird man wahrscheinlich nie ein relevantes Dokument finden. Und wenn man es wusste, brauchte man die Suche wahrscheinlich nicht.Ein neues Projekt verwendet jedoch Computer-Vision und andere maschinelle Lernalgorithmen, um diesen fast unzugänglichen Berg von Daten in eine wertvolle und erforschbare Ressource für Forscher, Historiker, Journalisten und Wissenschaftler zu verwandeln.

Als die US-Regierung Adobes Portable Document Format (PDF) in den 1990er Jahren entdeckte, entschied sie, dass ihr gefiel. Im Gegensatz zu bearbeitbaren Word-Dokumenten konnten PDFs auf verschiedene Weise “gebacken” werden, die es schwierig oder sogar unmöglich machten, sie später zu ändern; Schriftarten konnten eingebettet werden, um die Kompatibilität über verschiedene Plattformen hinweg zu gewährleisten; und Drucken, Kopieren und sogar Öffnen konnten alle auf granularer Basis gesteuert werden.

Noch wichtiger war, dass diese Kernfunktionen in einigen der ältesten “Baseline”-Spezifikationen des Formats verfügbar waren, was versprach, dass Archivmaterial nicht später noch einmal verarbeitet oder überarbeitet werden musste, um die Zugänglichkeit zu gewährleisten. Fast alles, was die Regierungspublikation benötigte, war bereits 1996 verfügbar in diesem Dokument.

Mit Blockchain-Herkunfts- und NFT-Technologien, die noch Jahrzehnte entfernt waren, war das PDF so nah wie möglich an einem “toten” analogen Dokument, nur ein konzeptioneller Schritt von einem Fax entfernt. Genau das war gewollt.

Interne Meinungsverschiedenheiten über PDF

Das Ausmaß, in dem PDFs hermetisch, unzugänglich und “nicht-sozial” sind, wird in der Dokumentation zum Format in der Library of Congress beschrieben, die PDF als ihr “bevorzugtes Format” favorisiert:

‘Der primäre Zweck des PDF/A-Formats ist es, elektronische Dokumente in einer Weise darzustellen, die ihr statisches visuelles Erscheinungsbild über die Zeit hinweg bewahrt, unabhängig von den Werkzeugen und Systemen, die für die Erstellung, Speicherung oder Darstellung der Dateien verwendet werden. Zu diesem Zweck versucht PDF/A, die Geräteunabhängigkeit, Selbstenthaltung und Selbstbeschreibung zu maximieren.’

Die anhaltende Begeisterung für das PDF-Format, die Standards für die Barrierefreiheit und die Anforderungen an eine Mindestversion variieren innerhalb der US-Regierungsbehörden. Zum Beispiel hat die Umweltschutzbehörde strenge, aber unterstützende Richtlinien in dieser Hinsicht, während die offizielle Website der US-Regierung plainlanguage.gov anerkennt, dass ‘Benutzer PDFs hassen’ und sogar direkt auf einen Bericht von 2020 der Nielsen Norman Group verweist, der den Titel PDF: Immer noch nicht für den menschlichen Verzehr geeignet, 20 Jahre später trägt.

Währenddessen hat die Website irs.gov, die 1995 speziell zur Umstellung der Dokumentation der Steuerbehörde auf digitale Formate erstellt wurde, sofort PDF übernommen und ist immer noch ein befürworter davon.

Die virale Verbreitung von PDFs

Seit die Kernspezifikationen für PDF von Adobe als Open Source veröffentlicht wurden, ist eine Reihe von Server-seitigen Verarbeitungstools und Bibliotheken entstanden, viele davon als angesehene und etablierte wie die PDF-Spezifikationen von 1996 und als zuverlässig und fehlerresistent, während Softwarehersteller sich beeilten, PDF-Funktionen in günstige Tools zu integrieren.

Als Folge davon bleiben PDFs, ob geliebt oder verhasst von ihren Gastbehörden, in den Kommunikations- und Dokumentationsframeworks über eine enorme Anzahl von US-Regierungsbehörden hinweg ubiquitär.

Im Jahr 2015 schätzte Adobes VP Engineering für Document Cloud, Phil Ydens, dass 2,5 Billionen PDF-Dokumente auf der Welt existieren, während das Format für etwa 6-11% aller Webinhalte verantwortlich gemacht wird. In einer Technologie-Kultur, die süchtig nach der Störung alter Technologien ist, ist PDF zu einem unverwüstlichen “Rost” geworden – ein zentraler Teil der Struktur, die es beherbergt.

Von 2018. Es gibt kaum Beweise für einen starken Herausforderer. Quelle: https://twitter.com/trbrtc/status/980407663690502145

Laut einer jüngsten Studie von Forschern der University of Washington und der Library of Congress ‘hunderte von Millionen einzigartiger US-Regierungs-Dokumente, die im Internet in PDF-Form archiviert wurden, bis heute’.

Die Forscher behaupten jedoch, dass dies nur die “Spitze des Eisbergs” ist:

‘Wie der führende Digital-Historiker Roy Rosenzweig bereits 2003 festgestellt hat, ist es bei geborenen digitalen Primärquellen für die Wissenschaft von entscheidender Bedeutung, Methoden und Ansätze zu entwickeln, die auf Zehn- und Hundertmillionen und sogar Milliarden digitaler Ressourcen skaliert werden können. Wir haben nun den Punkt erreicht, an dem die Entwicklung solcher Ansätze notwendig ist.

‘Als Beispiel enthält die Web-Archiv-Sammlung der Library of Congress über 20 Milliarden einzelne digitale Ressourcen.’

PDFs: Resistent gegen Analyse

Das Projekt der Washingtoner Forscher wendet eine Reihe von maschinellen Lernalgorithmen auf eine öffentlich zugängliche und annotierte Korpus von 1.000 ausgewählten Dokumenten aus der Library of Congress an, mit dem Ziel, Systeme zu entwickeln, die in der Lage sind, Text- und Bild-basierte Abfragen in Frameworks zu verarbeiten, die auf die Höhe der aktuellen (und wachsenden) PDF-Volumina skaliert werden können, nicht nur in der Regierung, sondern auch in einer Vielzahl von Sektoren.

Wie die Studie feststellt, führte der beschleunigte Prozess der Digitalisierung in den 1990er Jahren in einer Reihe von US-Regierungsbehörden zu divergierenden Richtlinien und Praktiken und häufig zur Übernahme von PDF-Veröffentlichungsmethoden, die nicht die gleiche Qualität von Metadaten enthielten, die einst der Goldstandard der Regierungsbibliotheksdienste waren – oder sogar sehr grundlegende native PDF-Metadaten, die bei der Erstellung von PDF-Sammlungen hilfreich gewesen wären.

Die Autoren diskutieren diese Periode der Störung und bemerken:

‘Diese Bemühungen führten zu einem explosiven Wachstum der Menge an Regierungspublikationen, was wiederum zu einem Zusammenbruch des allgemeinen Ansatzes führte, bei dem konsistente Metadaten für diese Publikationen produziert und von Bibliotheken erworben wurden.’

Folglich existiert ein typischer PDF-Berg ohne jeden Kontext, außer den URLs, die direkt darauf verweisen. Weiterhin sind die Dokumente im Berg verschlossen, selbstbezüglich und bilden keinen Teil einer “Sage” oder Erzählung, die die aktuellen Suchmethoden wahrscheinlich erkennen würden, obwohl solche versteckten Verbindungen zweifellos existieren.

Bei der Skalierung, die in Betracht gezogen wird, ist manuelle Annotation oder Kuration eine unmögliche Perspektive. Der Korpus von Daten, aus dem die 1.000 Library-of-Congress-Dokumente stammen, enthält über 40 Millionen PDFs, die die Forscher in naher Zukunft zu einer ansprechbaren Herausforderung machen wollen.

Computer-Vision für PDF-Analyse

Die meisten vorherigen Forschungen, die die Autoren zitieren, verwenden textbasierte Methoden, um Merkmale und hochrangige Konzepte aus PDF-Material zu extrahieren; im Gegensatz dazu konzentriert sich ihr Projekt darauf, Merkmale und Trends durch die Untersuchung der PDFs auf visueller Ebene zu ableiten, in Übereinstimmung mit aktueller Forschung zur multimodalen Analyse von Nachrichteninhalten.

Obwohl maschinelles Lernen auch auf diese Weise auf PDF-Analyse via sektorspezifische Schemata wie Semantic Scholar angewendet wurde, zielen die Autoren darauf ab, höhere Extraktionspipelines zu erstellen, die weitgehend anwendbar sind und nicht auf die Einschränkungen des Wissenschaftsverlags oder anderer eng gefasster Sektoren beschränkt sind.

Unausgewogene Daten

Bei der Erstellung eines Metrik-Schemas mussten die Forscher berücksichtigen, wie sehr die Daten verzerrt sind, zumindest in Bezug auf die Größe pro Element.

Von den 1.000 PDFs im ausgewählten Datensatz (den die Autoren als repräsentativ für die 40 Millionen, aus denen sie gezogen wurden, annehmen), sind 33% nur eine Seite lang und 39% sind 2-5 Seiten lang. Das bedeutet, dass 72% der Dokumente fünf Seiten oder weniger haben.

Danach gibt es einen großen Sprung: 18% der verbleibenden Dokumente sind 6-20 Seiten lang, 6% sind 20-100 Seiten lang und 3% sind 100+ Seiten lang. Das bedeutet, dass die längsten Dokumente den größten Teil der einzelnen Seiten ausmachen, während ein weniger granularer Ansatz, der die Dokumente allein betrachtet, die Aufmerksamkeit auf die viel zahlreicheren kürzeren Dokumente lenken würde.

Trotzdem sind dies aufschlussreiche Metriken, da einzelne Seiten-Dokumente tendenziell technische Schemata oder Karten sind; 2-5-Seiten-Dokumente tendenziell Pressemitteilungen und Formulare sind; und die sehr langen Dokumente tendenziell Buchlängen-Berichte und Publikationen sind, obwohl sie in Bezug auf Länge mit riesigen automatischen Daten-Dumps vermischt sind, die ganz andere Herausforderungen für die semantische Interpretation darstellen.

Daher behandeln die Forscher diese Unausgewogenheit als eine sinnvolle semantische Eigenschaft an sich. Dennoch müssen die PDFs auf pro-Seite-Basis verarbeitet und quantifiziert werden.

Architektur

Am Anfang des Prozesses wird die Metadaten des PDFs in tabellarische Daten geparsed. Diese Metadaten fehlen nicht, da sie bekannte Größen wie Dateigröße und Quell-URL umfassen.

Das PDF wird dann in Seiten aufgeteilt, wobei jede Seite in JPEG-Format via ImageMagick konvertiert wird. Das Bild wird dann einem ResNet-50-Netzwerk zugeführt, das einen 2.048-dimensionalen Vektor aus der zweitletzten Schicht ableitet.

Die Pipeline für die Extraktion aus PDFs. Quelle: https://arxiv.org/ftp/arxiv/papers/2112/2112.02471.pdf

Zugleich wird die Seite in eine Textdatei durch pdf2text konvertiert und TF-IDF-Featurisierungen via scikit-learn erhalten.

TF-IDF steht für Term Frequency Inverse Document Frequency, das die Häufigkeit jedes Ausdrucks innerhalb des Dokuments zu seiner Häufigkeit im gesamten Datensatz misst, auf einer feinen Skala von 0 bis 1. Die Forscher haben einzelne Wörter (Unigramme) als die kleinste Einheit im TF-IDF-System verwendet.

Obwohl sie anerkennen, dass maschinelles Lernen komplexere Methoden als TF-IDF anbietet, argumentieren die Autoren, dass alles Komplexere für die gestellte Aufgabe unnötig ist.

Durch die Tatsache, dass jedes Dokument eine zugehörige Quell-URL hat, kann das System die Herkunft der Dokumente im Datensatz bestimmen.

Dies mag trivial für 1.000 Dokumente sein, aber es wird ein Auge auf 40 Millionen+ werfen.

Neue Ansätze für Textsuche

Eines der Ziele des Projekts ist es, die Suchergebnisse für textbasierte Abfragen sinnvoller zu machen, um eine fruchtbare Erforschung ohne die Notwendigkeit exzessiver Vorkenntnisse zu ermöglichen. Die Autoren stellen fest:

‘Während die Schlüsselwort-Suche eine intuitive und hoch skalierbare Methode der Suche ist, kann sie auch begrenzt sein, da Benutzer für die Formulierung von Schlüsselwort-Abfragen verantwortlich sind, die relevante Ergebnisse liefern.’

Sobald die TF-IDF-Werte erhalten sind, kann die häufigste Vorkommen von Wörtern berechnet und ein “durchschnittliches” Dokument im Korpus geschätzt werden. Die Forscher behaupten, dass diese cross-dokumentären Schlüsselwörter normalerweise sinnvoll sind und nützliche Beziehungen für Wissenschaftler bilden, die nicht allein durch die individuelle Indizierung des Textes jedes Dokuments erhalten werden können.

Visuell ermöglicht der Prozess ein “Moodboard” von Wörtern, die von verschiedenen Regierungsbehörden stammen:

TF-IDF-Schlüsselwörter für verschiedene US-Regierungsbehörden, durch TF-IDF erhalten.

Diese extrahierten Schlüsselwörter und Beziehungen können später verwendet werden, um dynamische Matrizen in Suchergebnissen zu bilden, wobei der Korpus von PDFs beginnt, “Geschichten” zu erzählen, und Schlüsselwort-Beziehungen Dokumente (möglicherweise über Hunderte von Jahren) verbinden, um eine erforschbare, mehrteilige “Sage” für ein Thema oder eine Thematik zu skizzieren.

Die Forscher verwenden k-Means-Clustering, um Dokumente zu identifizieren, die verwandt sind, auch wenn die Dokumente keine gemeinsame Quelle haben. Dies ermöglicht die Entwicklung von Schlüsselwort-Metadaten, die auf das gesamte Datensatz anwendbar sind, die entweder als Ranglisten für Begriffe in einer strengen Textsuche oder als benachbarte Knoten in einer dynamischeren Erforschungsumgebung manifestieren:

Visuelle Analyse

Die wahre Neuheit des Ansatzes der Washingtoner Forscher besteht darin, maschinelle Lernalgorithmen basierende visuelle Analysetechniken auf das gerasterte Erscheinungsbild der PDFs im Datensatz anzuwenden.

Auf diese Weise kann ein “REDAKTIERTE”-Tag auf visueller Basis generiert werden, wo nichts im Text selbst eine gemeinsame Grundlage bieten würde.

Ein Cluster von redaktionellen PDF-Titelseiten, durch Computer-Vision identifiziert.

Weiterhin kann diese Methode auch dann einen solchen Tag ableiten, wenn die Regierungsdokumente rasterisiert wurden, was oft der Fall bei redaktionellem Material ist, und ermöglicht eine umfassende und erschöpfende Suche nach dieser Praxis.

Außerdem können Karten und Schemata auf ähnliche Weise identifiziert und kategorisiert werden, und die Autoren bemerken diese potenzielle Funktionalität:

‘Für Wissenschaftler, die an der Aufdeckung von klassifizierten oder sonstigen sensiblen Informationen interessiert sind, kann es von besonderem Interesse sein, genau diese Art von Cluster von Material für Analyse und Forschung zu isolieren.’

Die Studie bemerkt, dass eine Vielzahl von visuellen Indikatoren, die typisch für bestimmte Arten von Regierungs-PDFs sind, ebenfalls verwendet werden können, um Dokumente zu klassifizieren und “Sagas” zu erstellen. Solche “Tokens” könnten das Kongress-Siegel oder andere Logos oder wiederkehrende visuelle Merkmale sein, die keine semantische Existenz in einer reinen Textsuche haben.

Weiterhin können Dokumente, die sich der Klassifizierung widersetzen oder deren Quelle nicht gemeinsam ist, durch ihre Layouts identifiziert werden, wie Spalten, Schriftarten und andere charakteristische Aspekte.

Layout allein kann Gruppierungen und Klassifizierungen in einem visuellen Suchraum ermöglichen.

Die Autoren haben die Textanalyse nicht vernachlässigt, aber offensichtlich ist der visuelle Suchraum, was diese Arbeit angetrieben hat.

‘Die Fähigkeit, PDFs nach ihren visuellen Merkmalen zu durchsuchen und zu analysieren, ist somit ein umfassender Ansatz: Er erweitert nicht nur bestehende Bemühungen um die textbasierte Analyse, sondern stellt auch neu dar, was Suche und Analyse für geborene digitale Inhalte sein können.’

Die Autoren beabsichtigen, ihr Framework zu entwickeln, um viel größere Datensätze zu bewältigen, einschließlich des 2008 End of Term Presidential Web Archive Datensatzes, der über 10 Millionen Elemente enthält. Zunächst jedoch planen sie, das System auf “Zehntausende” von Regierungs-PDFs zu skalieren.

Das System soll zunächst mit realen Benutzern getestet werden, einschließlich Bibliothekaren, Archivaren, Anwälten, Historikern und anderen Wissenschaftlern, und wird auf der Grundlage der Rückmeldungen dieser Gruppen weiterentwickelt.

Grappling with the Scale of Born-Digital Government Publications: Toward Pipelines for Processing and Searching Millions of PDFs ist geschrieben von Benjamin Charles Germain Lee (an der Paul G. Allen School for Computer Science & Engineering) und Trevor Owens, Public Historian in Residence und Leiter der digitalen Inhaltsverwaltung an der Library of Congress in Washington, D.C..

* Meine Umwandlung von inline-Zitaten in Hyperlinks.

Ursprünglich veröffentlicht am 28. Dezember 2021