Het Amerikaanse PDF-gebergte van de overheid met computer vision aanpakken

Adobe’s PDF-formaat heeft zich zo diep in de documentenstroom van de Amerikaanse overheid genesteld dat het aantal door de overheid uitgegeven documenten dat momenteel bestaat, naar schatting in de honderden miljoenen loopt. Vaak ondoorzichtig en zonder metadata, vertellen deze PDF’s – veelal gegenereerd door geautomatiseerde systemen – collectief geen verhalen of sagen; als je niet precies weet waar je naar zoekt, zal je waarschijnlijk nooit een relevant document vinden. En als je het wel wist, had je waarschijnlijk geen zoekfunctie nodig.Echter, een nieuw project gebruikt computer vision en andere machine learning-benaderingen om deze bijna onbenaderbare berg aan data om te zetten in een waardevolle en onderzoekbare bron voor onderzoekers, historici, journalisten en wetenschappers.

Toen de Amerikaanse overheid Adobe’s Portable Document Format (PDF) in de jaren 90 ontdekte, besloot ze dat ze het leuk vond. In tegenstelling tot bewerkbare Word-documenten konden PDF’s op verschillende manieren worden “gebakken” om ze later moeilijk of onmogelijk te maken om te wijzigen; lettertypen konden worden ingebed, waardoor cross-platform-compatibiliteit werd gewaarborgd; en afdrukken, kopiëren en zelfs openen konden allemaal op granulair niveau worden gecontroleerd.

Belangrijker nog, waren deze kernfuncties al beschikbaar in enkele van de oudste ‘baseline’-specificaties van het formaat, waardoor werd beloofd dat archiefmateriaal later niet opnieuw hoeft te worden verwerkt of herbekeken om toegankelijkheid te garanderen. Bijna alles wat de overheid nodig had voor publicatie was al beschikbaar in 1996.

Met blockchain-provenance en NFT-technologieën nog decennia verwijderd, was de PDF zo dicht mogelijk bij een ‘dode’ analoge document, slechts een conceptueel haperen verwijderd van een fax. Dit was precies wat gewenst was.

Interne twijfel over PDF

De mate waarin PDF’s hermetisch, ondoordringbaar en ‘niet-sociaal’ zijn, wordt gekarakteriseerd in de documentatie over het formaat bij de Library of Congress, die PDF als haar ‘voorkeursformaat’ bevoroordeelt:

‘Het primaire doel van het PDF/A-formaat is om elektronische documenten weer te geven op een manier die hun statische visuele verschijning in de loop van de tijd behoudt, onafhankelijk van de tools en systemen die worden gebruikt voor het maken, opslaan of weergeven van de bestanden. Daartoe probeert PDF/A om apparaat-onafhankelijkheid, zelfbevattende en zelfdocumentatie te maximaliseren.’

De voortdurende enthausiasme voor het PDF-formaat, standaarden voor toegankelijkheid en vereisten voor een minimumversie, variëren allemaal over de verschillende afdelingen van de Amerikaanse overheid. Zo heeft de Environmental Protection Agency bijvoorbeeld strikte maar ondersteunende beleidsmaatregelen op dit gebied, terwijl de officiële website van de Amerikaanse overheid plainlanguage.gov erkent dat ‘gebruikers een hekel hebben aan PDF’, en zelfs rechtstreeks linkt naar een rapport van de Nielsen Norman Group uit 2020 met de titel PDF: nog steeds niet geschikt voor menselijke consumptie, 20 jaar later.

Ondertussen heeft irs.gov, in 1995 specifiek opgericht om de documentatie van de belastingdienst te digitaliseren, onmiddellijk PDF aangenomen en is nog steeds een grote voorstander.

De virale verspreiding van PDF’s

Sinds de core-specificaties voor PDF door Adobe zijn vrijgegeven als open source, is een reeks van server-side verwerkingstools en bibliotheken ontstaan, waarvan veel nu net zo verheven en ingeburgerd zijn als de PDF-specs uit 1996, en even betrouwbaar en foutbestendig, terwijl softwareleveranciers haastten zich om PDF-functionaliteit te integreren in goedkope tools.

Als gevolg daarvan blijven PDF’s, geliefd of gehaat door hun gastheer-afdelingen, overal aanwezig in de communicatie- en documentatiekaders van een enorm aantal afdelingen van de Amerikaanse overheid.

In 2015 schatte Adobe’s VP Engineering for Document Cloud, Phil Ydens dat 2,5 biljoen PDF-documenten in de wereld bestaan, terwijl het formaat naar schatting verantwoordelijk is voor 6-11% van alle webinhoud. In een techniecultuur die verslaafd is aan het ontwrichten van oude technologieën, is PDF onuitroeibaar ‘roest’ geworden – een centraal onderdeel van de structuur die het herbergt.

Van 2018. Er is weinig bewijs van een formidabele uitdager. Bron: https://twitter.com/trbrtc/status/980407663690502145

Volgens een recente studie van onderzoekers aan de Universiteit van Washington en de Library of Congress, ‘honderden miljoenen unieke Amerikaanse overheidsdocumenten die op internet zijn gepubliceerd in PDF-formaat, zijn door bibliotheken gearchiveerd tot op heden’.

Toch beweren de onderzoekers dat dit slechts het ‘topje van de ijsberg’ is*:

‘Zoals de toonaangevende digitale geschiedenisgeleerde Roy Rosenzweig al in 2003 had opgemerkt, is het bij born-digital primaire bronnen voor wetenschappelijk onderzoek essentieel om methoden en benaderingen te ontwikkelen die kunnen worden geschaald tot tientallen en honderden miljoenen, en zelfs miljarden digitale bronnen. We zijn nu op het punt aangekomen waarop het ontwikkelen van benaderingen voor deze schaal noodzakelijk is.

‘Als voorbeeld bevatten de webarchieven van de Library of Congress nu meer dan 20 miljard individuele digitale bronnen.’

PDF’s: weerstand tegen analyse

Het project van de onderzoekers in Washington past een aantal machine learning-methoden toe op een openbaar en geannoteerde corpus van 1000 geselecteerde documenten uit de Library of Congress, met als doel systemen te ontwikkelen die in staat zijn om tekst- en beeldgebaseerde queries op een multimodale manier te doorzoeken in kaders die kunnen worden geschaald tot de hoogte van de huidige (en groeiende) PDF-volumes, niet alleen in de overheid, maar in een veelvoud van sectoren.

De onderzoekers merken op dat de versnelde digitalisering in de jaren 90 leidde tot een explosieve groei van het aantal overheidspublicaties, wat resulteerde in een breuk in de algemene aanpak van het produceren van consistent metadata voor deze publicaties en van het verwerven van exemplaren ervan door bibliotheken.

De auteurs noteren over deze periode van verstoring:

‘Deze inspanningen leidden tot een explosieve groei van het aantal overheidspublicaties, wat op zijn beurt resulteerde in een breuk in de algemene aanpak van het produceren van consistent metadata voor deze publicaties en van het verwerven van exemplaren ervan door bibliotheken.’

Consequentie is dat een typische PDF-berg bestaat zonder enige context, behalve de URLs die rechtstreeks naar hem linken. Bovendien zijn de documenten in de berg afgesloten, zelfreferentieel en vormen geen deel van enig ‘saga’ of verhaal dat huidige zoekmethoden waarschijnlijk zullen ontdekken, hoewel dergelijke verborgen verbindingen ongetwijfeld bestaan.

Op de schaal die in overweging wordt genomen, is handmatige annotatie of curatie een onmogelijk perspectief. De corpus van data waaruit de 1000 documenten van de Library of Congress zijn afgeleid, bevat meer dan 40 miljoen PDF’s, die de onderzoekers van plan zijn om in de nabije toekomst aan te pakken.

Computer vision voor PDF-analyse

De meeste van de eerder onderzoek door de auteurs die tekstgebaseerde methoden gebruiken om kenmerken en hoogwaardige concepten uit PDF-materiaal te extraheren; in tegenstelling daarmee, richt hun project zich op het afleiden van kenmerken en trends door de PDF’s op een visueel niveau te onderzoeken, in overeenstemming met huidig onderzoek naar multimodale analyse van nieuwsinhoud.

Hoewel machine learning ook op deze manier is toegepast op PDF-analyse via sectorspecifieke schema’s zoals Semantic Scholar, beogen de auteurs om hogere extractiepijpleidingen te creëren die breed toepasbaar zijn over een reeks publicaties, in plaats van afgestemd op de striktere eisen van wetenschappelijke publicaties of andere even smalle sectoren.

Omgaan met onbalans in de data

Bij het creëren van een metricschema, hebben de onderzoekers rekening moeten houden met hoe scheef de data is, tenminste in termen van grootte per item.

Van de 1000 PDF’s in de geselecteerde dataset (die de auteurs veronderstellen representatief te zijn voor de 40 miljoen waaruit ze zijn getrokken), zijn 33% slechts één pagina lang, en 39% zijn 2-5 pagina’s lang. Dit betekent dat 72% van de documenten vijf pagina’s of minder hebben.

Daarna is er een grote sprong: 18% van de resterende documenten zijn 6-20 pagina’s lang, 6% zijn 20-100 pagina’s lang en 3% zijn 100+ pagina’s lang. Dit betekent dat de langste documenten de meerderheid van de individuele pagina’s vormen, terwijl een minder granulair benadering die de documenten alleen in overweging neemt, de aandacht zou richten op de veel talrijker kortere documenten.

Nonetheless, deze zijn interessante metrics, omdat enkele pagina’s documenten meestal technische schema’s of kaarten zijn; 2-5 pagina’s documenten meestal persberichten en formulieren zijn; en de zeer lange documenten meestal boeklengte-rapporten en publicaties zijn, hoewel, in termen van lengte, ze gemengd zijn met enorme geautomatiseerde datadumps die heel andere uitdagingen voor semantische interpretatie vormen.

Daarom behandelen de onderzoekers deze onbalans als een betekenisvolle semantische eigenschap op zich. Desalniettemin moeten de PDF’s nog steeds op pagina-per-pagina-basis worden verwerkt en gekwantificeerd.

Architectuur

Aan het begin van het proces wordt de metadata van de PDF in tabelgegevens geparsed. Deze metadata zal niet ontbreken, omdat het bekende grootheden zoals bestandsgrootte en de bron-URL omvat.

De PDF wordt vervolgens opgesplitst in pagina’s, met elke pagina omgezet in JPEG-formaat via ImageMagick. Het beeld wordt vervolgens doorgegeven aan een ResNet-50-netwerk dat een 2048-dimensionale vector afleidt uit de tweede-laagste laag.

De pijplijn voor extractie uit PDF’s. Bron: https://arxiv.org/ftp/arxiv/papers/2112/2112.02471.pdf

Op hetzelfde moment wordt de pagina omgezet in een tekstbestand door pdf2text, en TF-IDF-featurisaties worden verkregen via scikit-learn.

TF-IDF staat voor Term Frequency Inverse Document Frequency, die de prevalentie van elke frase binnen het document meet ten opzichte van zijn frequentie in de hostdataset, op een fijne schaal van 0 tot 1. De onderzoekers hebben enkelvoudige woorden (unigrams) gebruikt als de kleinste eenheid in de TF-IDF-instellingen van het systeem.

Hoewel ze erkennen dat machine learning meer geavanceerde methoden te bieden heeft dan TF-IDF, betogen de auteurs dat alles complexer is dan TF-IDF onnodig is voor de gestelde taak.

De feiten dat elk document een bijbehorende bron-URL heeft, stelt het systeem in staat om de herkomst van documenten over de dataset te bepalen.

Dit lijkt triviaal voor 1000 documenten, maar het zal een oogopener zijn voor 40 miljoen+.

Nieuwe benaderingen voor tekstzoekopdrachten

Een van de doelen van het project is om zoekresultaten voor tekstgebaseerde queries meer betekenis te geven, zonder dat excessieve voorafgaande kennis nodig is. De auteurs stellen:

‘Hoewel trefwoordzoek een intuïtieve en zeer uitbreidbare methode van zoekopdrachten is, kan het ook beperkend zijn, omdat gebruikers verantwoordelijk zijn voor het formuleren van trefwoordqueries die relevante resultaten opleveren.’

Zodra de TF-IDF-waarden zijn verkregen, is het mogelijk om de meest voorkomende woorden te berekenen en een ‘gemiddeld’ document in de corpus te schatten. De onderzoekers beweren dat, aangezien deze cross-document trefwoorden meestal betekenisvol zijn, dit proces nuttige relaties vormt voor onderzoekers om te onderzoeken, die niet kunnen worden verkregen door individuele indexering van de tekst van elk document.

Visueel gezien, faciliteert het proces een ‘mood board’ van woorden die afkomstig zijn van verschillende overheidsafdelingen:

TF-IDF-trefwoorden voor verschillende Amerikaanse overheidsafdelingen, verkregen door TF-IDF.

Deze geëxtraheerde trefwoorden en relaties kunnen later worden gebruikt om dynamische matrices in zoekresultaten te vormen, met de corpus van PDF’s die begint te ‘verhalen vertellen’, en trefwoordrelaties die documenten verbinden (mogelijk zelfs over honderden jaren), om een onderzoekbare multi-part ‘saga’ voor een onderwerp of thema te schetsen.

De onderzoekers gebruiken k-means clustering om documenten te identificeren die verwant zijn, zelfs als de documenten geen gemeenschappelijke bron delen. Dit stelt de ontwikkeling van sleutelwoordmetadata toe die toepasbaar zijn over de gehele dataset, die zou kunnen verschijnen als rangschikkingen voor termen in een strikte tekstzoekopdracht, of als nabije knooppunten in een meer dynamische verkenningomgeving:

Visuele analyse

De ware noviteit van de benadering van de onderzoekers in Washington is het toepassen van machine learning-gebaseerde visuele analyse-technieken op de gerasterde verschijning van de PDF’s in de dataset.

Hierdoor is het mogelijk om een ‘REDACTED’-tag te genereren op basis van visuele gronden, waar niets in de tekst zelf noodzakelijkerwijs een voldoende basis zou bieden.

Een cluster van geredigeerde PDF-voorkanten geïdentificeerd door computer vision in het nieuwe project.

Verder kan deze methode een dergelijke tag afleiden, zelfs van overheidsdocumenten die zijn gerasterd, wat vaak het geval is met geredigeerd materiaal, waardoor een uitgebreide en alomvattende zoekopdracht naar deze praktijk mogelijk wordt.

Bovendien kunnen kaarten en schema’s op dezelfde manier worden geïdentificeerd en gecategoriseerd, en de auteurs merken op over deze potentieel functionaliteit:

‘Voor onderzoekers die geïnteresseerd zijn in onthullingen van geclassificeerde of anderszins gevoelige informatie, kan het van bijzonder belang zijn om precies dit type cluster van materiaal te isoleren voor analyse en onderzoek.’

Het artikel merkt op dat een breed scala aan visuele indicatoren die gemeenschappelijk zijn voor specifieke soorten overheids-PDF’s, eveneens kunnen worden gebruikt om documenten te classificeren en ‘saga’s’ te creëren. Dergelijke ‘tokens’ kunnen het Congres-zegel zijn, of andere logo’s of terugkerende visuele kenmerken die geen semantische bestaan hebben in een zuivere tekstzoekopdracht.

Verder kunnen documenten die moeilijk te classificeren zijn, of waarvan het document afkomstig is van een niet-gemeenschappelijke bron, worden geïdentificeerd op basis van hun lay-out, zoals kolommen, lettertypen en andere onderscheidende kenmerken.

Lay-out alleen kan groeperingen en classificaties bieden in een visuele zoekruimte.

Hoewel de auteurs tekst niet hebben genegeerd, is het duidelijk dat de visuele zoekruimte het werk heeft aangedreven.

‘De mogelijkheid om PDF’s te zoeken en te analyseren op basis van hun visuele kenmerken is een omvattende benadering: het versterkt niet alleen bestaande inspanningen op het gebied van tekstuele analyse, maar herdefinieert ook wat zoekopdrachten en analyse kunnen zijn voor born-digital content.’

De auteurs zijn van plan om hun kader te ontwikkelen om veel grotere datasets te accommoderen, waaronder de 2008 End of Term Presidential Web Archive dataset, die meer dan 10 miljoen items bevat. Aanvankelijk zijn ze van plan om het systeem te schalen om ‘tienduizenden’ overheids-PDF’s aan te pakken.

Het systeem is bedoeld om aanvankelijk te worden geëvalueerd met echte gebruikers, waaronder bibliothecarissen, archivarissen, advocaten, historici en andere onderzoekers, en zal evolueren op basis van de feedback van deze groepen.

Grappling with the Scale of Born-Digital Government Publications: Toward Pipelines for Processing and Searching Millions of PDFs is geschreven door Benjamin Charles Germain Lee (aan de Paul G. Allen School for Computer Science & Engineering) en Trevor Owens, Openbaar Historicus in Residentie en Hoofd van Digitale Inhoudsbeheer bij de Library of Congress in Washington, D.C..

* Mijn conversie van inline-citaten naar hyperlinks.

Oorspronkelijk gepubliceerd op 28 december 2021