Bekæmpelse af den amerikanske regerings PDF-bjerg med computer vision

Adobes PDF-format har så dybt rod i den amerikanske regerings dokumentprocesser, at antallet af statens udstedte dokumenter, der i øjeblikket findes, kan være hundredvis af millioner. Ofte uigennemskuelige og uden metadata, fortæller disse PDF’er – mange skabt af automatiserede systemer – kollektivt ingen historier eller sagaer; hvis du ikke ved nøjagtig, hvad du søger, vil du sandsynligvis aldrig finde et relevant dokument. Og hvis du vidste, havde du sandsynligvis ikke brug for søgningen.Men et nyt projekt bruger computer vision og andre maskinlæringsmetoder til at ændre dette næsten utilgængelige bjerg af data til en værdifuld og gennemgåelig ressource for forskere, historikere, journalister og akademikere.

Da den amerikanske regering opdagede Adobes Portable Document Format (PDF) i 1990’erne, besluttede den, at den kunne lide det. I modsætning til redigérbar Word-dokumenter kunne PDF’er “bages” på en måde, der gjorde dem svære eller umulige at ændre senere; skrifttyper kunne indlejres, hvilket sikrede tværsplatformskompatibilitet; og udskrivning, kopiering og åbning kunne alle styres på en detaljeret basis.

Endnu vigtigere var disse kernefunktioner til stede i nogle af de ældste “baseline”-specifikationer af formatet, hvilket lovede, at arkivmateriale ikke ville behøve at genbearbejdes eller genbesøges senere for at sikre tilgængelighed. Næsten alt, hvad regeringsudgivelsen havde brug for, var på plads i 1996.

Med blockchain-proveniens og NFT-teknologier årtier væk, var PDF’en så tæt på en “død” analog dokument, som den nye digitale tidsalder kunne komme – kun et konceptuelt hik bagi en fax. Dette var præcis, hvad der ønskedes.

Internt uenighed om PDF

Omfanget af, hvori PDF’er er hermetiske, uigennemtrængelige og “ikke-sociale”, karakteriseres i dokumentationen om formatet på Library of Congress, som foretrækker PDF som sit “foretrukne format”:

‘Det primære formål med PDF/A-formatet er at repræsentere elektroniske dokumenter på en måde, der bevarer deres statiske visuelle udseende over tid, uafhængigt af de værktøjer og systemer, der bruges til at oprette, gemme eller visse filerne. Til dette formål søger PDF/A at maksimere enhedsuafhængighed, selvindhold og selv-dokumentation.’

Den fortsatte entusiasme for PDF-formatet, standarder for tilgængelighed og krav til en minimumsversion varierer over amerikanske regeringsdepartementer. For eksempel har Miljøbeskyttelsesagenturet strenge, men støttende politikker på dette område, mens den officielle amerikanske regeringswebside plainlanguage.gov erkender, at ‘brugere hader PDF’, og linker endda direkte til en rapport fra 2020 fra Nielsen Norman Group rapport med titlen PDF: Stadig uegnet til menneskeforbrug, 20 år senere.

Imens irs.gov, oprettet i 1995 specifikt for at omstille skatteagenturets dokumentation til digital, antog straks PDF og er stadig en ivrige fortaler.

Den virale spredning af PDF’er

Siden de grundlæggende specifikationer for PDF blev frigivet til open source af Adobe, er en række af server-side procesværktøjer og biblioteker dukket op, mange nu som venerable og etablerede som de 1996-æra PDF-specifikationer, og lige så pålidelige og fejlresistente, mens software-udbydere skyndte sig at integrere PDF-funktioner i billige værktøjer.

Derfor forbliver PDF’er elskede eller hadede af deres værtsdepartementer, men de forbliver almindelige i kommunikations- og dokumentationsrammerne på tværs af et stort antal amerikanske regeringsdepartementer.

I 2015 estimerede Adobes VP Engineering for Document Cloud, Phil Ydens , at 2,5 billioner PDF-dokumenter findes i verden, mens formatet menes at stå for mellem 6-11% af alle webindhold. I en teknologi, der er afhængig af at afbryde gamle teknologier, er PDF blevet en uudslettelig “rust” – en central del af strukturen, der værter det.

Fra 2018. Der er kun lidt bevis for en stærk udfordrer endnu. Kilde: https://twitter.com/trbrtc/status/980407663690502145

Ifølge en nyere studie fra forskere ved University of Washington og Library of Congress, ‘hundredvis af millioner af unikke amerikanske regeringsdokumenter, der er offentliggjort på internettet i PDF-form, er blevet arkiveret af biblioteker indtil videre’.

Men forskerne påstår, at dette kun er “spidsen af isbjerget”*:

‘Som den førende digitale historiker Roy Rosenzweig havde bemærket så tidligt som i 2003, er det, når det kommer til født-digitale primærkilder til videnskab, essentiel at udvikle metoder og tilgange, der kan skalere til titusinder og hundredtusinder og endda milliarder af digitale [ressourcer]. Vi er nu nået til det punkt, hvor udvikling af tilgange for denne skala er nødvendig.

‘Som eksempel indeholder Library of Congress’ webarkiv nu mere end 20 milliarder enkelt digitale ressourcer.’

PDF’er: Resistent mod analyse

Forskerne i Washingtons projekt anvender en række maskinlæringsmetoder til en offentligt tilgængelig og annoteret korpus af 1.000 udvalgte dokumenter fra Library of Congress, med det formål at udvikle systemer, der kan udtrække tekst- og billedbaserede forespørgsler på en lysning hurtig og multimodal måde i rammer, der kan skalere op til højderne af nuværende (og voksende) PDF-volumener, ikke kun i regeringen, men på tværs af en mangfoldighed af sektorer.

Da tempoet af digitalisering accelererede på tværs af en række balkaniserede amerikanske regeringsdepartementer i 1990’erne, ledte dette til divergerende politikker og praksisser, og ofte til antagelse af PDF-publiceringsmetoder, der ikke indeholdt samme kvalitet af metadata, som tidligere var guldstandarden for regeringsbibliotekstjenester – eller endda meget grundlæggende indbyggede PDF-metadata, som kunne have været til nogen nytte i at gøre PDF-samlinger mere tilgængelige og venlige over for indeksering.

Under diskussion af denne periode med afbrydelse, bemærker forfatterne:

‘Disse bestræbelser ledte til en eksplosiv vækst i mængden af regeringsudgivelser, hvilket igen resulterede i en sammenbrud af den generelle tilgang, hvormed konsistente metadata blev produceret for sådanne udgivelser og hvormed bibliotekerne erhvervede kopier af dem.’

En typisk PDF-bjerg findes uden nogen kontekst ud over de URL’er, der linker direkte til det. Yderligere er dokumenterne i bjerget indhegnede, selvhenvisende og danner ikke del af nogen “saga” eller fortælling, som nuværende søgemetoder sandsynligvis vil opdage, selvom sådanne skjulte forbindelser uden tvivl findes.

Ved den skala, der overvejes, er manuel annotation eller kuratering en umulig opgave. Korpusset af data, hvorfra projektets 1000 Library of Congress-dokumenter er afledt, indeholder over 40 millioner PDF’er, som forskerne har til hensigt at gøre til en adresserbar udfordring i den nærmeste fremtid.

Computer vision til PDF-analyse

De fleste af de tidligere studier, som forfatterne citerer, bruger tekstbaserede metoder til at udtrække funktioner og højniveauforhold fra PDF-materiale; i modsætning hertil centerer projektet sig om at udlede funktioner og tendenser ved at undersøge PDF’erne på et visuelt niveau, i overensstemmelse med nuværende forskning i multimodal analyse af nyhedsindhold.

Selvom maskinlæring også er anvendt på denne måde til PDF-analyse via sektorspecifikke skemaer som Semantic Scholar, har forfatterne til hensigt at skabe mere højniveaudannelsesrør, der er bredt anvendelige på tværs af en række udgivelser, snarere end tilpasset til begrænsningerne i videnskabsudgivelsen eller andre lige så snævre sektorer.

Behandling af ubalanceret data

Ved at oprette en metrik-skema har forskerne måttet overveje, hvor skævt data er, i hvert fald i forhold til størrelse pr. enhed.

Af de 1000 PDF’er i det udvalgte dataset (som forfatterne antager at være repræsentativt for de 40 millioner, de er draget fra), er 33% kun en side lang, og 39% er 2-5 sider lange. Dette placerer 72% af dokumenterne på fem sider eller færre.

Efter dette er der et ret stort spring: 18% af de resterende dokumenter er 6-20 sider lange, 6% er 20-100 sider lange og 3% er 100+ sider lange. Dette betyder, at de længste dokumenter udgør majoriteten af de enkelte sider, der udtrækkes, mens en mindre granuleret tilgang, der overvejer dokumenterne alene, ville skæve opmærksomhed mod de langt mere talrige kortere dokumenter.

Alligevel er disse indsigtsgivende metrikker, da enkelt-sidesdokumenter ofte er tekniske schematikker eller kort; 2-5-sidesdokumenter ofte er pressemeddelelser og skemaer; og de meget lange dokumenter generelt er boglængde-rapporter og udgivelser, selvom de i forhold til længde er blandet med enorme automatiserede data-udskrivninger, der indeholder helt andre udfordringer for semantisk fortolkning.

Derfor behandler forskerne denne ubalance som en meningsfuld semantisk egenskab i sig selv. Alligevel skal PDF’erne stadig behandles og kvantificeres på en side-for-sides basis.

Arkitektur

I begyndelsen af processen parses PDF’ens metadata til tabeldata. Denne metadata er ikke fraværende, fordi den består af kendte størrelser som filstørrelse og kilde-URL.

PDF’en splittes derefter op i sider, og hver side konverteres til et JPEG-format via ImageMagick. Billedet føres derefter til et ResNet-50-netværk, der udleder en 2.048 dimensionel vektor fra anden-sidste lag.

Pipeline for udtrækning fra PDF’er. Kilde: https://arxiv.org/ftp/arxiv/papers/2112/2112.02471.pdf

Samtidig konverteres siden til en tekstfil ved pdf2text, og TF-IDF-featuriseringer erhverves via scikit-learn.

TF-IDF står for Term Frequency Inverse Document Frequency, der måler forekomsten af hver frase inden for dokumentet i forhold til dens frekvens i hele datasettet, på en finmasket skala fra 0 til 1. Forskerne har brugt enkeltord (unigrammer) som den mindste enhed i systemets TF-IDF-indstillinger.

Selvom de erkender, at maskinlæring har mere avancerede metoder at tilbyde end TF-IDF, argumenterer forfatterne for, at noget mere komplekst er unødvendigt for den nævnte opgave.

Faktum, at hvert dokument har en tilhørende kilde-URL, giver systemet mulighed for at bestemme proveniens af dokumenter på tværs af datasettet.

Dette kan synes trivialt for 1000 dokumenter, men det vil være ret interessant for 40 millioner+.

Nye tilgange til tekst-søgning

Et af projektets mål er at gøre søgeresultater for tekstbaserede forespørgsler mere meningsfulde, således at det tillader en frugtbar udforskning uden behov for overmål af forhåndsviden. Forfatterne påstår:

‘Selvom nøgleords-søgning er en intuitiv og højtydende metode til søgning, kan den også være begrænsende, da brugerne er ansvarlige for at formulere nøgleordsforespørgsler, der henter relevante resultater.’

Når TF-IDF-værdierne er erhvervet, er det muligt at beregne de mest almindeligt fremhævede ord og estimerer en “gennemsnitlig” dokument i korpusset. Forskerne påstår, at da disse korrekturlæste nøgleord ofte er meningsfulde, danner denne proces nyttige relationer for akademikere at udforske, som ikke kunne erhverves alene ved individuel indeksering af dokumenternes tekst.

Visuelt faciliterer processen en “mood board” af ord, der kommer fra forskellige regeringsdepartementer:

TF-IDF-nøgleord for forskellige amerikanske regeringsdepartementer, erhvervet via TF-IDF.

Disse udtrukne nøgleord og relationer kan senere bruges til at danne dynamiske matricer i søgeresultater, med korpusset af PDF’er, der begynder at “fortælle historier”, og nøgleordsrelationer, der forbinder dokumenter (muligvis endda over hundredvis af år), for at skabe en udforskbar multi-del “saga” for et emne eller tema.

Forskerne bruger k-means-klyngning til at identificere dokumenter, der er relaterede, selv hvor dokumenterne ikke deler en fælles kilde. Dette giver mulighed for at udvikle nøgleords-metadata, der kan anvendes på tværs af datasettet, som ville manifestere sig enten som rangeringer for termer i en streng tekst-søgning eller som nærliggende noder i en mere dynamisk udforskningsmiljø:

Visuel analyse

Den sande nytænkning i Washington-forskerne tilgang er at anvende maskinlæringsbaserede visuelle analyse-teknikker til den rasteriserede fremtoning af PDF’erne i datasettet.

På denne måde er det muligt at generere en “REDACTED”-tag på en visuel basis, hvor intet i teksten selv ville give en fælles nok grund.

En klynge af redigerede PDF-for sider identificeret af computer vision i det nye projekt.

Desuden kan denne metode udlede en sådan tag, selv fra regeringsdokumenter, der er blevet rasteriseret, hvilket ofte er tilfældet med redigeret materiale, og gør det muligt at udføre en udførlig og omfattende søgning efter denne praksis.

Derudover kan kort og schematikker også identificeres og kategoriseres, og forfatterne kommenterer på denne mulige funktionalitet:

‘For akademikere, der er interesseret i afsløringer af klassificerede eller andre følsomme oplysninger, kan det være særligt interessant at isolere netop denne type klynge af materiale til analyse og forskning.’

Dokumentet bemærker, at en bred vifte af visuelle indikatorer, der er fælles for bestemte typer af regerings-PDF’er, kan ligeledes bruges til at klassificere dokumenter og skabe “sagaer”. Sådanne “tokens” kunne være det kongres-sæl, eller andre logoer eller hyppige visuelle funktioner, der ikke har nogen semantisk eksistens i en ren tekst-søgning.

Dokumenter, der ikke kan klassificeres, eller hvor dokumentet kommer fra en ikke-fælles kilde, kan identificeres fra deres layout, såsom kolonner, skrifttyper og andre distinkte aspekter.

Layout alene kan give grupperinger og klassificeringer i et visuelt søgemiljø.

Visuelt søgemiljøet er åbenbart det, der har drevet dette arbejde.

‘Evnen til at søge og analysere PDF’er efter deres visuelle funktioner er således en kapacious tilgang: det supplerer ikke kun eksisterende bestræbelser omkring tekst-analyse, men genopfinder også, hvad søgning og analyse kan være for født-digitale indhold.’

Forfatterne har til hensigt at udvikle deres ramme til at kunne håndtere langt større dataset, herunder 2008 End of Term Presidential Web Archive datasettet, der indeholder over 10 millioner elementer. Først og fremmest har de til hensigt at skale systemet op til at håndtere “titusinder” af regerings-PDF’er.

Systemet er tænkt til at blive evaluueret først med rigtige brugere, herunder bibliotekarer, arkivarer, advokater, historikere og andre akademikere, og vil udvikle sig på baggrund af feedback fra disse grupper.

Kæmpe med skalaen af født-digitale regeringsudgivelser: mod pipelines for behandling og søgning af millioner af PDF’er er skrevet af Benjamin Charles Germain Lee (ved Paul G. Allen School for Computer Science & Engineering) og Trevor Owens, offentlig historiker og chef for digitalt indholdsstyring ved Library of Congress i Washington, D.C..

* Min konvertering af inline-citationer til hyperlinks.

Udgivet første gang den 28. december 2021