Bekjempelse av den amerikanske regjeringens PDF-fjell med datavisjon

Adobes PDF-format har festet seg så dypt i den amerikanske regjeringens dokumentflyt at antallet statlige utstedte dokumenter som for tiden eksisterer, er konservativt anslått til å være i hundred millioner. Ofte ugjennomtrengelige og mangler metadata, forteller disse PDF-ene – mange skapt av automatiserte systemer – kollektivt ingen historier eller sagaer; hvis du ikke vet eksakt hva du leter etter, vil du sannsynligvis aldri finne et relevant dokument. Og hvis du visste, hadde du sannsynligvis ikke behov for søket.Men et nytt prosjekt bruker datavisjon og andre maskinlæringsmetoder til å endre denne nesten utilnærlige fjell av data til en verdifull og utforskbart ressurs for forskere, historikere, journalister og akademikere.

Når den amerikanske regjeringen oppdaget Adobes Portable Document Format (PDF) på 1990-tallet, bestemte den seg for å like det. I motsetning til redigerbare Word-dokumenter, kunne PDF-er “bakes” på en måte som gjorde dem vanskelige eller umulige å endre senere; fonter kunne være innbygget, noe som sikret kompatibilitet på tvers av plattformer; og utskrift, kopiering og åpning kunne alle kontrolleres på en detaljert basis.

Mer viktig var at disse kjernefunksjonene var tilgjengelige i noen av de eldste “baseline”-spesifikasjonene av formatet, og lovet at arkivmateriale ikke ville trenge å bli prosessert eller gjennomgått senere for å sikre tilgjengelighet. Nesten alt som regjeringens publisering trengte, var på plass i 1996.

Med blockchain-proveniens og NFT-teknologier tiår unna, var PDF-en like nær som den nye digitale tidsalderen kunne komme til et “dødt” analogt dokument, bare et konseptuelt hakk unna et faks. Dette var akkurat det som var ønsket.

Intern uenighet om PDF

Omfanget av PDF-er er karakterisert i dokumentasjonen på formatet på Library of Congress, som foretrekker PDF som sitt “foretrukne format”:

‘Hovedformålet med PDF/A-formatet er å representere elektroniske dokumenter på en måte som bevare deres statiske visuelle utseende over tid, uavhengig av verktøyene og systemene som brukes for å opprette, lagre eller rendre filene. Til dette formålet, forsøker PDF/A å maksimere enhetsuavhengighet, selvinnhold og selv-dokumentasjon.’

Den pågående entusiasmen for PDF-formatet, standarder for tilgjengelighet og krav til en minimumsversjon, varierer over amerikanske regjeringsdepartementer. For eksempel, mens Environmental Protection Agency har strenge, men støttende politikker i denne sammenhengen, erkjenner den offisielle amerikanske regjeringsnettsiden plainlanguage.gov at ‘brukerne hater PDF’, og lenker direkte til en rapport fra 2020 fra Nielsen Norman Group med tittelen PDF: Fremdeles uegnet for menneskelig forbruk, 20 år senere.

I mellomtiden har irs.gov, opprettet i 1995 spesifikt for å overføre skattemyndighetens dokumentasjon til digitalt, umiddelbart adoptert PDF og er fortsatt en ivrig forkjemper.

Den virale spredningen av PDF-er

Siden de grunnleggende spesifikasjonene for PDF ble utgitt som åpen kildekode av Adobe, har en rekke av server-side prosesseringsverktøy og biblioteker dukket opp, mange nå som venerable og etablert som 1996-års PDF-spesifikasjoner, og like pålitelige og feilfrie som softwareleverandører rushet til å integrere PDF-funksjonalitet i lavkostnadsverktøy.

Derfor er PDF-er fremdeles ubenyttet i kommunikasjons- og dokumentasjonsrammeverk over en stor mengde amerikanske regjeringsdepartementer.

I 2015 estimerte Adobes VP Engineering for Document Cloud, Phil Ydens at 2,5 billioner PDF-dokumenter eksisterer i verden, mens formatet antas å stå for mellom 6-11% av all nettinnhold. I en teknologikultur som er avhengig av å forstyrre gamle teknologier, har PDF blitt en uutradert “rust” – en sentral del av strukturen som den er en del av.

Fra 2018. Det er lite bevis på en formidabel utfordrer ennå. Kilde: https://twitter.com/trbrtc/status/980407663690502145

Ifølge en ny studie fra forskere ved University of Washington og Library of Congress, ‘hundre millioner unike amerikanske regjeringsdokumenter som er publisert på nettet i PDF-format, er arkivert av biblioteker til dags dato’.

Men forskerne hevder at dette bare er “tuppen av isfjellet”*:

‘Som ledende digital historiker Roy Rosenzweig hadde notert så tidlig som i 2003, når det gjelder født-digitale primærkilder for forskning, er det essensielt å utvikle metoder og tilnærminger som vil skala til titall og hundre millioner og selv milliarder av digitale ressurser. Vi har nå nådd punktet der utvikling av tilnærminger for denne skalaen er nødvendig.

‘Som et eksempel, inneholder Library of Congress’ nettarkiv nå over 20 milliarder enkelt digitale ressurser.’

PDF-er: Motstandsdyktige mot analyse

Forskerne i Washingtons prosjekt anvender en rekke maskinlæringsmetoder til en offentlig tilgjengelig og annotert korpus av 1000 utvalgte dokumenter fra Library of Congress, med intensjonen om å utvikle systemer som er i stand til lynrask, multimodal gjennfinning av tekst- og bildebaserte spørringer i rammer som kan skala opp til høyder av nåværende (og voksende) PDF-volumer, ikke bare i regjeringen, men over en mangfoldighet av sektorer.

Da den amerikanske regjeringen på 1990-tallet begynte å digitalisere på en rekke Balkaniserte departementer, ledet det til divergerende politikker og praksiser, og ofte til at PDF-publikasjonsmetoder som ikke inneholdt samme kvalitet på metadata som en gang var gullstandarden for regjeringsbibliotektjenester – eller selv grunnleggende native PDF-metadata, som kunne ha vært til noen nytte i å gjøre PDF-samlinger mer tilgjengelige og vennlige for indeksering.

Forskerne diskuterer denne perioden med forstyrrelse og noterer:

‘Disse innsatsene ledet til en eksplosiv vekst av mengden regjeringspublikasjoner, som igjen resulterte i en nedbryting av den generelle tilnærmingen som konsistente metadata ble produsert for slike publikasjoner og som biblioteker tilegnet seg kopier av dem.’

Som følge av dette, eksisterer en typisk PDF-fjell uten noen kontekst bortsett fra URL-ene som lenker direkte til det. Videre er dokumentene i fjellet lukkede, selvhenviskende og danner ikke en del av noen “saga” eller fortelling som nåværende søkemetoder sannsynligvis vil kunne skjelne, selv om slike skjulte forbindelser uten tvil eksisterer.

På skalaen under betraktning, er manuell annotering eller kurering en umulig prospekt. Korpuset av data fra hvilket prosjektets 1000 Library of Congress-dokumenter ble avledet, inneholder over 40 millioner PDF-er, som forskerne har til hensikt å gjøre til en adressebar utfordring i nær fremtid.

Datavisjon for PDF-analyse

De fleste av de tidligere forskningene som forfatterne nevner, bruker tekstbaserte metoder til å trekke ut funksjoner og høynivå-konsepter fra PDF-materiale; i motsetning, sentrerer deres prosjekt seg rundt å trekke ut funksjoner og trender ved å undersøke PDF-ene på et visuelt nivå, i tråd med nåværende forskning i multimodal analyse av nyhetsinnhold.

Til tross for at maskinlæring også er blitt anvendt på denne måten i PDF-analyse via sektorspesifikke skjemaer som Semantic Scholar, har forfatterne til hensikt å skape mer høynivå-uttrekks-pipelines som er vidt anvendelige over en rekke publikasjoner, snarere enn å være tilpasset strenge krav i vitenskapelige publikasjoner eller andre like smale sektorer.

Behandling av ubalansert data

Ved å lage en metrikk-skjema, har forskerne måttet vurdere hvor skjev dataene er, i alle fall når det gjelder størrelse per enhet.

Av de 1000 PDF-ene i det utvalgte datasettet (som forfatterne antar å være representativt for de 40 millionene de ble trukket fra), er 33% bare en side lang, og 39% er 2-5 sider lange. Dette plasserer 72% av dokumentene på fem sider eller færre.

Deretter er det et ganske stort sprang: 18% av de gjenværende dokumentene er 6-20 sider lange, 6% er 20-100 sider lange og 3% er 100+ sider lange. Dette betyr at de lengste dokumentene utgjør majoriteten av enkelt sider som er trukket ut, mens en mindre granulert tilnærming som tar hensyn til dokumentene alene, ville skjeve oppmerksomheten mot de langt mer tallrike kortere dokumentene.

Likevel er disse insightful metrikk, ettersom enkeltside-dokumenter tenderer til å være tekniske skjema eller kart; 2-5 side-dokumenter tenderer til å være pressemeldinger og skjema; og de lengste dokumentene er vanligvis boklange rapporter og publikasjoner, selv om de, i lengde, er blandet med enorme automatiske data-dumper som inneholder helt andre utfordringer for semantisk tolkning.

Derfor behandler forskerne denne ubalansen som en meningsfull semantisk egenskap i seg selv. Likevel, må PDF-ene fortsatt prosesseres og kvantifiseres på en per-side basis.

Arkitektur

I begynnelsen av prosessen, parses PDF-ens metadata til tabellformet data. Denne metadataen vil ikke være fraværende, fordi den består av kjente størrelser som filstørrelse og kilde-URL.

PDF-en splittes deretter inn i sider, med hver side konvertert til JPEG-format via ImageMagick. Bildet føres deretter til et ResNet-50-nettverk som trekker ut en 2048-dimensjonal vektor fra det nest siste laget.

Pipeline for uttrekk fra PDF-er. Kilde: https://arxiv.org/ftp/arxiv/papers/2112/2112.02471.pdf

Sammen med dette konverteres siden til en tekstfil via pdf2text, og TF-IDF-featuriseringer blir gjort via scikit-learn.

TF-IDF står for Term Frequency Inverse Document Frequency, som måler forekomsten av hver frase innenfor dokumentet til dens frekvens gjennom hele datasettet, på en finmasket skala fra 0 til 1. Forskerne har brukt enkeltord (unigrammer) som den minste enheten i systemets TF-IDF-innstillinger.

Selv om de innrømmer at maskinlæring har mer sofistikerte metoder å tilby enn TF-IDF, argumenterer forfatterne for at noe mer komplisert er unødvendig for den oppgitte oppgaven.

Fakta om at hvert dokument har en tilhørende kilde-URL, gjør det mulig for systemet å bestemme proveniens av dokumenter over hele datasettet.

Dette kan synes trivialt for 1000 dokumenter, men det vil være ganske åpnerøyende for 40 millioner+.

Nye tilnærminger til tekst-søk

Et av prosjektets mål er å gjøre søke-resultater for tekstbaserte spørringer mer meningsfulle, og å tillate fruktbare utforsking uten behov for eksessiv forhåndskunnskap. Forfatterne påstår:

‘ Mens nøkkelordsøk er en intuitiv og høyt ekstensibel metode for søk, kan det også være begrensende, ettersom brukerne er ansvarlige for å formulere nøkkelords-spørringer som trekker ut relevante resultater.’

Når TF-IDF-verdier er gjort, er det mulig å beregne de mest vanlige ordene og estimere en “gjennomsnittlig” dokument i korpuset. Forskerne hevder at siden disse korpus-ordene vanligvis er meningsfulle, danner denne prosessen nyttige relasjoner for forskere å utforske, som ikke kunne bli gjort kun ved individuell indeksering av tekst i hvert enkelt dokument.

Visuelt, fasiliteter prosessen en “mood board” av ord som kommer fra ulike regjeringsdepartementer:

TF-IDF-nøkkelord for ulike amerikanske regjeringsdepartementer, gjort via TF-IDF.

Disse uttrekte nøkkelord og relasjoner kan senere bli brukt til å danne dynamiske matriser i søke-resultater, med korpuset av PDF-er som begynner å “fortelle historier”, og nøkkelords-relasjoner som binder sammen dokumenter (muligens over flere hundre år), for å skisse en utforskbart multi-del “saga” for et tema eller emne.

Forskerne bruker k-means-klynging til å identifisere dokumenter som er relatert, selv der dokumentene ikke deler en felles kilde. Dette muliggjør utvikling av nøkkelord-metadata som er anvendelige over hele datasettet, som ville manifestere seg enten som rangeringer for termer i en streng tekst-søk, eller som nærliggende noder i en mer dynamisk utforskning-miljø:

Visuell analyse

Den sanne nyskapningen i Washington-forskerne tilnærming er å anvende maskinlæringsbasert visuell analyse-teknikker til den rasteriserte utseendet til PDF-ene i datasettet.

På denne måten er det mulig å generere en “REDAKTERT”-tag på et visuelt grunnlag, der ingenting i teksten selv ville nødvendigvis gi en felles nok basis.

En klynge av redigerte PDF-for-sider identifisert av datavisjon i det nye prosjektet.

Derfor kan denne metoden også trekke ut en slik tag fra regjeringsdokumenter som har blitt rasterisert, noe som ofte er tilfelle med redigert materiale, og muliggjør en uttømmende og omfattende søk etter denne praksisen.

I tillegg kan kart og skjemaer bli identifisert og kategorisert, og forfatterne kommenterer denne potensielle funksjonaliteten:

‘For forskere som er interessert i avsløringer av klassifisert eller annen sensitiv informasjon, kan det være av spesiell interesse å isolere nettopp denne typen klynge av materiale for analyse og forskning.’

Dokumentet påpeker at en rekke visuelle indikatorer som er vanlige for bestemte typer regjerings-PDF, kan også bli brukt til å klassifisere dokumenter og skape “sagaer”. Slike “token” kunne være det kongressens segl, eller andre logoer eller gjentakende visuelle funksjoner som ikke har noen semantisk eksistens i en ren tekst-søk.

Dokumenter som motsetter seg klassifisering, eller der dokumentet kommer fra en ikke-felles kilde, kan bli identifisert fra deres layout, som kolonner, font-typer og andre distinkte aspekter.

Layout alene kan gi grupperinger og klassifiseringer i et visuelt søke-rom.

Forfatterne har ikke forlatt tekst, men det er tydelig at det visuelle søke-rommet er det som har drevet dette arbeidet.

‘Evnen til å søke og analysere PDF-er etter deres visuelle funksjoner er derfor en kapabel tilnærming: den ikke bare supplerer eksisterende innsats omkring tekst-analyse, men også gjenoppretter hva søk og analyse kan være for født-digitale innhold.’

Forfatterne har til hensikt å utvikle deres rammeverk til å kunne håndtere langt større datasett, inkludert 2008 End of Term Presidential Web Archive datasettet, som inneholder over 10 millioner elementer. Først og fremst, har de til hensikt å skala opp systemet til å kunne håndtere “titall tusen” regjerings-PDF-er.

Systemet er ment å bli evaluert først med virkelige brukere, inkludert bibliotekarer, arkivarer, advokater, historikere og andre forskere, og vil utvikle seg basert på tilbakemeldinger fra disse gruppene.

Grappling with the Scale of Born-Digital Government Publications: Toward Pipelines for Processing and Searching Millions of PDFs er skrevet av Benjamin Charles Germain Lee (ved Paul G. Allen School for Computer Science & Engineering) og Trevor Owens, offentlig historiker og leder for digital innholdshåndtering ved Library of Congress i Washington, D.C..

* Min konvertering av inline-citater til hyperlenker.

Opprinnelig publisert 28. desember 2021