Hanterar den amerikanska regeringens PDF-berg med hjälp av datorseende

Adobes PDF-format har etablerat sig så djupt i den amerikanska regeringens dokumentflöden att antalet statligt utfärdade dokument som för närvarande existerar uppskattas till hundratals miljoner. Ofta opaka och utan metadata, berättar dessa PDF:er – många skapade av automatiserade system – kollektivt inga berättelser eller sagor; om du inte vet exakt vad du letar efter, kommer du förmodligen aldrig att hitta ett relevant dokument. Och om du visste, behövde du förmodligen inte sökningen. Men ett nytt projekt använder datorseende och andra maskinlärningsmetoder för att förvandla denna nästan otillgängliga datamängd till en värdefull och utforskbar resurs för forskare, historiker, journalister och akademiker.

När den amerikanska regeringen upptäckte Adobes Portable Document Format (PDF) på 1990-talet, bestämde den sig för att den gillade det. Till skillnad från redigerbara Word-dokument kunde PDF:er “gräddas” på ett antal sätt som gjorde dem svåra eller till och med omöjliga att ändra senare; teckensnitt kunde infogas, vilket säkerställde kompatibilitet mellan olika plattformar; och utskrift, kopiering och till och med öppnande kunde alla kontrolleras på ett detaljerat sätt.

Mer viktigt var att dessa kärnfunktioner fanns tillgängliga i några av de äldsta “baslinje”-specifikationerna för formatet, vilket lovade att arkivmaterialet inte skulle behöva bearbetas om eller besökas igen för att säkerställa tillgänglighet. Nästan allt som regeringens publicering behövde fanns på plats år 1996.

Med blockchain-bevis och NFT-teknologier decennier bort, var PDF:en så nära den framväxande digitala eran kunde komma till ett “dött” analogt dokument, bara ett konceptuellt hak i från en fax. Detta var exakt vad som ville ha.

Intern oenighet om PDF

I vilken utsträckning PDF:er är hermetiska, otillgängliga och “icke-sociala” karakteriseras i dokumentationen om formatet på Kongressbiblioteket, som föredrar PDF som sitt “önskat format”:

‘Det primära syftet med PDF/A-formatet är att representera elektroniska dokument på ett sätt som bevarar deras statiska visuella utseende över tid, oberoende av de verktyg och system som används för att skapa, lagra eller återge filerna. För detta ändamål försöker PDF/A maximera enhetsoberoende, självinneslutning och självdokumentation.’

Pågående entusiasm för PDF-formatet, standarder för tillgänglighet och krav på en minimiversion varierar över olika amerikanska regeringsdepartement. Till exempel har miljöskyddsmyndigheten stränga men stödjande policys i detta avseende, medan den officiella amerikanska regeringens webbplats plainlanguage.gov erkänner att ‘användare avskyr PDF’, och länkar direkt till en rapport från 2020 från Nielsen Norman Group med titeln PDF: fortfarande olämplig för mänsklig konsumtion, 20 år senare.

Medan irs.gov, skapad 1995 specifikt för att överföra skattemyndighetens dokumentation till digital form, omedelbart antog PDF och är fortfarande en entusiastisk förespråkare.

Den virala spridningen av PDF:er

Sedan de grundläggande specifikationerna för PDF släpptes som öppen källkod av Adobe, har en mängd serverbaserade bearbetningsverktyg och bibliotek dykt upp, många nu som vördade och etablerade som de 1996-års PDF-specifikationerna, och lika tillförlitliga och felfria som mjukvaruleverantörer skyndade sig att integrera PDF-funktioner i billiga verktyg.

Följaktligen, omtyckta eller avskydda av sina värddepartement, förblir PDF:er allmänt förekommande i kommunikations- och dokumentationsramverken över ett stort antal amerikanska regeringsdepartement.

År 2015 uppskattade Adobes VP Engineering för Document Cloud, Phil Ydens att 2,5 biljoner PDF-dokument existerar i världen, medan formatet tros stå för någonstans mellan 6-11% av all webbinnehåll. I en teknikultur som är beroende av att störa gamla teknologier, har PDF blivit outrotlig “rost” – en central del av strukturen som värdar den.

Från 2018. Det finns knappast några bevis på en formidabel utmanare ännu. Källa: https://twitter.com/trbrtc/status/980407663690502145

Enligt en ny studie från forskare vid University of Washington och Kongressbiblioteket, ‘hundratals miljoner unika amerikanska regeringsdokument som publicerats på webben i PDF-form har arkiverats av bibliotek hittills’.

Men forskarna hävdar att detta bara är “toppen av isberget”*:

‘Som den ledande digitala historikern Roy Rosenzweig noterade så tidigt som 2003, när det gäller födda digitala primärkällor för vetenskap, är det viktigt att utveckla metoder och tillvägagångssätt som kan skalas upp till tiotals och hundratals miljoner och till och med miljarder digitala [resurser]. Vi har nu nått den punkt där utveckling av tillvägagångssätt för denna skala är nödvändig.

‘Till exempel innehåller Kongressbibliotekets webbarkiv nu mer än 20 miljarder enskilda digitala resurser.’

PDF:er: Motståndskraftiga mot analys

Forskningsprojektet i Washington tillämpar en mängd olika maskinlärningsmetoder på en offentligt tillgänglig och annoterad korpus av 1 000 utvalda dokument från Kongressbiblioteket, med avsikt att utveckla system som kan hämta text- och bildbaserade frågor på ett snabbt och multimodalt sätt i ramverk som kan skalas upp till den nuvarande (och växande) mängden PDF:er, inte bara inom regeringen, utan även inom en mängd olika sektorer.

Som artikeln observerar, ledde den accelererande takten av digitalisering över en mängd olika amerikanska regeringsdepartement på 1990-talet till avvikande policys och metoder, och ofta till antagandet av PDF-publiceringsmetoder som inte innehöll samma kvalitet på metadata som tidigare var guldstandarden för regeringsbibliotekstjänster – eller ens grundläggande nativa PDF-metadata, som skulle ha varit till någon hjälp för att göra PDF-samlingar mer tillgängliga och vänliga för indexering.

När de diskuterar denna period av avbrott, noterar författarna:

‘Dessa ansträngningar ledde till en explosiv tillväxt av mängden regeringspublikationer, som i sin tur resulterade i en nedbrytning av den allmänna metoden för att producera konsekventa metadata för sådana publikationer och för att bibliotek förvärvade kopior av dem.’

Följaktligen existerar en typisk PDF-berg utan någon kontext utom de URL:er som länkar direkt till den. Dessutom är dokumenten i berget slutna, självrefererande och utgör inte en del av någon “saga” eller berättelse som nuvarande sökmetoder sannolikt kan urskilja, även om sådana dolda samband utan tvekan existerar.

På den skala som övervägs, är manuell annotering eller kurering en omöjlig möjlighet. Korpusen av data från vilken projektets 1000 Kongressbiblioteksdokument hämtades innehåller över 40 miljoner PDF:er, som forskarna avser att göra till en hanterbar utmaning inom en snar framtid.

Datorseende för PDF-analys

De flesta av de tidigare forskning som författarna citerar använder textbaserade metoder för att extrahera funktioner och högnivåkoncept från PDF-material; i kontrast, centrerar deras projekt på att härleda funktioner och trender genom att undersöka PDF:erna på ett visuellt plan, i linje med nuvarande forskning om multimodal analys av nyhetsinnehåll.

Även om maskinlärning också har tillämpats på detta sätt på PDF-analys via sektorspecifika scheman som Semantic Scholar, syftar författarna till att skapa mer högnivåextraheringspipelines som är tillämpliga över en mängd olika publikationer, snarare än att anpassas till strikturerna för vetenskaplig publicering eller andra lika smala sektorer.

Hantering av obalanserad data

Vid skapandet av en metricschema, har forskarna varit tvungna att överväga hur skeva data är, åtminstone i termer av storlek per artikel.

Av de 1000 PDF:erna i den utvalda datamängden (som författarna antar är representativ för de 40 miljoner som de hämtades från), är 33% bara en sida långa, och 39% är 2-5 sidor långa. Detta placerar 72% av dokumenten på fem sidor eller färre.

Efter detta, finns det en ganska stor hopp: 18% av de återstående dokumenten är 6-20 sidor långa, 6% är 20-100 sidor långa och 3% är 100+ sidor långa. Detta innebär att de längsta dokumenten utgör den största delen av enskilda sidor som extraheras, medan en mindre granulär metod som överväger dokumenten ensamma skulle förskjuta uppmärksamheten mot de mycket mer talrika kortare dokumenten.

Ändå är detta insiktsfulla metrics, eftersom en-sidiga dokument tenderar att vara tekniska scheman eller kartor; 2-5 sidors dokument tenderar att vara pressmeddelanden och formulär; och de mycket långa dokumenten är vanligtvis boklånga rapporter och publikationer, även om de, i termer av längd, är blandade med enorma automatiserade data dumpar som innehåller helt olika utmaningar för semantisk tolkning.

Därför behandlar forskarna denna obalans som en meningsfull semantisk egenskap i sig. Ändå måste PDF:erna fortfarande bearbetas och kvantifieras på ett per-sidobasis.

Arkitektur

I början av processen parsas PDF:ens metadata till tabelldata. Denna metadata kommer inte att saknas, eftersom den består av kända kvantiteter som filstorlek och käll-URL.

Sedan delas PDF:en upp i sidor, med varje sida omvandlad till JPEG-format via ImageMagick. Bilden matas sedan till ett ResNet-50-nätverk som härleder en 2 048-dimensionell vektor från den näst sista lagret.

Pipeline för extrahering från PDF:er. Källa: https://arxiv.org/ftp/arxiv/papers/2112/2112.02471.pdf

Samtidigt omvandlas sidan till en textfil med pdf2text, och TF-IDF-featuriseringar erhålls via scikit-learn.

TF-IDF står för Term Frequency Inverse Document Frequency, som mäter förekomsten av varje fras inom dokumentet i förhållande till dess frekvens i hela datasetet, på en finmaskig skala från 0 till 1. Forskarna har använt enskilda ord (unigram) som den minsta enheten i systemets TF-IDF-inställningar.

Även om de erkänner att maskinlärning har mer sofistikerade metoder att erbjuda än TF-IDF, hävdar författarna att något mer komplext är onödigt för den angivna uppgiften.

Faktum är att varje dokument har en associerad käll-URL, vilket möjliggör för systemet att bestämma provenansen för dokument över hela datasetet.

Detta kan tyckas trivialt för 1000 dokument, men det kommer att vara ganska ögonöppnande för 40 miljoner+.

Nya tillvägagångssätt för textsökning

Ett av projektets mål är att göra sökresultat för textbaserade frågor mer meningsfulla, och tillåta fruktbärande utforskning utan behov av överdriven förkunskap. Författarna påstår:

‘Medan nyckelordsökning är en intuitiv och högt extensibel metod för sökning, kan den också vara begränsande, eftersom användare är ansvariga för att formulera nyckelordsfrågor som hämtar relevanta resultat.’

När TF-IDF-värdena har erhållits, är det möjligt att beräkna de vanligast förekommande orden och uppskatta ett “genomsnittligt” dokument i korpusen. Forskarna hävdar att eftersom dessa dokumentöverskridande nyckelord vanligtvis är meningsfulla, utgör denna process användbara relationer för akademiker att utforska, som inte kunde erhållas enbart genom individuell indexering av texten i varje dokument.

Visuellt underlättar processen en “mood board” av ord som utgår från olika regeringsdepartement:

TF-IDF-nyckelord för olika amerikanska regeringsdepartement, erhållna via TF-IDF.

De extraherade nyckelorden och relationerna kan senare användas för att bilda dynamiska matriser i sökresultat, med korpusen av PDF:er som börjar “berätta historier”, och nyckelordsrelationer som sammanlänkar dokument (möjligen till och med över hundratals år), för att skissera en utforskbar multi-delad “saga” för ett ämne eller tema.

Forskarna använder k-means-kluster för att identifiera dokument som är relaterade, även om dokumenten inte delar en gemensam källa. Detta möjliggör utvecklingen av nyckelordsmetadata som är tillämpliga över hela datasetet, som skulle manifestera sig antingen som rangordningar för termer i en strikt textbaserad sökning, eller som närliggande noder i en mer dynamisk utforskningsmiljö:

Visuell analys

Den verkliga nyheten i Washington-forskarnas tillvägagångssätt är att tillämpa maskinlärningsbaserad visuell analys på den rasteriserade utseendet hos PDF:erna i datasetet.

På detta sätt är det möjligt att generera en “REDACTED”-tag på ett visuellt sätt, där ingenting i texten i sig skulle ge en tillräckligt vanlig grund.

En kluster av redigerade PDF-framsidor identifierade av datorseende i det nya projektet.

Dessutom kan denna metod härleda en sådan tagg även från regeringsdokument som har rasteriserats, vilket ofta är fallet med redigerat material, och möjliggör en uttömmande och omfattande sökning efter denna praxis.

Dessutom kan kartor och scheman identifieras och kategoriseras, och författarna kommenterar denna potentiella funktionalitet:

‘För akademiker som är intresserade av avslöjanden av klassificerad eller annan känslig information, kan det vara särskilt intressant att isolera exakt denna typ av kluster av material för analys och forskning.’

Dokument som inte kan klassificeras, eller där dokumentet kommer från en icke-gemensam källa, kan identifieras från deras layout, såsom kolumner, teckensnittstyper och andra distinkta aspekter.

Layouten ensam kan ge grupperingar och klassificeringar i ett visuellt sökutrymme.

Även om författarna inte har försummat texten, är det uppenbart att det visuella sökutrymmet är vad som har drivit detta arbete.

‘Förmågan att söka och analysera PDF:er enligt deras visuella funktioner är alltså ett omfattande tillvägagångssätt: det inte bara kompletterar befintliga ansträngningar kring textanalys, utan också omdefinierar vad sökning och analys kan vara för födda digitala innehåll.’

Författarna avser att utveckla sitt ramverk för att hantera mycket större datamängder, inklusive 2008 års slut på mandatperioden för presidentens webbarkiv dataset, som innehåller över 10 miljoner artiklar. Inledningsvis avser de dock att skala upp systemet för att hantera “tiotusentals” regerings-PDF:er.

Systemet är avsett att utvärderas initialt med riktiga användare, inklusive bibliotekarier, arkivarien, advokater, historiker och andra akademiker, och kommer att utvecklas baserat på feedback från dessa grupper.

Att hantera den skala som födda digitala regeringspublikationer kräver: Mot pipelines för bearbetning och sökning av miljontals PDF:er är skrivet av Benjamin Charles Germain Lee (vid Paul G. Allen School for Computer Science & Engineering) och Trevor Owens, offentlig historiker bosatt och chef för digital innehållshantering vid Kongressbiblioteket i Washington, D.C..

* Min konvertering av inline-citat till hyperlänkar.

Ursprungligen publicerad den 28 december 2021