Affrontare la Montagna di PDF del Governo degli Stati Uniti con la Visione Artificiale

Il formato PDF di Adobe si è radicato così profondamente nelle pipeline di documenti del governo degli Stati Uniti che il numero di documenti emessi dallo stato attualmente in esistenza è stimato in centinaia di milioni. Spesso opachi e privi di metadati, questi PDF – molti creati da sistemi automatizzati – collettivamente non raccontano storie o saghe; se non si sa esattamente cosa si sta cercando, probabilmente non si troverà mai un documento pertinente. E se lo si sapesse, probabilmente non si avrebbe bisogno della ricerca.Tuttavia, un nuovo progetto sta utilizzando la visione artificiale e altri approcci di apprendimento automatico per trasformare questa quasi inaccessibile montagna di dati in una risorsa preziosa e esplorabile per ricercatori, storici, giornalisti e studiosi.

Quando il governo degli Stati Uniti scoprì il Portable Document Format (PDF) di Adobe negli anni ’90, decise che gli piaceva. A differenza dei documenti Word modificabili, i PDF potevano essere “cotti” in vari modi che li rendevano difficili o addirittura impossibili da modificare in seguito; i font potevano essere incorporati, garantendo la compatibilità cross-platform; e la stampa, la copia e addirittura l’apertura potevano essere controllate a livello granulare.

Ma ciò che più conta, queste caratteristiche fondamentali erano disponibili in alcune delle specifiche “di base” più vecchie del formato, promettendo che il materiale d’archivio non avrebbe dovuto essere riprocessato o rivisitato in seguito per garantire l’accessibilità. Quasi tutto ciò di cui aveva bisogno la pubblicazione governativa era in place entro il 1996.

Con la tecnologia di provenienza blockchain e NFT decenni lontana, il PDF era il più vicino che l’era digitale emergente potesse avvicinarsi a un documento “morto” analogico, solo un concetto di hiccup lontano da un fax. Questo era esattamente ciò che era voluto.

Dissenso interno sul PDF

La misura in cui i PDF sono ermetici, intractabili e “non social” è caratterizzata nella documentazione sul formato presso la Biblioteca del Congresso, che favorisce il PDF come suo “formato preferito”:

‘Lo scopo principale del formato PDF/A è rappresentare documenti elettronici in modo che si conservi la loro apparenza visiva statica nel tempo, indipendentemente dagli strumenti e dai sistemi utilizzati per la creazione, l’archiviazione o la visualizzazione dei file. A questo scopo, il PDF/A tenta di massimizzare l’indipendenza del dispositivo, l’autosufficienza e l’autodocumentazione.’

L’entusiasmo costante per il formato PDF, gli standard per l’accessibilità e i requisiti per una versione minima variabile attraverso i dipartimenti del governo degli Stati Uniti. Ad esempio, mentre l’Agenzia per la protezione dell’ambiente ha politiche stringenti ma favorevoli in questo senso, il sito web ufficiale del governo degli Stati Uniti plainlanguage.gov riconosce che ‘gli utenti odiano i PDF’, e collega direttamente a un rapporto del 2020 del Nielsen Norman Group intitolato PDF: ancora inadatto al consumo umano, 20 anni dopo.

Nel frattempo, irs.gov, creato nel 1995 specificamente per trasferire la documentazione dell’agenzia delle tasse al digitale, ha immediatamente adottato il PDF e rimane un ardente sostenitore.

La diffusione virale dei PDF

Dalla pubblicazione delle specifiche di base del PDF da parte di Adobe, un insieme di strumenti di elaborazione lato server e librerie sono emerse, molte delle quali ora come venerabili e radicate quanto le specifiche del PDF del 1996, e altrettanto affidabili e resistenti ai bug, mentre i fornitori di software si sono affrettati a integrare la funzionalità PDF in strumenti a basso costo.

Di conseguenza, amati o odiati dai loro dipartimenti ospiti, i PDF rimangono ubiqui nei framework di comunicazione e documentazione in un enorme numero di dipartimenti del governo degli Stati Uniti.

Nel 2015, il VP Engineering di Adobe per il Document Cloud, Phil Ydens stima che esistano 2,5 trilioni di documenti PDF nel mondo, mentre il formato si ritiene responsabile di circa il 6-11% di tutto il contenuto web. In una cultura tecnologica dipendente dalla distruzione delle vecchie tecnologie, il PDF è diventato un “ruggine” ineradicabile – una parte centrale della struttura che lo ospita.

Dal 2018. Non ci sono prove di un formidabile sfidante. Fonte: https://twitter.com/trbrtc/status/980407663690502145

Secondo uno studio recente di ricercatori dell’Università di Washington e della Biblioteca del Congresso, ‘centinaia di milioni di documenti governativi unici degli Stati Uniti pubblicati sul web in formato PDF sono stati archiviati dalle biblioteche fino ad oggi’.

Tuttavia, gli studiosi sostengono che questo è solo la “punta dell’iceberg”*:

‘Come ha notato il principale studioso di storia digitale Roy Rosenzweig già nel 2003, quando si tratta di fonti primarie digitali native per la ricerca, è essenziale sviluppare metodi e approcci che possano scalare a decine e centinaia di milioni e addirittura miliardi di risorse digitali. Siamo ora arrivati al punto in cui sviluppare approcci per questa scala è necessario.

‘Ad esempio, gli archivi web della Biblioteca del Congresso contengono ora più di 20 miliardi di risorse digitali individuali.’

I PDF: resistenti all’analisi

Il progetto dei ricercatori di Washington applica una serie di metodi di apprendimento automatico a un insieme pubblicamente disponibile e annotato corpus di 1.000 documenti selezionati dalla Biblioteca del Congresso, con l’intento di sviluppare sistemi in grado di estrarre testo e immagini in modo rapido e multimodale in framework che possono scalare fino alle altezze degli attuali (e crescenti) volumi di PDF, non solo nel governo, ma in una molteplicità di settori.

Come osserva il documento, il ritmo accelerato di digitalizzazione attraverso una serie di dipartimenti governativi degli Stati Uniti balkanizzati negli anni ’90 ha portato a politiche e pratiche divergenti, e spesso all’adozione di metodi di pubblicazione PDF che non contenevano la stessa qualità di metadati che era una volta lo standard aureo dei servizi di biblioteca governativa – o addirittura metadati nativi di base del PDF, che avrebbero potuto essere di qualche aiuto nel rendere le raccolte di PDF più accessibili e amichevoli per l’indicizzazione.

Discutendo questo periodo di disgregazione, gli autori notano:

‘Questi sforzi hanno portato a una crescita esplosiva della quantità di pubblicazioni governative, che a sua volta ha portato a un crollo dell’approccio generale con cui venivano prodotti metadati coerenti per tali pubblicazioni e con cui le biblioteche acquisivano copie di esse.’

Di conseguenza, una tipica montagna di PDF esiste senza alcun contesto se non gli URL che collegano direttamente ad esso. Inoltre, i documenti nella montagna sono chiusi, auto-referenziali e non formano parte di alcuna “saga” o narrazione che le attuali metodologie di ricerca siano in grado di discernere, anche se tali connessioni nascoste esistono senza dubbio.

A scala considerata, l’annotazione o la cura manuale è un’ipotesi impossibile. Il corpus di dati da cui sono stati derivati i 1000 documenti della Biblioteca del Congresso contiene oltre 40 milioni di PDF, che gli studiosi intendono rendere un challenge indirizzabile nel prossimo futuro.

Visione artificiale per l’analisi dei PDF

La maggior parte della ricerca precedente citata dagli autori utilizza metodi basati sul testo per estrarre funzionalità e concetti di alto livello da materiale PDF; al contrario, il loro progetto si concentra sull’estrazione di funzionalità e tendenze esaminando i PDF a livello visivo, in linea con la ricerca attuale sull’analisi multimodale dei contenuti di notizie.

Sebbene l’apprendimento automatico sia stato applicato anche in questo modo all’analisi dei PDF tramite schemi specifici del settore come Semantic Scholar, gli autori intendono creare pipeline di estrazione di alto livello più ampiamente applicabili in una serie di pubblicazioni, piuttosto che tarati sulle strettoie della pubblicazione scientifica o di altri settori altrettanto ristretti.

Addressing Unbalanced Data

Nel creare uno schema di metriche, gli studiosi hanno dovuto considerare quanto siano distorti i dati, almeno in termini di dimensione per elemento.

Dei 1000 PDF nel set di dati selezionato (che gli autori presumono rappresentativo dei 40 milioni da cui sono stati tratti), il 33% è lungo solo una pagina, e il 39% è lungo 2-5 pagine. Ciò significa che il 72% dei documenti ha cinque pagine o meno.

Dopo di ciò, c’è un salto abbastanza grande: il 18% dei documenti rimanenti ha una lunghezza di 6-20 pagine, il 6% ha una lunghezza di 20-100 pagine e il 3% ha una lunghezza di 100+ pagine. Ciò significa che i documenti più lunghi comprendono la maggior parte delle pagine individuali estratte, mentre un approccio meno granulare che considera i documenti da solo tenderebbe a orientare l’attenzione verso i documenti più brevi e più numerosi.

Tuttavia, queste sono metriche interessanti, poiché i documenti di una sola pagina tendono a essere schemi tecnici o mappe; i documenti da 2 a 5 pagine tendono a essere comunicati stampa e moduli; e i documenti molto lunghi sono generalmente rapporti e pubblicazioni di lunghezza di libro, anche se, in termini di lunghezza, sono mescolati con enormi dump di dati automatizzati che contengono sfide completamente diverse per l’interpretazione semantica.

Pertanto, gli studiosi stanno trattando questo squilibrio come una proprietà semantica significativa in sé. Tuttavia, i PDF devono comunque essere elaborati e quantificati su base per pagina.

Architettura

All’inizio del processo, i metadati del PDF vengono analizzati in dati tabulari. Questi metadati non saranno assenti, poiché consistono di quantità note come dimensione del file e URL di origine.

Il PDF viene quindi diviso in pagine, con ogni pagina convertita in formato JPEG tramite ImageMagick. L’immagine viene quindi alimentata a una rete ResNet-50 che deriva un vettore di 2.048 dimensioni dal secondo livello più basso.

La pipeline per l’estrazione da PDF. Fonte: https://arxiv.org/ftp/arxiv/papers/2112/2112.02471.pdf

Contemporaneamente, la pagina viene convertita in un file di testo da pdf2text, e le featurizzazioni TF-IDF vengono ottenute tramite scikit-learn.

TF-IDF sta per Term Frequency Inverse Document Frequency, che misura la prevalenza di ogni frase all’interno del documento rispetto alla sua frequenza all’interno del set di dati host, su una scala fine-grana da 0 a 1. Gli studiosi hanno utilizzato parole singole (unigrammi) come unità più piccola nelle impostazioni TF-IDF del sistema.

Sebbene riconoscano che l’apprendimento automatico abbia metodi più sofisticati da offrire rispetto al TF-IDF, gli autori sostengono che nulla di più complesso è necessario per il compito dichiarato.

Il fatto che ogni documento abbia un URL di origine associato consente al sistema di determinare la provenienza dei documenti nel set di dati.

Ciò potrebbe sembrare banale per mille documenti, ma sarà un’apertura degli occhi per 40 milioni+.

Nuovi approcci alla ricerca di testo

Uno degli obiettivi del progetto è rendere i risultati di ricerca per query di testo più significativi, consentendo un’utile esplorazione senza la necessità di una conoscenza eccessiva in anticipo. Gli autori affermano:

‘Sebbene la ricerca per parole chiave sia un metodo intuitivo e altamente estensibile, può anche essere limitante, poiché gli utenti sono responsabili della formulazione di query per parole chiave che recuperano risultati rilevanti.’

Una volta ottenuti i valori TF-IDF, è possibile calcolare le parole più comunemente presenti e stimare un “documento medio” nel corpus. Gli studiosi sostengono che poiché queste parole chiave tra-documenti sono generalmente significative, questo processo forma relazioni utili per gli studiosi da esplorare, che non potrebbero essere ottenute solo dall’indicizzazione individuale del testo di ogni documento.

Visivamente, il processo facilita una “tavola di parole” di parole che emanano da vari dipartimenti governativi:

Parole chiave TF-IDF per vari dipartimenti governativi degli Stati Uniti, ottenute tramite TF-IDF.

Queste parole chiave e relazioni estratte possono essere utilizzate in seguito per formare matrici dinamiche nei risultati di ricerca, con il corpus di PDF che inizia a “raccontare storie”, e relazioni di parole chiave che collegano documenti (possibilmente anche nel corso di centinaia di anni), per delineare una “saga” esplorabile per un argomento o tema.

Gli studiosi utilizzano il clustering k-means per identificare documenti correlati, anche quando i documenti non condividono una fonte comune. Ciò consente lo sviluppo di metadati di parole chiave applicabili in tutto il set di dati, che potrebbero manifestarsi come classifiche per termini in una ricerca di testo rigorosa, o come nodi vicini in un ambiente di esplorazione più dinamico:

Analisi visiva

La vera novità dell’approccio degli studiosi di Washington è applicare tecniche di analisi visiva basate sull’apprendimento automatico all’aspetto rasterizzato dei PDF nel set di dati.

In questo modo, è possibile generare un tag “REDACTED” su base visiva, dove nulla nel testo stesso fornirebbe una base comune.

Un cluster di pagine di PDF frontali oscurate identificato dalla visione artificiale nel nuovo progetto.

Inoltre, questo metodo può derivare tale tag anche da documenti governativi che sono stati rasterizzati, che è spesso il caso del materiale oscurato, rendendo possibile una ricerca esaustiva e completa per questa pratica.

Inoltre, mappe e schemi possono essere identificati e categorizzati, e gli autori commentano su questa funzionalità potenziale:

‘Per gli studiosi interessati alla divulgazione di informazioni classificate o sensibili, potrebbe essere di particolare interesse isolare esattamente questo tipo di cluster di materiale per l’analisi e la ricerca.’

Il documento nota che una vasta gamma di indicatori visivi comuni a tipi specifici di PDF governativi può essere utilizzata per classificare documenti e creare “saghe”. Tali “token” potrebbero essere il sigillo del Congresso o altri loghi o caratteristiche visive ricorrenti che non hanno esistenza semantica in una ricerca di testo pura.

Inoltre, documenti che sfidano la classificazione o che provengono da una fonte non comune possono essere identificati dal loro layout, come colonne, tipi di carattere e altri aspetti distintivi.

Il layout da solo può fornire raggruppamenti e classificazioni in uno spazio di ricerca visiva.

Sebbene gli autori non abbiano trascurato il testo, è chiaro che lo spazio di ricerca visiva è ciò che ha guidato questo lavoro.

‘La capacità di cercare e analizzare i PDF in base alle loro caratteristiche visive è quindi un approccio ampio: non solo integra gli sforzi esistenti relativi all’analisi del testo, ma anche riimmagina cosa possa essere la ricerca e l’analisi per i contenuti digitali nati.

Gli autori intendono sviluppare il loro framework per ospitare set di dati molto più grandi, inclusi il 2008 End of Term Presidential Web Archive dataset, che contiene oltre 10 milioni di elementi. Inizialmente, tuttavia, intendono scalare il sistema per affrontare “decine di migliaia” di PDF governativi.

Il sistema è destinato a essere valutato inizialmente con utenti reali, tra cui bibliotecari, archivisti, avvocati, storici e altri studiosi, e si evolverà in base al feedback di questi gruppi.

Grappling with the Scale of Born-Digital Government Publications: Toward Pipelines for Processing and Searching Millions of PDFs è scritto da Benjamin Charles Germain Lee (alla Paul G. Allen School for Computer Science & Engineering) e Trevor Owens, Public Historian in Residence e Head of Digital Content Management alla Biblioteca del Congresso a Washington, D.C..

* La mia conversione di citazioni in linea in collegamenti ipertestuali.

Pubblicato originariamente il 28 dicembre 2021