Abordarea muntelui de PDF-uri al guvernului SUA cu ajutorul inteligenței artificiale

Formatul PDF al companiei Adobe s-a înrădăcinat atât de profund în fluxurile de documente ale guvernului american, încât numărul de documente emise de stat, care există în prezent, este estimat conservator să fie de sute de milioane. Desigur, adesea opace și lipsite de metadate, aceste PDF-uri – multe create de sisteme automate – colectiv nu spun niciun fel de povești sau sagi; dacă nu știți exact ce căutați, probabil nu veți găsi niciodată un document relevant. Și dacă ați știut, probabil că nu ați avut nevoie de căutare. Cu toate acestea, un nou proiect utilizează inteligența artificială și alte abordări de învățare automată pentru a transforma acest munte de date aproape inaccesibil într-o resursă valoroasă și explorabilă pentru cercetători, istorici, jurnaliști și savanți.

Când guvernul american a descoperit formatul PDF portabil al companiei Adobe în anii 1990, a decis că îi place. În contrast cu documentele Word editabile, PDF-urile puteau fi “coapte” în diferite moduri care le făceau dificil de modificat ulterioară; fonturile puteau fi încorporate, asigurând compatibilitatea cross-platform; și imprimarea, copierea și chiar deschiderea puteau fi controlate la nivel granular.

Mai important, aceste caracteristici de bază erau disponibile în unele dintre cele mai vechi specificații “de bază” ale formatului, promițând că materialul arhivat nu va trebui să fie reprocesat sau reexaminat ulterioară pentru a asigura accesibilitatea. Aproape tot ceea ce guvernul avea nevoie pentru publicare era în loc până în 1996.

Cu tehnologiile de proveniență blockchain și NFT departe, PDF-ul era cât mai aproape de un document analog “mort” pe care era posibil să-l obțină epoca digitală emergentă, doar la un pas conceptual de la un fax. Acesta era exact ceea ce se dorea.

Disidență internă despre PDF

Gradul în care PDF-urile sunt ermetice, inaccesibile și “nesociale” este caracterizat în documentația despre formatul de la Biblioteca Congresului, care favorizează PDF-ul ca “format preferat”:

‘Scopul principal al formatului PDF/A este de a reprezenta documente electronice într-un mod care să păstreze aspectul lor vizual static în timp, independent de instrumentele și sistemele utilizate pentru crearea, stocarea sau afișarea fișierelor. În acest scop, PDF/A încearcă să maximizeze independența dispozitivului, autodocumentarea și autoconținerea.’

Entuziasmul continuu pentru formatul PDF, standardele de accesibilitate și cerințele pentru o versiune minimă variază în diferitele departamente ale guvernului american. De exemplu, în timp ce Agenția pentru Protecția Mediului are politici stricte, dar sprijinitoare în acest sens, site-ul oficial al guvernului american plainlanguage.gov recunoaște că ‘utilizatorii urăsc PDF-ul’, și chiar link către un raport din 2020 al grupului Nielsen Norman, intitulat PDF: Încă nepotrivit pentru consumul uman, 20 de ani mai târziu.

Între timp, irs.gov, creat în 1995 în mod specific pentru a trece documentația agenției fiscale la digital, a adoptat imediat PDF-ul și este încă un avocat entuziast.

Răspândirea virală a PDF-urilor

De la lansarea specificațiilor de bază ale PDF-ului de către Adobe, o serie de instrumente și biblioteci de procesare de server au apărut, multe dintre ele acum venerabile și înrădăcinate ca și specificațiile PDF din 1996, și la fel de fiabile și rezistente la bug-uri, în timp ce furnizorii de software s-au grăbit să integreze funcționalități PDF în instrumente de mică valoare.

În consecință, iubite sau urâte de departamentele lor gazdă, PDF-urile rămân ubiquue în cadrul comunicării și al structurilor de documentare dintr-un număr imens de departamente ale guvernului american.

În 2015, vicepreședintele pentru inginerie al companiei Adobe, Phil Ydens, a estimat că există 2,5 trilioane de documente PDF în lume, în timp ce formatul se crede că reprezintă undeva între 6-11% din toate conținuturile web. Într-o cultură tehnologică dependentă de întreruperea tehnologiilor vechi, PDF-ul a devenit “rugină” ineradicabilă – o parte centrală a structurii care o găzduiește.

Din 2018. Nu există încă dovezi ale unui concurent formidabil. Sursă: https://twitter.com/trbrtc/status/980407663690502145

Conform unui studiu recent al cercetătorilor de la Universitatea din Washington și Biblioteca Congresului, ‘sute de milioane de documente unice ale guvernului american, postate pe web în format PDF, au fost arhivate de biblioteci până în prezent’.

Cu toate acestea, cercetătorii susțin că acesta este doar “vârful aisbergului”*:

‘Așa cum a remarcat deja Roy Rosenzweig, unul dintre cei mai importanți istorici digitali, în 2003, atunci când vine vorba de surse primare digitale pentru cercetare, este esențial să se dezvolte metode și abordări care să poată fi extinse la zeci și sute de milioane, și chiar miliarde de resurse digitale. Am ajuns acum la punctul în care dezvoltarea unor astfel de abordări este necesară.

‘De exemplu, arhivele web ale Bibliotecii Congresului conțin acum peste 20 de miliarde de resurse digitale individuale.’

PDF-urile: Rezistente la analiză

Proiectul cercetătorilor de la Washington aplică o serie de metode de învățare automată unui set de date public și anotat corpus de 1.000 de documente selectate din Biblioteca Congresului, cu intenția de a dezvolta sisteme capabile de recuperare rapidă, multimodală a textului și a imaginilor în cadrul unor structuri care pot fi extinse la nivelul actual (și în creștere) al volumului de PDF-uri, nu numai în guvern, ci și în multe alte sectoare.

În timp ce ritmul accelerat de digitalizare într-o serie de departamente ale guvernului american în anii 1990 a condus la politici și practici divergente, și adesea la adoptarea metodelor de publicare PDF care nu conțineau aceeași calitate a metadatelor pe care o aveau serviciile de bibliotecă guvernamentală – sau chiar metadatele native de bază ale PDF-ului, care ar fi putut fi de ajutor în facerea colecțiilor de PDF-uri mai accesibile și prietenoase cu indexarea.

Discutând această perioadă de perturbare, autorii notează:

‘Aceste eforturi au condus la o creștere explozivă a cantității de publicații guvernamentale, care, la rândul lor, au dus la o întrerupere a abordării generale prin care se produceau metadate consistente pentru astfel de publicații și prin care bibliotecile achiziționau copii ale acestora.’

În consecință, un munte obișnuit de PDF-uri există fără niciun context, exceptând URL-urile care link direct la el. Mai mult, documentele din munte sunt închise, auto-referențiale și nu fac parte din nicio “sagă” sau narativă pe care metodologiile de căutare actuale ar putea să o descopere, deși astfel de conexiuni ascunse există cu siguranță.

La scară, annotarea sau curarea manuală este o perspectivă imposibilă. Corpusul de date din care au fost derivate cele 1000 de documente ale Bibliotecii Congresului conține peste 40 de milioane de PDF-uri, pe care cercetătorii intenționează să le facă o provocare abordabilă în viitorul apropiat.

Inteligența artificială pentru analiza PDF-urilor

Cea mai mare parte a cercetărilor anterioare citate de autori utilizează metode bazate pe text pentru a extrage caracteristici și concepte de nivel înalt din materialul PDF; în contrast, proiectul lor se concentrează pe derivarea caracteristicilor și tendințelor prin examinarea PDF-urilor la nivel vizual, în conformitate cu cercetarea curentă privind analiza multimodală a conținutului de știri.

Deși învățarea automată a fost aplicată și în acest mod la analiza PDF-urilor prin scheme specifice de sector, cum ar fi Semantic Scholar, autorii își propun să creeze conducte de extragere de nivel înalt care sunt aplicabile pe scară largă într-o serie de publicații, și nu doar în domeniul științific sau al altor sectoare la fel de înguste.

Abordarea datelor neechilibrate

La crearea unui schema de metrice, cercetătorii au trebuit să ia în considerare cât de înclinate sunt datele, cel puțin în ceea ce privește dimensiunea pe articol.

Dintre cele 1000 de PDF-uri din setul de date selectat (pe care autorii presupun că este reprezentativ pentru cele 40 de milioane din care au fost extrase), 33% sunt lungi de o pagină, și 39% sunt lungi de 2-5 pagini. Acest lucru plasează 72% din documente la cinci pagini sau mai puțin.

După aceasta, există un salt: 18% din documentele rămase au 6-20 de pagini, 6% au 20-100 de pagini și 3% au peste 100 de pagini. Acest lucru înseamnă că documentele cele mai lungi conțin majoritatea paginilor individuale extrase, în timp ce o abordare mai puțin granulară care ia în considerare doar documentele ar îndrepta atenția către documentele mai scurte, care sunt mult mai numeroase.

Cu toate acestea, acestea sunt metrice interesante, deoarece documentele de o pagină sunt de obicei scheme tehnice sau hărți; documentele de 2-5 pagini sunt de obicei comunicate de presă și formulare; și documentele foarte lungi sunt, de obicei, rapoarte și publicații de lungă durată, deși, în ceea ce privește lungimea, sunt amestecate cu descărcări automate de date care conțin provocări complet diferite pentru interpretarea semantică.

Prin urmare, cercetătorii tratează acest dezechilibru ca o proprietate semantică semnificativă în sine. Cu toate acestea, PDF-urile trebuie încă să fie procesate și cuantificate la nivel de pagină.

Arhitectură

La începutul procesului, metadatele PDF-ului sunt analizate în date tabulare. Aceste metadate nu vor lipsi, deoarece constau în cantități cunoscute, cum ar fi dimensiunea fișierului și URL-ul sursă.

PDF-ul este apoi împărțit în pagini, cu fiecare pagină convertită în format JPEG prin ImageMagick. Imaginea este apoi transmisă unei rețele ResNet-50, care derivă un vector de 2.048 de dimensiuni din al doilea strat dinainte de ultimul.

Conducta de extragere din PDF-uri. Sursă: https://arxiv.org/ftp/arxiv/papers/2112/2112.02471.pdf

În același timp, pagina este convertită într-un fișier text prin pdf2text, și se obțin featurizări TF-IDF prin scikit-learn.

TF-IDF înseamnă Term Frequency Inverse Document Frequency, care măsoară prevalența fiecărui cuvânt în document față de frecvența sa în întregul set de date, pe o scară fină de la 0 la 1. Cercetătorii au utilizat cuvinte individuale (unigrame) ca unitatea cea mai mică în setările TF-IDF ale sistemului.

Deși recunosc că învățarea automată are metode mai sofisticate de oferit decât TF-IDF, autorii susțin că orice lucru mai complex este inutil pentru sarcina declarată.

Faptul că fiecare document are un URL de proveniență asociat permite sistemului să determine proveniența documentelor din setul de date.

Acest lucru poate părea trivial pentru o mie de documente, dar va fi destul de interesant pentru 40 de milioane+.

Noi abordări pentru căutarea textului

Unul dintre obiectivele proiectului este de a face rezultatele căutării pentru interogări textuale mai semnificative, permițând o explorare fructuoasă fără a necesita cunoștințe prealabile excesive. Autorii afirmă:

‘În timp ce căutarea pe baza cuvintelor cheie este o metodă intuitivă și foarte extensibilă de căutare, ea poate fi și limitată, deoarece utilizatorii sunt responsabili pentru formularea de interogări pe baza cuvintelor cheie care să obțină rezultate relevante.’

Odată ce se obțin valorile TF-IDF, este posibil să se calculeze cuvintele cele mai frecvente și să se estimeze un “document mediu” în corpus. Cercetătorii susțin că, deoarece aceste cuvinte cheie interscor sunt de obicei semnificative, acest proces formează relații utile pentru cercetători să exploreze, care nu ar fi putut fi obținute doar prin indexarea individuală a textului fiecărui document.

În mod vizual, procesul facilitează un “panou de bord” de cuvinte care emană din diferite departamente guvernamentale:

Cuvinte cheie TF-IDF pentru diverse departamente guvernamentale ale SUA, obținute prin TF-IDF.

Cuvintele cheie extrase și relațiile dintre ele pot fi ulterior utilizate pentru a forma matrice dinamice în rezultatele căutării, cu corpusul de PDF-uri începând să “spună povești”, și relațiile dintre cuvinte cheie legând documente (posibil chiar și pe parcursul a sute de ani), pentru a contura o “sagă” explorabilă pentru un subiect sau o temă.

Cercetătorii utilizează clusteringul k-means pentru a identifica documente legate, chiar și atunci când documentele nu au o sursă comună. Acest lucru permite dezvoltarea de metadate de fraze cheie aplicabile în întregul set de date, care ar putea să se manifeste fie sub forma unor clasamente pentru termeni într-o căutare strictă de text, fie sub forma unor noduri apropiate într-un mediu de explorare mai dinamic:

Analiză vizuală

Adevărata noutate a abordării cercetătorilor de la Washington constă în aplicarea tehnicilor de analiză vizuală bazate pe inteligență artificială asupra aspectului rasterizat al PDF-urilor din setul de date.

În acest mod, este posibil să se genereze o etichetă “REDACTED” pe baza aspectului vizual, unde nimic în textul în sine nu ar oferi o bază suficient de comună.

Un cluster de pagini de început ale PDF-urilor redactate identificate prin inteligență artificială în noul proiect.

Mai mult, această metodă poate deriva o astfel de etichetă chiar și din documente guvernamentale care au fost rasterizate, ceea ce este adesea cazul cu materialul redactat, făcând posibilă o căutare exhaustivă și cuprinzătoare a acestei practici.

În plus, hărțile și schemele pot fi identificate și categorisite, iar autorii comentează despre această funcționalitate potențială:

‘Pentru cercetători interesați de dezvăluiri de informații clasificate sau sensibile, poate fi deosebit de interesant să izoleze exact acest tip de cluster de material pentru analiză și cercetare.’

Documentele care sfidează clasificarea, sau care provin dintr-o sursă neobișnuită, pot fi identificate din layout-ul lor, cum ar fi coloane, tipuri de font și alte caracteristici distinctive.

Layout-ul singur poate oferi grupări și clasificări într-un spațiu de căutare vizuală.

Deși autorii nu au neglijat textul, este clar că spațiul de căutare vizuală este ceea ce a condus această lucrare.

‘Capacitatea de a căuta și analiza PDF-urile în funcție de caracteristicile lor vizuale este astfel o abordare cuprinzătoare: nu numai că completează eforturile existente în jurul analizei textuale, dar reimaginează și ce poate fi căutarea și analiza pentru conținutul digital nativ.’

Autorii intenționează să dezvolte cadrul lor pentru a face față unor seturi de date mult mai mari, inclusiv Arhiva Web Prezidențială de la sfârșitul mandatului din 2008 setul de date, care conține peste 10 milioane de articole. Inițial, însă, ei intenționează să extindă sistemul pentru a aborda “zeci de mii” de PDF-uri guvernamentale.

Sistemul este destinat a fi evaluat inițial cu utilizatori reali, inclusiv bibliotecari, arhiviști, avocați, istorici și alți cercetători, și va evolua pe baza feedback-ului primit de la aceste grupuri.

Lupta cu scala publicațiilor guvernamentale digitale: Către conducte de procesare și căutare a milioanelor de PDF-uri este scris de Benjamin Charles Germain Lee (la Școala de Informatică și Inginerie Paul G. Allen) și Trevor Owens, istoric public rezident și șef al managementului conținutului digital la Biblioteca Congresului din Washington, D.C..

* Conversia mea a citărilor inline în legături.

Publicat inițial pe 28 decembrie 2021