Yhdysvaltain hallituksen PDF-vuoren hallitseminen tietokoneavusteisella näköhavainnolla

Adoben PDF-muoto on vakiintunut syvälle Yhdysvaltain hallituksen asiakirjavirtauksiin, ja valtion myöntämien asiakirjojen määrä on konservatiivisesti arvioitu satoihin miljooniin. Usein epäselvät ja puuttelliset metatiedot, nämä PDF-tiedostot – monet luotu automaattisesti – kertovat yhdessä mitään tarinoita tai saagoja; jos et tiedä tarkalleen, mitä etsit, et luultavasti koskaan löydä asiaankuuluvaa asiakirjaa. Ja jos tiesit, et luultavasti tarvinnut hakua.Uusi projekti kuitenkin käyttää tietokoneavusteista näköhavaintoa ja muita koneoppimismenetelmiä muuttaakseen tämän lähestymiskelvottoman tiedon vuoren arvokkaaksi ja tutkittavaksi resursiksi tutkijoille, historioitsijoille, toimittajille ja tutkijoille.

Kun Yhdysvaltain hallitus löysi Adoben Portable Document Formatin (PDF) 1990-luvulla, se päätti, että se pitää siitä. Toisin kuin muokattavat Word-asiakirjat, PDF-tiedostot voitiin “paistaa” useilla tavoilla, jotka tekevät niistä vaikeasti tai jopa mahdottomasti muokattaviksi myöhemmin; fontit voitiin upottaa, jolloin ne olivat yhteensopivia eri alustoilla; ja tulostus, kopiointi ja jopa avaaminen voitiin hallita hienojakoisesti.

Tärkeämpää oli, että nämä ydinominaisuudet olivat saatavilla joissakin vanhoista “perus” -määrityksistä formaatista, jolloin arkistomateriaalia ei tarvinnut käydä läpi uudelleen myöhemmin varmistamaan sen saatavuuden. Melkein kaikki, mitä hallituksen julkaisemiseen tarvittiin, oli paikallaan vuoteen 1996 mennessä.

Blockchain-provenienssin ja NFT-tekniikoiden ollessa vuosikymmeniä etäällä, PDF oli lähimpänä, mihin nousujohteinen digitaalinen aikakausi saattoi päästä “kuolleeseen” analogiseen asiakirjaan, joka oli vain käsitteellinen viive ennen faksia. Tämä oli juuri sitä, mitä haluttiin.

Sisäinen erimielisyys PDF:stä

PDF-tiedostojen sulkeutuneisuuden, muokkaamattomuuden ja “epäsosiaalisen” luonteen laajuutta kuvaillaan dokumentaatiossa PDF-formaatin osalta Kongressin kirjastossa, joka suosii PDF:ää “ensisijaisena” muotonaan:

‘PDF/A-formaatin ensisijainen tarkoitus on edustaa sähköisiä asiakirjoja tavalla, joka säilyttää niiden staattisen visuaalisen ulkonäön ajan myötä, riippumatta työkaluista ja järjestelmistä, joita käytetään asiakirjojen luomiseen, tallentamiseen tai renderöintiin. Tähän tarkoitukseen PDF/A pyrkii maksimoimaan laitteiston riippumattomuuden, itsenäisyyden ja itseasiakirjan.

Jatkuva innostus PDF-formaattiin, saavutettavuuden standardit ja vähimmäisvaatimukset vaihtelevat Yhdysvaltain hallituksen eri osastojen välillä. Esimerkiksi Ympäristönsuojeluvirasto on tiukkoja mutta myönteisiä käytännöissään, kun taas virallinen Yhdysvaltain hallituksen verkkosivu plainlanguage.gov tunnustaa, että käyttäjät vihaavat PDF-tiedostoja, ja jopa linkittää suoraan Nielsen Norman Groupin raporttiin vuodelta 2020, jonka otsikko on PDF: edelleen sopimaton ihmiskäytölle, 20 vuotta myöhemmin.

Sen sijaan irs.gov, perustettu vuonna 1995 erityisesti siirtämään veroviraston asiakirjat digitaaliseen muotoon, omaksui välittömästi PDF:n ja on edelleen innostunut kannattaja.

PDF-tiedostojen laajalle levinnyt

Koska PDF-formaatin ydinmääritykset on julkaistu avoimena lähdekoodina Adoben toimesta, joukko palvelinpohjaisia prosessointityökaluja ja kirjastoja on ilmaantunut, monet niistä ovat nyt arvostettuja ja vakiintuneita, aivan kuten vuoden 1996 PDF-määritykset, ja yhtä luotettavia ja vikoja vastaan kestäviä, kun taas ohjelmistotoimittajat kiirehtivät integroimaan PDF-toiminnallisuuden edullisiin työkaluihin.

Seurauksena PDF-tiedostot ovat edelleen kaikkialla läsnä Yhdysvaltain hallituksen viestintä- ja asiakirjarunkojen ympärillä.

Vuonna 2015 Adoben VP Engineering for Document Cloud, Phil Ydens arvioi, että 2,5 biljoonaa PDF-dokumenttia on olemassa maailmassa, kun taas formaatti uskotaan edustavan 6-11 prosenttia kaikista verkkosisällöistä. Teknologiakulttuurissa, joka on riippuvainen vanhojen teknologioiden rikkomisesta, PDF on muodostunut kitovana osana rakennetta, joka isännöi sitä.

Vuodelta 2018. Ei ole näyttöä voimakkaasta haastajasta. Source: https://twitter.com/trbrtc/status/980407663690502145

Viimeaikaisen tutkimuksen mukaan, jonka ovat tehneet tutkijat Washingtonin yliopistosta ja Kongressin kirjastosta, ‘satoja miljoonia yksilöllisiä Yhdysvaltain hallituksen asiakirjoja on arkistoitu verkkoon PDF-muodossa.

Tutkijat väittävät kuitenkin, että tämä on vain “jäävuoren huippu”*:

‘Johtava digitaalisen historian tutkija Roy Rosenzweig totesi jo vuonna 2003, että syntyperäisten digitaalisten ensisijaisen lähteen tutkimiseksi on kehitettävä menetelmiä ja lähestymistapoja, jotka skaalautuvat kymmeniin ja satoihin miljooniin, jopa miliardeihin digitaalisiin resursseihin. Olemme nyt saavuttaneet vaiheen, jossa näiden lähestymistapojen kehittäminen on välttämätöntä.

‘Esimerkiksi Kongressin kirjaston verkkovaroitukset sisältävät yli 20 miljardia yksittäistä digitaalista resurssea.’

PDF-tiedostot: Vastustuskykyisiä analyysille

Washingtonin tutkijoiden projekti soveltaa useita koneoppimismenetelmiä julkisesti saatavilla olevaan ja annotoituun korpuksiin 1000 valittuun asiakirjaan Kongressin kirjastosta, tavoitteena kehittää järjestelmiä, jotka pystyvät nopeaan, monitahoiseen hakemiseen teksti- ja kuva-perusteisilla kyselyillä, järjestelmissä, jotka voivat skaalautua nykyisten (ja kasvavien) PDF-volyymien korkeuksiin, ei ainoastaan hallituksessa, vaan monilla muillakin aloilla.

Asianmukaisesti, nopeutuvan digitalisoinnin myötä useissa Yhdysvaltain hallituksen osastoissa 1990-luvulla johtui erilaisten käytäntöjen ja menettelyjen omaksumisesta, usein PDF-julkaisumenetelmien käyttöönottamisesta, joissa ei ollut samanlaista metatietoa kuin hallituksen kirjastopalvelujen kultainen standardi – tai edes perustavanlaatuisia alkuperäisiä PDF-metatietoja, jotka olisivat voineet olla avuksi asiakirjojen kokoelmissa.

Tästä ajasta tutkijat toteavat:

‘Nämä pyrkimykset johtivat hallituksen julkaisujen määrän räjähdysmäiseen kasvuun, mikä puolestaan johti yhtenäisen lähestymistavan murtumiseen, jolla metatietoja tuotettiin näille julkaisuille ja jolla kirjastot hankkivat niitä.’

Tyypillinen PDF-vuori on olemassa ilman mitään muuta asiayhteyttä kuin URL-osoitteet, jotka linkittävät suoraan siihen. Lisäksi asiakirjat vuorella ovat suljettuja, itseviittaavia eivätkä muodosta osaa “saagasta” tai kertomuksesta, jota nykyiset hakumenetelmät ovat todennäköisesti havaitsevat, vaikka sellaiset piilevät yhteydet todennäköisesti olemassa.

Manuaalinen annotointi tai kuratointi on mahdoton prospekti. Korpus, josta projektin 1000 Kongressin kirjaston asiakirjaa on johdettu, sisältää yli 40 miljoonaa PDF-tiedostoa, joista tutkijat aikovat tehdä haastavaksi hauskasti lähitulevaisuudessa.

Tietokoneavusteinen näköhavainto PDF-analyysille

Useimmat aiemmat tutkimukset, joita tutkijat mainitsevat, käyttävät tekstipohjaisia menetelmiä piirteiden ja korkean tason käsitteiden poistamiseen PDF-materiaalista; sen sijaan heidän projektinsa keskittyy piirteiden ja trendien johdantaan PDF-tiedostojen visuaalisella tasolla, linjassa nykyisen tutkimuksen monimodaalisen uutissisällön analyysin kanssa.

Vaikka koneoppimista on myös sovellettu PDF-analyysiin erityisalojen, kuten tieteellisen julkaisun, kaltaisissa järjestelmissä, kuten Semantic Scholar, tutkijat pyrkivät luomaan laajempia piirteiden poistojärjestelmiä, jotka ovat sovellettavissa laajasti eri julkaisualoilla, eivätkä ainoastaan tietyn alan tiukkojen rajoitusten mukaan.

Epätasapainoisen datan käsittely

Metriikkajärjestelmän luomisessa tutkijat ovat joutuneet pohtimaan, kuinka vinoutunutta data on, ainakin kooltaan kohden.

1000 PDF-tiedostosta valitussa tietokannassa (jota tutkijat olettavat edustavan 40 miljoonaa, joista ne on poimittu), 33 prosenttia on vain yhden sivun pituisia, ja 39 prosenttia on 2-5 sivun pituisia. Tämä asettaa 72 prosenttia asiakirjoista viiden sivun tai vähemmän.

Tämän jälkeen on melkoinen hyppy: 18 prosenttia jäljellä olevista asiakirjoista on 6-20 sivun pituisia, 6 prosenttia on 20-100 sivun pituisia ja 3 prosenttia on yli 100 sivun pituisia. Tämä tarkoittaa, että pisimmät asiakirjat muodostavat enemmistön yksittäisistä sivuista, kun taas vähemmän hienojakoinen lähestymistapa, joka ottaa huomioon asiakirjat itsessään, kallistaisi huomion kohti lyhyempiä asiakirjoja.

Nämä ovat kuitenkin tarkat mittaukset, koska yksisivuiset asiakirjat ovat usein teknisiä kaavioita tai karttoja; 2-5 sivun asiakirjat ovat usein lehdistötiedotteita ja lomakkeita; ja erittäin pitkät asiakirjat ovat yleensä kirjamaisia raportteja ja julkaisuja, vaikka ne sekoittuvat pituudeltaan automaattisesti luoduilla datadumpeilla, jotka sisältävät erilaisia haasteita semanttisen tulkinnan kannalta.

Tutkijat kuitenkin käsittelevät tätä epätasapainoa merkityksellisenä semanttisena ominaisuutena itsessään. PDF-tiedostot tarvitsevat kuitenkin prosessointia ja määritystä sivukohtaisesti.

Arkkitehtuuri

Prosessin alussa PDF-tiedoston metatietoja parsitaan taulukkomuotoon. Tämä metatieto ei voi puuttua, koska se koostuu tunnetuista suureista, kuten tiedoston koosta ja lähdetunnisteesta.

PDF-tiedosto jaetaan sivuihin, ja kunkin sivun muunnetaan JPEG-muotoon ImageMagickin avulla. Kuva syötetään sitten ResNet-50-verkkoon, josta johdetaan 2048-ulotteinen vektori toiseksi viimeiseltä kerrokselta.

PDF-tiedostojen poistojärjestelmä. Lähde: https://arxiv.org/ftp/arxiv/papers/2112/2112.02471.pdf

Samaan aikaan sivu muunnetaan tekstimuotoon pdf2text-työkalulla, ja TF-IDF-määritykset saadaan scikit-learnista.

TF-IDF tarkoittaa Term Frequency Inverse Document Frequency, joka mittaa jokaisen lauseen yleisyyttä asiakirjassa sen yleisyyden mukaan koko tietokannassa hienojakoisella asteikolla 0-1. Tutkijat ovat käyttäneet yksittäisiä sanoja (yksikkömuotoja) järjestelmän TF-IDF-asetuksissa.

Vaikka he myöntävät, että koneoppimisella on tarjottavissa monimutkaisempia menetelmiä kuin TF-IDF, tutkijat väittävät, että mitään monimutkaisempaa ei ole tarpeen mainittuun tehtävään.

Se, että kullakin asiakirjalla on liitetty lähdetunniste, mahdollistaa järjestelmän määrittää asiakirjojen alkuperän tietokannassa.

Tämä voi näyttää triviaalilta tuhannesta asiakirjasta, mutta se on merkittävä 40 miljoonalle+.

Uudet lähestymistavat tekstihakuun

Yksi projektin tavoitteista on tehdä tekstipohjaisista hakutuloksista merkityksellisempiä, mahdollistaen hedelmällisen tutkimisen ilman liiallista etukäteistietämystä. Tutkijat toteavat:

‘Vaikka avainsanahaku on intuitiivinen ja laajasti sovellettavissa oleva hakutapa, se voi myös olla rajoittava, koska käyttäjien on muodostettava avainsanakyselyjä, jotka tuottavat merkityksellisiä tuloksia.’

Kun TF-IDF-arvot on saatu, on mahdollista laskea useimmin esiintyvät sanat ja arvioida “keskimääräinen” asiakirja tietokannassa. Tutkijat väittävät, että koska nämä asiakirjojen välisten avainsanat ovat yleensä merkityksellisiä, tämä prosessi muodostaa hyödyllisiä suhteita tutkijoille, joita ei voida saavuttaa ainoastaan yksittäisten asiakirjojen tekstien indeksoinnilla.

Näyttöön perustuen, prosessi mahdollistaa “mielialan” sanojen luominen eri hallituksen osastoilta:

TF-IDF-avainsanat eri Yhdysvaltain hallituksen osastoilta, saadut TF-IDF:llä.

Nämä poistetut avainsanat ja suhteet voidaan myöhemmin käyttää dynaamisten matriisien muodostamiseen hakutuloksissa, jolloin PDF-tiedostojen tietokanta alkaa “kertoa tarinoita”, ja avainsanasuhteet muodostavat asiakirjoja (mahdollisesti jopa satojen vuosien ajan), jotta aiheen tai teeman moniosainen “saaga” voidaan tutkia.

Tutkijat käyttävät k-keskiarvojen ryhmittelyä tunnistamaan asiakirjoja, jotka ovat liittyneitä, vaikka asiakirjat eivät jaettaisi yhteistä lähdettä. Tämä mahdollistaa avainsanameta-asetusten kehittämisen tietokannan yli, mikä ilmenee joko sanojen luokitteluna tiukassa tekstihaussa tai lähellä olevina solmuna dynaamisemmassa tutkimisympäristössä:

Visuaalinen analyysi

Washingtonin tutkijoiden lähestymistavan oikea uutuus on soveltaa koneoppimiseen perustuvia visuaalisen analyysin menetelmiä PDF-tiedostojen tietokannan rasteroituun ulkoasuun.

Tällä tavoin on mahdollista generoida “LUKITTU” -tunniste visuaalisen perusteen mukaan, vaikka itse teksti ei välttämättä tarjoa yhteistä perustaa.

Tietokoneavusteisella näköhavainnolla tunnistettu ryhmä lukittuja PDF-asiakirjojen etusivuja uudessa projektissa.

Lisäksi tämä menetelmä voi johtaa tällaisen tunnisteen jopa hallituksen asiakirjoista, jotka on rasteroitu, mikä on usein tapahtunut luokitellun aineiston kohdalla, mahdollistaen perusteellisen ja kattavan haun tällaisen käytännön osalta.

Lisäksi kartat ja kaaviot voidaan samalla tavoin tunnistaa ja luokitella, ja tutkijat kommentoivat tätä potentiaalista toiminnallisuutta:

‘Tutkijoille, jotka ovat kiinnostuneita luokitellun tai muun herkkän aineiston paljastamisesta, voi olla erityisen mielenkiintoista erottaa juuri tällainen aineiston ryhmä analyysiä ja tutkimusta varten.’

Tutkimusraportti toteaa, että laaja valikoima visuaalisia osoittimia, jotka ovat yleisiä tietynlaisille hallituksen PDF-asiakirjoille, voidaan käyttää asiakirjojen luokitteluun ja “saagojen” luomiseen. Tällaiset “tokenit” voivat olla kongressin sinetti tai muut logot tai toistuvat visuaaliset piirteet, joilla ei ole semanttista olemassaoloa puhtaassa tekstihaussa.

Lisäksi asiakirjat, jotka vastustavat luokittelua tai joista asiakirja on epätavallisesta lähteestä, voidaan tunnistaa niiden ulkoasun perusteella, kuten sarakkeiden, fonttityyppien ja muiden ominaispiirteiden perusteella.

Ulkoasu yksin voi tarjota ryhmittelyä ja luokittelua visuaalisessa hakutilassa.

Vaikka tutkijat eivät ole laiminlyöneet tekstiä, on selvää, että visuaalinen hakutila on ajanut tämän työn.

‘Visuaalisten ominaisuuksien perusteella PDF-tiedostojen hakeminen ja analyysi on monipuolinen lähestymistapa: se ei ainoastaan täydennä olemassa olevia tekstianalyysin pyrkimyksiä, vaan myös uudelleenmäärittää, mitä hakeminen ja analyysi voivat olla syntyperäisille digitaalisille sisällöille.’

Tutkijat aikovat kehittää kehysrakennettaan käsittelyyn paljon suurempia tietokantoja, mukaan lukien 2008 End of Term Presidential Web Archive tietokanta, joka sisältää yli 10 miljoonaa kohtaa. Aluksi he aikovat kuitenkin laajentaa järjestelmää käsittelyyn “kymmeniä tuhansia” hallituksen PDF-asiakirjoja.

Järjestelmän on tarkoitus arvioida aluksi todellisilla käyttäjillä, mukaan lukien kirjastovirkailijat, arkistot, lakimiehet, historioitsijat ja muut tutkijat, ja se kehittyy näiden ryhmien palautteen perusteella.

Grappling with the Scale of Born-Digital Government Publications: Toward Pipelines for Processing and Searching Millions of PDFs on kirjoittanut Benjamin Charles Germain Lee (Paul G. Allenin tietotekniikan ja insinööritieteiden koulu) ja Trevor Owens, julkisen historian asiantuntija ja digitaalisen sisällön hallinnan johtaja Kongressin kirjastossa Washington D.C.:ssä.

*Minun muunnokseni sisäisistä viittauksista hyperlinkkeihin.

Alun perin julkaistu 28. joulukuuta 2021