Rozwiązywanie problemu górskiej ilości dokumentów PDF w amerykańskim rządzie za pomocą komputeryzacji

Format dokumentu PDF firmy Adobe zakorzenił się tak głęboko w amerykańskich rządowych pipeline’ach dokumentów, że liczba dokumentów wydanych przez państwo, które obecnie istnieją, jest konserwatywnie szacowana na setki milionów. Często nieprzezroczyste i pozbawione metadanych, te dokumenty PDF – wiele z nich zostało utworzonych przez automatyczne systemy – łącznie nie opowiadają żadnych historii ani sag; jeśli nie wiesz dokładnie, czego szukasz, prawdopodobnie nigdy nie znajdziesz odpowiedniego dokumentu. I jeśli wiesz, to prawdopodobnie nie potrzebujesz wyszukiwania.Jednak nowy projekt wykorzystuje komputeryzację i inne podejścia machine learningowe, aby zmienić tę prawie nieprzezwyciężalną górę danych w cenny i eksplorowalny zasób dla badaczy, historyków, dziennikarzy i uczonych.

Gdy rząd Stanów Zjednoczonych odkrył format dokumentu PDF firmy Adobe w latach 90., zdecydował, że mu się podoba. W przeciwieństwie do edytowalnych dokumentów Word, dokumenty PDF mogły być “upieczone” na różne sposoby, co utrudniało lub uniemożliwiało ich późniejszą modyfikację; czcionki mogły być osadzone, co zapewniało kompatybilność między platformami; a drukowanie, kopiowanie i nawet otwieranie mogły być kontrolowane na poziomie szczegółowym.

Bardziej istotne było to, że te podstawowe funkcje były dostępne w niektórych z najstarszych “podstawowych” specyfikacji formatu, co obiecywało, że materiały archiwalne nie będą musiały być ponownie przetwarzane lub ponownie odwiedzane później, aby zapewnić dostępność. Prawie wszystko, czego potrzebowało wydawnictwo rządowe, było na miejscu do 1996 roku.

Z technologiami blockchain i NFT oddalonymi o kilka dekad, format PDF był tak blisko “martwego” analogowego dokumentu, jak tylko mogło być to możliwe w erze cyfrowej – tylko konceptualny krok od faksu. To było dokładnie to, czego chciano.

Wewnętrzne sprzeciwy wobec PDF

Stopień, w jakim dokumenty PDF są hermetyczne, nieprzezroczyste i “niespołeczne”, jest charakteryzowany w dokumentacji na temat formatu w Bibliotece Kongresu, która faworyzuje format PDF jako swój “preferowany format”:

‘Głównym celem formatu PDF/A jest reprezentowanie dokumentów elektronicznych w sposób, który zachowuje ich statyczny wygląd wizualny w czasie, niezależnie od narzędzi i systemów używanych do tworzenia, przechowywania lub renderowania plików. W tym celu format PDF/A stara się maksymalizować niezależność urządzeń, samowystarczalność i samodokumentację.’

Trwający entuzjazm dla formatu PDF, standardy dostępności i wymagania dotyczące minimalnej wersji różnią się w różnych amerykańskich departamentach rządowych. Na przykład, podczas gdy Agencja Ochrony Środowiska ma surowe, ale wspierające polityki w tym zakresie, oficjalna strona internetowa rządu USA plainlanguage.gov uznaje, że ‘użytkownicy nienawidzą dokumentów PDF’, i nawet łączy się bezpośrednio z raportem z 2020 roku Nielsen Norman Group zatytułowanym PDF: Nadal nieodpowiedni do spożycia przez ludzi, 20 lat później.

Tymczasem irs.gov, utworzony w 1995 roku specjalnie w celu przejścia dokumentacji agencji podatkowej na cyfrową, natychmiast przyjął format PDF i nadal jest gorącym zwolennikiem.

Wirusowy rozprzestrzenianie się dokumentów PDF

Od momentu, gdy specyfikacje rdzenia formatu PDF zostały udostępnione przez firmę Adobe, szereg serwerowych narzędzi i bibliotek przetwarzania dokumentów PDF pojawiło się, wiele z nich jest obecnie szanowanym i zakorzenionym jak specyfikacje formatu PDF z 1996 roku, i tak samo niezawodnym i odporne na błędy, jak oprogramowanie dostawców spieszyło, aby zintegrować funkcjonalność dokumentów PDF z tanimi narzędziami.

W konsekwencji, kochane lub nienawidzone przez ich gospodarzy departamenty, dokumenty PDF pozostają wszechobecne w ramach komunikacji i dokumentacji na przestrzeni dużej liczby amerykańskich departamentów rządowych.

W 2015 roku wiceprezes ds. inżynierii w firmie Adobe, Phil Ydens oszacował, że 2,5 biliona dokumentów PDF istnieje na świecie, podczas gdy format jest uważany za odpowiedzialny za 6-11% wszystkich treści internetowych. W kulturze technologicznej uzależnionej od burzenia starych technologii, format PDF stał się nieusuwalnym “rdzą” – centralną częścią struktury, która go gospodaruje.

Z 2018 roku. Nie ma zbyt wielu dowodów na potężnego rywala. Źródło: https://twitter.com/trbrtc/status/980407663690502145

Zgodnie z niedawnym badaniem przeprowadzonym przez badaczy z Uniwersytetu Waszyngtońskiego i Biblioteki Kongresu, ‘setki milionów unikalnych dokumentów rządowych USA opublikowanych w sieci w formacie PDF zostały zarchiwizowane przez biblioteki do tej pory’.

Jednak badacze twierdzą, że jest to tylko “wierzchołek lodu”*:

‘Jak zauważył wiodący historyk cyfrowy Roy Rosenzweig już w 2003 roku, jeśli chodzi o pierwotne źródła cyfrowe dla badań, konieczne jest rozwinięcie metod i podejść, które będą skalować się do dziesiątek i setek milionów, a nawet miliardów cyfrowych [zasobów]. Teraz dotarliśmy do punktu, w którym rozwinięcie podejść na taką skalę jest konieczne.

‘Przykładem może być archiwum sieciowe Biblioteki Kongresu, które zawiera ponad 20 miliardów indywidualnych zasobów cyfrowych.’

Dokumenty PDF: Odporne na analizę

Projekt badawczy z Waszyngtonu stosuje szereg metod machine learningowych do publicznie dostępnego i opisanego korpusu 1000 wybranych dokumentów z Biblioteki Kongresu, z zamiarem rozwinięcia systemów zdolnych do błyskawicznego, wielomodalnego pobierania zapytań tekstowych i graficznych w ramach, które mogą skalować się do wysokości obecnych (i rosnących) wolumenów PDF, nie tylko w rządzie, ale także w wielu sektorach.

Jak zauważa praca, przyspieszony tempem digitalizacji w różnych amerykańskich departamentach rządowych w latach 90. doprowadził do rozbieżnych polityk i praktyk, i często do przyjęcia metod publikacji PDF, które nie zawierały takiego samego poziomu metadanych, jaki był wcześniej złotym standardem usług bibliotecznych rządu – lub nawet podstawowych metadanych PDF, które mogłyby być pomocne w uczynieniu zbiorów PDF bardziej dostępnymi i przyjaznymi do indeksowania.

Omawiając ten okres perturbacji, autorzy zauważają:

‘Te wysiłki doprowadziły do eksplozywnego wzrostu ilości publikacji rządowych, co z kolei doprowadziło do załamania się ogólnego podejścia, zgodnie z którym spójne metadane były produkowane dla takich publikacji i zgodnie z którym biblioteki nabywały kopie.’

W związku z tym typowa górka PDF istnieje bez żadnego kontekstu, poza adresami URL, które łączą się bezpośrednio z nią. Ponadto dokumenty w górze są zamknięte, samoreferencyjne i nie tworzą części żadnej “sagi” lub narracji, którą obecne metody wyszukiwania są w stanie dostrzec, chociaż takie ukryte połączenia bez wątpienia istnieją.

Przy takiej skali, ręczna adnotacja lub kuracja jest niemożliwa. Korpus danych, z którego pochodzi 1000 dokumentów Biblioteki Kongresu, zawiera ponad 40 milionów dokumentów PDF, które badacze zamierzają uczynić możliwym do adresowania w najbliższej przyszłości.

Komputeryzacja dla analizy PDF

Większość wcześniejszych badań, które autorzy cytują, wykorzystuje metody oparte na tekście do wyodrębniania cech i wysokopoziomowych pojęć z materiału PDF; w przeciwieństwie do tego, ich projekt koncentruje się na wyodrębnianiu cech i trendów poprzez badanie dokumentów PDF na poziomie wizualnym, zgodnie z bieżącymi badaniami nad analizą multimodalną treści informacyjnej.

Chociaż machine learning został również zastosowany w ten sposób w analizie dokumentów PDF za pomocą sektorowych schematów, takich jak Semantic Scholar, autorzy mają na celu stworzenie bardziej zaawansowanych rurociągów ekstrakcji, które będą szeroko stosowane w różnych publikacjach, a nie dostosowane do wymagań publikacji naukowych lub innych równie wąskich sektorów.

Rozwiązywanie problemu niesbalansowanych danych

Podczas tworzenia schematu metryk, badacze musieli uwzględnić, jak bardzo są nachylone dane, przynajmniej pod względem rozmiaru na pozycję.

Z 1000 dokumentów PDF w wybranym zbiorze danych (które autorzy zakładają, że są reprezentatywne dla 40 milionów, z których zostały wybrane), 33% mają tylko jedną stronę, a 39% ma od 2 do 5 stron. To oznacza, że 72% dokumentów ma pięć stron lub mniej.

Po tym następuje dość duży skok: 18% pozostałych dokumentów ma od 6 do 20 stron, 6% ma od 20 do 100 stron, a 3% ma ponad 100 stron. To oznacza, że najdłuższe dokumenty stanowią większość poszczególnych stron wyodrębnionych, podczas gdy mniej szczegółowe podejście, które uwzględnia dokumenty same, skierowałoby uwagę na znacznie liczniejsze krótsze dokumenty.

Jednakże, te są interesującymi metrykami, ponieważ dokumenty o jednej stronie mają tendencję do bycia technicznymi schematami lub mapami; dokumenty o 2-5 stronach mają tendencję do być komunikatami prasowymi i formularzami; a bardzo długie dokumenty są zwykle raportami książkowymi i publikacjami, chociaż, pod względem długości, są one mieszane z ogromnymi automatycznymi zrzutami danych, które zawierają całkowicie inne wyzwania dla interpretacji semantycznej.

Dlatego badacze traktują tę niesymetryczność jako istotną własność semantyczną sama w sobie. Niemniej jednak, dokumenty PDF nadal muszą być przetwarzane i ilościowo określone na poziomie strony.

Architektura

Na początku procesu, metadane dokumentu PDF są parsowane do danych tabelarycznych. Te metadane nie będą niedostępne, ponieważ składają się z znanych ilości, takich jak rozmiar pliku i adres URL źródłowy.

Następnie dokument PDF jest podzielony na strony, a każda strona jest przekonwertowana do formatu JPEG za pomocą ImageMagick. Obraz jest następnie podawany do sieci ResNet-50, która wyodrębnia 2048-wymiarowy wektor z warstwy przedostatniej.

Potok wyodrębniania z dokumentów PDF. Źródło: https://arxiv.org/ftp/arxiv/papers/2112/2112.02471.pdf

W tym samym czasie strona jest konwertowana do pliku tekstowego za pomocą pdf2text, a featuryzacje TF-IDF są uzyskiwane za pomocą scikit-learn.

TF-IDF oznacza Term Frequency Inverse Document Frequency, która mierzy częstotliwość każdego wyrażenia w dokumencie do jego częstotliwości w całym zbiorze danych, na drobnym poziomie od 0 do 1. Badacze użyli pojedynczych słów (unigramów) jako najmniejszej jednostki w ustawieniach TF-IDF systemu.

Chociaż przyznają, że machine learning ma do zaoferowania bardziej zaawansowane metody niż TF-IDF, autorzy twierdzą, że cokolwiek bardziej złożonego jest niepotrzebne do określonego zadania.

Fakt, że każdy dokument ma skojarzony z nim adres URL, umożliwia systemowi określenie pochodzenia dokumentów w całym zbiorze danych.

To może wydawać się trywialne dla 1000 dokumentów, ale będzie to bardzo ważne dla 40 milionów+.

Nowe podejścia do wyszukiwania tekstowego

Jednym z celów projektu jest uczynienie wyników wyszukiwania dla zapytań opartych na tekście bardziej znaczącymi, umożliwiając owocne eksplorowanie bez potrzeby nadmiernych wcześniejszych informacji. Autorzy stwierdzają:

‘Podczas gdy wyszukiwanie słów kluczowych jest intuicyjnym i bardzo rozszerzalnym sposobem wyszukiwania, może być również ograniczające, ponieważ użytkownicy są odpowiedzialni za formułowanie zapytań słów kluczowych, które zwracają istotne wyniki.’

Po uzyskaniu wartości TF-IDF możliwe jest obliczenie najczęściej występujących słów i oszacowanie “średniego” dokumentu w korpusie. Badacze twierdzą, że ponieważ te słowa kluczowe między dokumentami są zwykle znaczące, ten proces tworzy użyteczne relacje dla badaczy do eksplorowania, które nie mogłyby być uzyskane wyłącznie przez indywidualne indeksowanie tekstu każdego dokumentu.

Wizualnie, proces ułatwia “tablicę nastrojów” słów pochodzących z różnych departamentów rządowych:

Słowa kluczowe TF-IDF dla różnych departamentów rządowych USA, uzyskane za pomocą TF-IDF.

Te wyodrębnione słowa kluczowe i relacje mogą później być wykorzystane do tworzenia dynamicznych macierzy w wynikach wyszukiwania, z korpusem dokumentów PDF, który zaczyna “opowiadać historie”, a relacje słów kluczowych łączą dokumenty (możliwie nawet przez setki lat), aby zarysować eksplorowalną, wieloczęściową “sagę” na temat lub motywu.

Badacze używają klastrowania k-średnich do identyfikacji dokumentów, które są powiązane, nawet wtedy, gdy dokumenty nie mają wspólnego źródła. To umożliwia rozwinięcie metadanych fraz kluczowych, które mają zastosowanie w całym zbiorze danych, które mogą się manifestować albo jako rankingi terminów w ścisłym wyszukiwaniu tekstu, albo jako sąsiednie węzły w bardziej dynamicznym środowisku eksploracji:

Analiza wizualna

Prawdziwa nowość podejścia badaczy z Waszyngtonu polega na zastosowaniu technik analizy wizualnej opartych na machine learningu do rastrowego wyglądu dokumentów PDF w zbiorze danych.

W ten sposób możliwe jest wygenerowanie znacznika “USUNIĘTO” na podstawie wizualnej, gdzie nic w samym tekście nie zapewniałoby wystarczająco wspólnej podstawy.

Klaster usuniętych stron tytułowych dokumentów PDF, zidentyfikowany przez komputeryzację w nowym projekcie.

Co więcej, ta metoda może wyodrębnić taki znacznik nawet z dokumentów rządowych, które zostały zrastrowane, co często ma miejsce w przypadku usuniętych materiałów, co umożliwia wyczerpujące i kompleksowe wyszukiwanie tej praktyki.

Ponadto, mapy i schematy mogą być również identyfikowane i kategoryzowane, a autorzy komentują ten potencjał funkcjonalności:

‘Dla badaczy zainteresowanych ujawnieniami klasyfikowanych lub wrażliwych informacji, może być szczególnie interesujące, aby wyizolować dokładnie ten rodzaj klastra materiałów do analizy i badań.’

Dokumenty, które nie dają się zaklasyfikować, lub które pochodzą z niezwykłego źródła, mogą być identyfikowane na podstawie układu, takiego jak kolumny, rodzaje czcionek i inne charakterystyczne cechy.

Układ sam w sobie może zapewnić grupowanie i klasyfikację w przestrzeni wyszukiwania wizualnej.

Chociaż autorzy nie zaniedbali tekstu, jest jasne, że przestrzeń wyszukiwania wizualnego jest tym, co napędza tę pracę.

‘Możliwość wyszukiwania i analizy dokumentów PDF według ich cech wizualnych jest więc podejściem o dużej pojemności: nie tylko uzupełnia istniejące wysiłki wokół analizy tekstowej, ale także wyobraża sobie, czym może być wyszukiwanie i analiza dla treści cyfrowej.’

Autorzy zamierzają rozwijać swój framework, aby uwzględnić znacznie większe zbiory danych, w tym archiwum sieciowe z 2008 roku zbiór danych, który zawiera ponad 10 milionów pozycji. Początkowo jednak zamierzają skalować system, aby rozwiązać “dziesiątki tysięcy” rządowych dokumentów PDF.

System ma być początkowo oceniany z udziałem prawdziwych użytkowników, w tym bibliotekarzy, archiwistów, prawników, historyków i innych badaczy, i będzie ewoluował na podstawie informacji zwrotnej od tych grup.

Rozwiązywanie problemu skali publikacji rządowych urodzonych cyfrowo: W kierunku potoków przetwarzania i wyszukiwania milionów dokumentów PDF jest napisany przez Benjamina Charlesa Germaina Lee (w Szkole Inżynierii Komputerowej i Inżynierii na Uniwersytecie Waszyngtońskim) i Trevora Owensa, Historyka Publicznego w Rezydencji i Kierownika Zarządzania Treścią Cyfrową w Bibliotece Kongresu w Waszyngtonie.

* Moja konwersja odniesień wewnętrznych do łączy internetowych.

Opublikowany po raz pierwszy 28 grudnia 2021