Lidando com a Montanha de PDFs do Governo dos EUA com Visão Computacional

O formato de PDF da Adobe se enraizou tão profundamente nos pipelines de documentos do governo dos EUA que o número de documentos emitidos pelo estado atualmente em existência é estimado conservadoramente em centenas de milhões. Muitas vezes opacos e sem metadados, esses PDFs – muitos criados por sistemas automatizados – coletivamente não contam histórias ou sagas; se você não souber exatamente o que está procurando, provavelmente nunca encontrará um documento pertinente. E se você soubesse, provavelmente não precisaria da busca.No entanto, um novo projeto está usando visão computacional e outras abordagens de aprendizado de máquina para transformar essa montanha quase inacessível de dados em um recurso valioso e explorável para pesquisadores, historiadores, jornalistas e estudiosos.

Quando o governo dos EUA descobriu o formato de documento portátil da Adobe (PDF) na década de 1990, decidiu que gostava dele. Ao contrário dos documentos do Word editáveis, os PDFs podiam ser “assados” de várias maneiras que os tornavam difíceis ou impossíveis de alterar posteriormente; as fontes podiam ser incorporadas, garantindo a compatibilidade entre plataformas; e a impressão, cópia e até mesmo a abertura podiam ser controladas de forma granular.

Mais importante ainda, esses recursos centrais estavam disponíveis em algumas das especificações “baseline” mais antigas do formato, prometendo que o material de arquivo não precisaria ser processado ou revisitado posteriormente para garantir a acessibilidade. Quase tudo o que a publicação do governo precisava estava no lugar por 1996.

Com a tecnologia de blockchain e NFT décadas à frente, o PDF era o mais próximo que a era digital emergente podia chegar a um documento “morto” analógico, apenas um conceito de “fax” à distância. Isso era exatamente o que se queria.

Disputa Interna sobre o PDF

A extensão com que os PDFs são herméticos, intransigentes e “não sociais” é caracterizada na documentação sobre o formato na Biblioteca do Congresso, que favorece o PDF como seu “formato preferido”:

‘O propósito principal do formato PDF/A é representar documentos eletrônicos de uma maneira que preserve sua aparência visual estática ao longo do tempo, independentemente das ferramentas e sistemas usados para criar, armazenar ou renderizar os arquivos. Para isso, o PDF/A tenta maximizar a independência do dispositivo, a autocontenção e a autodocumentação.’

O entusiasmo contínuo pelo formato PDF, os padrões de acessibilidade e os requisitos de uma versão mínima variam entre os departamentos do governo dos EUA. Por exemplo, enquanto a Agência de Proteção Ambiental tem políticas rigorosas, mas apoio nesse sentido, o site oficial do governo dos EUA plainlanguage.gov reconhece que ‘os usuários odeiam PDF’, e até mesmo vincula diretamente a um relatório de 2020 do Nielsen Norman Group intitulado PDF: Ainda não adequado para consumo humano, 20 anos depois.

Enquanto isso, o irs.gov, criado em 1995 especificamente para fazer a transição da documentação da agência de impostos para digital, adotou imediatamente o PDF e ainda é um defensor entusiasta.

A Propagação Viral dos PDFs

Desde que as especificações centrais do PDF foram liberadas como código aberto pela Adobe, uma série de ferramentas e bibliotecas de processamento de servidor surgiram, muitas agora como veneráveis e enraizadas quanto as especificações do PDF de 1996, e tão confiáveis e resistentes a bugs, enquanto os fornecedores de software corriam para integrar a funcionalidade do PDF em ferramentas de baixo custo.

Consequentemente, amados ou odiados por seus departamentos anfitriões, os PDFs permanecem ubíquos nos quadros de comunicação e documentação em um enorme número de departamentos do governo dos EUA.

Em 2015, o vice-presidente de engenharia da Document Cloud da Adobe, Phil Ydens, estimou que 2,5 trilhões de documentos PDF existem no mundo, enquanto o formato é acredita representar entre 6-11% de todo o conteúdo da web. Em uma cultura de tecnologia viciada em interromper tecnologias antigas, o PDF se tornou “ferrugem” inerradicável – uma parte central da estrutura que o hospeda.

De 2018. Há pouca evidência de um desafiador formidável ainda. Fonte: https://twitter.com/trbrtc/status/980407663690502145

De acordo com um estudo recente de pesquisadores da Universidade de Washington e da Biblioteca do Congresso, ‘centenas de milhões de documentos do governo dos EUA únicos publicados na web em forma de PDF foram arquivados por bibliotecas até o momento’.

No entanto, os pesquisadores argumentam que isso é apenas a “ponta do iceberg”*:

‘Como notou o principal estudioso de história digital Roy Rosenzweig já em 2003, quando se trata de fontes primárias nascidas digitalmente para a erudição, é essencial desenvolver métodos e abordagens que possam escalar para dezenas e centenas de milhões e até bilhões de recursos digitais. Agora chegamos ao ponto em que desenvolver abordagens para essa escala é necessário.

‘Por exemplo, os arquivos da web da Biblioteca do Congresso agora contêm mais de 20 bilhões de recursos digitais individuais.’

PDFs: Resistentes à Análise

O projeto dos pesquisadores de Washington aplica uma série de métodos de aprendizado de máquina a um conjunto de dados público e anotado de 1.000 documentos selecionados da Biblioteca do Congresso, com a intenção de desenvolver sistemas capazes de recuperação multimodal de texto e imagem em frameworks que possam escalar até as alturas dos volumes atuais (e crescentes) de PDFs, não apenas no governo, mas em uma multiplicidade de setores.

Como observa o artigo, o ritmo acelerado de digitalização em uma variedade de departamentos do governo dos EUA na década de 1990 levou a políticas e práticas divergentes, e frequentemente à adoção de métodos de publicação de PDF que não continham a mesma qualidade de metadados que era o padrão de ouro dos serviços de biblioteca do governo – ou mesmo metadados básicos de PDF nativos, que poderiam ter sido de alguma ajuda para tornar as coleções de PDF mais acessíveis e amigáveis à indexação.

Discutindo esse período de interrupção, os autores notam:

‘Esses esforços levaram a um crescimento explosivo da quantidade de publicações do governo, que por sua vez resultou em uma quebra da abordagem geral pela qual metadados consistentes eram produzidos para essas publicações e pela qual as bibliotecas adquiriam cópias delas.’

Consequentemente, uma montanha de PDF típica existe sem nenhum contexto, exceto os URLs que a vinculam diretamente. Além disso, os documentos na montanha são fechados, auto-referenciais e não formam parte de nenhuma “saga” ou narrativa que as metodologias de busca atuais possam discernir, embora tais conexões ocultas sem dúvida existam.

Na escala considerada, a anotação ou curadoria manual é uma perspectiva impossível. O conjunto de dados do qual os 1000 documentos da Biblioteca do Congresso foram derivados contém mais de 40 milhões de PDFs, que os pesquisadores pretendem tornar um desafio endereçável no futuro próximo.

Visão Computacional para Análise de PDF

A maioria das pesquisas anteriores citadas pelos autores usa métodos baseados em texto para extrair recursos e conceitos de alto nível de material de PDF; em contraste, o projeto deles centra-se em derivar recursos e tendências examinando os PDFs em um nível visual, em linha com pesquisas atuais sobre análise multimodal de conteúdo de notícias.

Embora o aprendizado de máquina também tenha sido aplicado dessa forma à análise de PDF por meio de esquemas específicos de setor, como Semantic Scholar, os autores pretendem criar pipelines de extração de alto nível mais amplamente aplicáveis em uma variedade de publicações, em vez de sintonizados com as restrições da publicação científica ou de outros setores igualmente estreitos.

Abordando Dados Desbalanceados

Ao criar um esquema de métricas, os pesquisadores tiveram que considerar como os dados estão inclinados, pelo menos em termos de tamanho por item.

Dos 1000 PDFs no conjunto de dados selecionado (que os autores presumem ser representativo dos 40 milhões de onde foram extraídos), 33% têm apenas uma página, e 39% têm 2-5 páginas. Isso coloca 72% dos documentos com cinco páginas ou menos.

Depois disso, há um salto: 18% dos documentos restantes têm 6-20 páginas, 6% têm 20-100 páginas e 3% têm 100+ páginas. Isso significa que os documentos mais longos compõem a maioria das páginas individuais extraídas, enquanto uma abordagem menos granular que considera os documentos sozinhos daria atenção aos documentos mais numerosos e mais curtos.

No entanto, essas são métricas esclarecedoras, pois os documentos de uma página tendem a ser esquemas técnicos ou mapas; os documentos de 2-5 páginas tendem a ser releases de imprensa e formulários; e os documentos muito longos são geralmente relatórios e publicações de livro, embora, em termos de comprimento, sejam misturados com vastos dumps de dados automatizados que contêm desafios completamente diferentes para a interpretação semântica.

Portanto, os pesquisadores estão tratando essa falta de equilíbrio como uma propriedade semântica significativa em si. No entanto, os PDFs ainda precisam ser processados e quantificados em uma base por página.

Arquitetura

No início do processo, os metadados do PDF são analisados em dados tabulares. Esses metadados não estarão ausentes, pois consistem em quantidades conhecidas, como tamanho do arquivo e URL de origem.

O PDF é então dividido em páginas, com cada página convertida em um formato JPEG por meio do ImageMagick. A imagem é então alimentada em uma rede ResNet-50, que deriva um vetor de 2.048 dimensões da segunda camada mais antiga.

O pipeline para extração de PDFs. Fonte: https://arxiv.org/ftp/arxiv/papers/2112/2112.02471.pdf

Ao mesmo tempo, a página é convertida em um arquivo de texto pelo pdf2text, e as featurizações TF-IDF são obtidas por meio do scikit-learn.

TF-IDF significa Frequência de Termo Inversa de Frequência de Documento, que mede a prevalência de cada frase dentro do documento para sua frequência em todo o conjunto de dados, em uma escala fina de 0 a 1. Os pesquisadores usaram palavras individuais (unigramas) como a unidade mais pequena nas configurações TF-IDF do sistema.

Embora eles reconheçam que o aprendizado de máquina tenha métodos mais sofisticados a oferecer do que o TF-IDF, os autores argumentam que qualquer coisa mais complexa é desnecessária para a tarefa declarada.

O fato de cada documento ter um URL de origem associado permite que o sistema determine a proveniência dos documentos em todo o conjunto de dados.

Isso pode parecer trivial para mil documentos, mas será um olhar revelador para 40 milhões+.

Novas Abordagens para Busca de Texto

Um dos objetivos do projeto é tornar os resultados de busca para consultas baseadas em texto mais significativos, permitindo uma exploração frutífera sem a necessidade de conhecimento prévio excessivo. Os autores afirmam:

‘Embora a busca por palavra-chave seja um método intuitivo e altamente extensível de busca, também pode ser limitante, pois os usuários são responsáveis por formular consultas de palavra-chave que recuperem resultados relevantes.’

Uma vez que os valores TF-IDF são obtidos, é possível calcular as palavras mais comumente apresentadas e estimar um “documento médio” no corpus. Os pesquisadores argumentam que, como essas palavras-chave entre documentos são geralmente significativas, esse processo forma relações úteis para os estudiosos explorarem, que não poderiam ser obtidas apenas pelo índice individual do texto de cada documento.

Visualmente, o processo facilita um “quadro de humor” de palavras emanando de vários departamentos do governo:

Palavras-chave TF-IDF para vários departamentos do governo dos EUA, obtidas por TF-IDF.

Essas palavras-chave e relações extraídas podem ser usadas posteriormente para formar matrizes dinâmicas nos resultados da busca, com o corpus de PDFs começando a “contar histórias”, e as relações de palavras-chave ligando documentos (possivelmente até mesmo ao longo de centenas de anos), para esboçar uma “saga” explorável para um tópico ou tema.

Os pesquisadores usam agrupamento k-means para identificar documentos relacionados, mesmo quando os documentos não compartilham uma fonte comum. Isso permite o desenvolvimento de metadados de frase-chave aplicáveis em todo o conjunto de dados, que se manifestariam como classificações para termos em uma busca de texto estrita, ou como nós próximos em um ambiente de exploração mais dinâmico:

Análise Visual

A verdadeira novidade da abordagem dos pesquisadores de Washington é aplicar técnicas de análise visual baseadas em aprendizado de máquina à aparência rasterizada dos PDFs no conjunto de dados.

Assim, é possível gerar uma etiqueta “REDACTED” em uma base visual, onde nada no texto em si forneceria uma base comum o suficiente.

Um cluster de páginas de PDF redigidas identificadas por visão computacional no novo projeto.

Além disso, essa metodologia pode derivar essa etiqueta mesmo de documentos do governo que foram rasterizados, o que é frequentemente o caso com material redigido, tornando possível uma busca exaustiva e abrangente por essa prática.

Além disso, mapas e esquemas podem ser identificados e categorizados, e os autores comentam sobre essa funcionalidade potencial:

‘Para os estudiosos interessados em divulgações de informações classificadas ou sensíveis, pode ser particularmente interessante isolar exatamente esse tipo de cluster de material para análise e pesquisa.’

O artigo observa que uma ampla variedade de indicadores visuais comuns a tipos específicos de PDF do governo pode ser usada para classificar documentos e criar “sagas”. Esses “tokens” poderiam ser o selo do Congresso ou outros logotipos ou recursos visuais recorrentes que não têm existência semântica em uma busca de texto pura.

Além disso, documentos que desafiam a classificação ou que vêm de uma fonte não comum podem ser identificados por meio de seu layout, como colunas, tipos de fonte e outros aspectos distintivos.

O layout sozinho pode fornecer agrupamentos e classificações em um espaço de busca visual.

Embora os autores não tenham negligenciado o texto, claramente o espaço de busca visual é o que impulsionou esse trabalho.

‘A capacidade de buscar e analisar PDFs de acordo com seus recursos visuais é, portanto, uma abordagem ampla: não apenas aumenta os esforços existentes em torno da análise de texto, mas também reimagina o que a busca e a análise podem ser para o conteúdo nascido digital.’

Os autores pretendem desenvolver sua estrutura para acomodar conjuntos de dados muito maiores, incluindo o conjunto de dados do Arquivo da Web do Fim do Mandato Presidencial de 2008 dataset, que contém mais de 10 milhões de itens. Inicialmente, no entanto, eles pretendem escalar o sistema para abordar “dezenas de milhares” de PDFs governamentais.

O sistema pretende ser avaliado inicialmente com usuários reais, incluindo bibliotecários, arquivistas, advogados, historiadores e outros estudiosos, e evoluirá com base nos feedback desses grupos.

Lidando com a Escala de Publicações do Governo Nascidas Digitalmente: Em Direção a Pipelines para Processamento e Busca de Milhões de PDFs é escrito por Benjamin Charles Germain Lee (na Escola de Ciência e Engenharia de Computação Paul G. Allen) e Trevor Owens, Historiador Público Residente e Chefe de Gerenciamento de Conteúdo Digital na Biblioteca do Congresso em Washington, D.C..

* Minha conversão de citações em linha para hiperlinks.

Publicado originalmente em 28 de dezembro de 2021