Réduction de la montagne de PDF du gouvernement américain avec la vision par ordinateur

Le format de fichier PDF d’Adobe s’est tellement ancré dans les pipelines de documents du gouvernement américain que le nombre de documents émis par l’État et actuellement en existence est estimé à des centaines de millions. Souvent opaques et dépourvus de métadonnées, ces PDF – dont beaucoup ont été créés par des systèmes automatisés – ne racontent collectivement aucune histoire ou saga; si vous ne savez pas exactement ce que vous cherchez, vous ne trouverez probablement jamais un document pertinent. Et si vous le saviez, vous n’auriez probablement pas besoin de recherche.Cependant, un nouveau projet utilise la vision par ordinateur et d’autres approches d’apprentissage automatique pour transformer cette montagne presque inaccessible de données en une ressource précieuse et exploitable pour les chercheurs, les historiens, les journalistes et les universitaires.

Lorsque le gouvernement américain a découvert le format de document portable d’Adobe (PDF) dans les années 1990, il a décidé qu’il lui plaisait. Contrairement aux documents Word modifiables, les PDF pouvaient être “cuits” de diverses manières qui les rendaient difficiles ou même impossibles à modifier plus tard; les polices pouvaient être intégrées, garantissant la compatibilité entre les plates-formes; et l’impression, la copie et même l’ouverture pouvaient toutes être contrôlées de manière granulaire.

Plus important encore, ces fonctionnalités de base étaient disponibles dans certaines des anciennes spécifications “de base” du format, promettant que les documents d’archives n’auraient pas besoin d’être rétraités ou révisés plus tard pour assurer l’accessibilité. Presque tout ce dont le gouvernement avait besoin pour la publication était en place dès 1996.

Avec la preuve de blockchain et les technologies NFT décennies plus tard, le PDF était aussi proche que l’ère numérique émergente pouvait l’être d’un document “mort” analogue, à seulement un hiatus conceptuel d’un fax. C’était exactement ce qui était voulu.

Désaccord interne sur le PDF

La mesure dans laquelle les PDF sont hermétiques, intractables et “non sociaux” est caractérisée dans la documentation sur le format à la Bibliothèque du Congrès, qui favorise le PDF comme son “format préféré”:

‘L’objectif principal du format PDF/A est de représenter les documents électroniques d’une manière qui préserve leur apparence visuelle statique dans le temps, indépendamment des outils et des systèmes utilisés pour créer, stocker ou afficher les fichiers. À cette fin, le PDF/A tente de maximiser l’indépendance des appareils, l’autosuffisance et l’auto-documentation.’

L’enthousiasme permanent pour le format PDF, les normes d’accessibilité et les exigences de version minimale varient selon les départements du gouvernement américain. Par exemple, tandis que l’Agence de protection de l’environnement a des politiques strictes mais favorables à cet égard, le site Web officiel du gouvernement américain plainlanguage.gov reconnaît que ‘les utilisateurs détestent les PDF’, et même lie directement à un rapport de 2020 du Nielsen Norman Group intitulé PDF: Toujours inadapté à la consommation humaine, 20 ans plus tard.

Pendant ce temps, irs.gov, créé en 1995 spécifiquement pour passer la documentation de l’agence fiscale au numérique, a adopté immédiatement le PDF et est toujours un ardent défenseur.

La propagation virale des PDF

Depuis que les spécifications de base du PDF ont été publiées en open source par Adobe, un ensemble d’outils de traitement de serveur et de bibliothèques ont émergé, dont beaucoup sont maintenant aussi vénérables et ancrés que les spécifications PDF de 1996, et aussi fiables et résistants aux bogues, tandis que les fournisseurs de logiciels se sont précipités pour intégrer la fonctionnalité PDF dans des outils à faible coût.

Par conséquent, aimés ou détestés par leurs départements hôtes, les PDF restent omniprésents dans les cadres de communication et de documentation à travers un grand nombre de départements du gouvernement américain.

En 2015, le vice-président de l’ingénierie d’Adobe pour le Document Cloud, Phil Ydens, a estimé que 2,5 billions de documents PDF existent dans le monde, tandis que le format est censé représenter entre 6 et 11 % de tout le contenu Web. Dans une culture technologique accro à la disruption des anciennes technologies, le PDF est devenu une “rouille” ineradicable – une partie centrale de la structure qui l’héberge.

À partir de 2018. Il n’y a pas beaucoup de preuves d’un challenger formidable pour le moment. Source: https://twitter.com/trbrtc/status/980407663690502145

Selon une étude récente de chercheurs de l’Université de Washington et de la Bibliothèque du Congrès, ‘des centaines de millions de documents gouvernementaux uniques des États-Unis publiés sur le Web sous forme de PDF ont été archivés par des bibliothèques à ce jour’.

Cependant, les chercheurs soutiennent que cela n’est que la “pointe de l’iceberg”:

‘Comme l’a noté le principal spécialiste de l’histoire numérique Roy Rosenzweig dès 2003, lorsqu’il s’agit de sources primaires numériques nées pour la recherche, il est essentiel de développer des méthodes et des approches qui pourront être adaptées à des dizaines et à des centaines de millions, voire à des milliards de ressources numériques. Nous sommes maintenant arrivés au point où le développement de ces approches est nécessaire.

‘Par exemple, les archives Web de la Bibliothèque du Congrès contiennent maintenant plus de 20 milliards de ressources numériques individuelles.’

Les PDF: Résistants à l’analyse

Le projet des chercheurs de Washington applique plusieurs méthodes d’apprentissage automatique à un ensemble de données public et annoté de 1 000 documents sélectionnés de la Bibliothèque du Congrès, dans l’intention de développer des systèmes capables d’une récupération multimodale rapide de requêtes basées sur du texte et des images dans des cadres qui peuvent être adaptés à la hauteur des volumes actuels (et croissants) de PDF, non seulement dans le gouvernement, mais dans de multiples secteurs.

Comme le note le document, le rythme accéléré de la numérisation à travers une gamme de départements gouvernementaux américains balkanisés dans les années 1990 a conduit à des politiques et des pratiques divergentes, et souvent à l’adoption de méthodes de publication PDF qui ne contenaient pas la même qualité de métadonnées que celles qui constituaient autrefois la norme de service de bibliothèque gouvernementale – ou même des métadonnées natives PDF de base, qui auraient pu être utiles pour rendre les collections de PDF plus accessibles et amicales pour l’indexation.

En discutant de cette période de perturbation, les auteurs notent:

‘Ces efforts ont conduit à une croissance explosive de la quantité de publications gouvernementales, qui à son tour a entraîné un effondrement de l’approche générale selon laquelle des métadonnées cohérentes étaient produites pour ces publications et selon laquelle les bibliothèques acquéraient des copies de celles-ci.’

Par conséquent, une montagne de PDF typique existe sans aucun contexte, sauf les URL qui y sont directement liées. De plus, les documents de la montagne sont enfermés, auto-référentiels et ne font pas partie d’une “saga” ou d’un récit que les méthodes de recherche actuelles sont susceptibles de discerner, même si de telles connexions cachées existent sans aucun doute.

À l’échelle considérée, l’annotation ou la curation manuelle est une perspective impossible. Le corpus de données à partir duquel les 1000 documents de la Bibliothèque du Congrès ont été dérivés contient plus de 40 millions de PDF, que les chercheurs ont l’intention de rendre un défi abordable dans un avenir proche.

Vision par ordinateur pour l’analyse de PDF

La plupart des recherches antérieures citées par les auteurs utilisent des méthodes basées sur le texte pour extraire des fonctionnalités et des concepts de haut niveau à partir de matériel PDF; en revanche, leur projet se concentre sur la dérivation de fonctionnalités et de tendances en examinant les PDF à un niveau visuel, conformément à la recherche actuelle sur l’analyse multimodale de contenu de nouvelles.

Bien que l’apprentissage automatique ait également été appliqué de cette manière à l’analyse de PDF via des schémas spécifiques au secteur tels que Semantic Scholar, les auteurs visent à créer des pipelines d’extraction de niveau supérieur qui sont largement applicables à une gamme de publications, plutôt que d’être adaptés aux contraintes de l’édition scientifique ou d’autres secteurs tout aussi étroits.

Aborder les données déséquilibrées

Lors de la création d’un schéma de métriques, les chercheurs ont dû considérer à quel point les données sont biaisées, au moins en termes de taille par élément.

Sur les 1000 PDF du jeu de données sélectionné (que les auteurs supposent représentatif des 40 millions dont ils ont été tirés), 33 % n’ont qu’une page de long, et 39 % mesurent entre 2 et 5 pages de long. Cela place 72 % des documents à cinq pages ou moins.

Après cela, il y a un saut important: 18 % des documents restants mesurent entre 6 et 20 pages, 6 % entre 20 et 100 pages et 3 % plus de 100 pages. Cela signifie que les documents les plus longs comprennent la majorité des pages individuelles extraites, tandis qu’une approche moins granulaire qui considère les documents seuls attirerait l’attention vers les documents plus nombreux et plus courts.

Cependant, ce sont des métriques révélatrices, car les documents d’une page sont généralement des schémas techniques ou des cartes; les documents de 2 à 5 pages sont généralement des communiqués de presse et des formulaires; et les documents très longs sont généralement des rapports et des publications de longueur de livre, même si, en termes de longueur, ils sont mélangés avec de vastes dumps de données automatisés qui contiennent des défis tout à fait différents pour l’interprétation sémantique.

Par conséquent, les chercheurs traitent cet déséquilibre comme une propriété sémantique significative en soi. Néanmoins, les PDF doivent encore être traités et quantifiés sur une base par page.

Architecture

Au début du processus, les métadonnées du PDF sont analysées en données tabulaires. Ces métadonnées ne manquent pas, car elles consistent en quantités connues telles que la taille du fichier et l’URL source.

Le PDF est ensuite divisé en pages, avec chaque page convertie au format JPEG via ImageMagick. L’image est ensuite alimentée à un réseau ResNet-50 qui dérive un vecteur de 2 048 dimensions à partir de la deuxième couche la plus proche.

Le pipeline pour l’extraction à partir de PDF. Source: https://arxiv.org/ftp/arxiv/papers/2112/2112.02471.pdf

En même temps, la page est convertie en un fichier texte par pdf2text, et les featurisations TF-IDF sont obtenues via scikit-learn.

TF-IDF signifie Term Frequency Inverse Document Frequency, qui mesure la prévalence de chaque phrase dans le document par rapport à sa fréquence dans l’ensemble des données, sur une échelle fine de 0 à 1. Les chercheurs ont utilisé des mots simples (unigrammes) comme la plus petite unité dans les paramètres TF-IDF du système.

Bien que les auteurs reconnaissent que l’apprentissage automatique ait des méthodes plus sophistiquées à offrir que TF-IDF, ils soutiennent qu’il n’est pas nécessaire de quelque chose de plus complexe pour la tâche énoncée.

Le fait que chaque document ait une URL source associée permet au système de déterminer la provenance des documents dans l’ensemble des données.

Cela peut sembler trivial pour 1000 documents, mais cela sera tout à fait révélateur pour 40 millions+.

Nouvelles approches de recherche de texte

L’un des objectifs du projet est de rendre les résultats de recherche pour les requêtes basées sur du texte plus significatifs, permettant une exploration fructueuse sans nécessiter une connaissance excessive préalable. Les auteurs déclarent:

‘Bien que la recherche par mot-clé soit une méthode de recherche intuitive et très extensible, elle peut également être limitante, car les utilisateurs sont responsables de la formulation de requêtes de mot-clé qui récupèrent des résultats pertinents.’

Une fois que les valeurs TF-IDF sont obtenues, il est possible de calculer les mots les plus couramment présentés et d’estimer un “document moyen” dans le corpus. Les chercheurs soutiennent que puisque ces mots-clés inter-documents sont généralement significatifs, ce processus forme des relations utiles pour les chercheurs à explorer, qui ne pourraient pas être obtenues uniquement par l’indexation individuelle du texte de chaque document.

Visuellement, le processus facilite un “tableau de mots” de mots émanant de divers départements gouvernementaux:

Mots-clés TF-IDF pour divers départements gouvernementaux américains, obtenus par TF-IDF.

Ces mots-clés et relations extraits peuvent plus tard être utilisés pour former des matrices dynamiques dans les résultats de recherche, avec le corpus de PDF commençant à “raconter des histoires”, et les relations de mots-clés reliant des documents (possiblement même sur des centaines d’années), pour délimiter une “saga” exploitable pour un sujet ou un thème.

Les chercheurs utilisent le regroupement k-means pour identifier les documents liés, même lorsque les documents n’ont pas de source commune. Cela permet le développement de métadonnées de phrase-clé applicables à l’ensemble des données, qui se manifesteraient soit sous forme de classements pour les termes dans une recherche de texte stricte, soit sous forme de nœuds voisins dans un environnement d’exploration plus dynamique:

Analyse visuelle

La véritable originalité de l’approche des chercheurs de Washington est d’appliquer des techniques d’analyse visuelle basées sur l’apprentissage automatique à l’apparence rasterisée des PDF dans l’ensemble de données.

De cette façon, il est possible de générer un tag “REDACTED” sur une base visuelle, où rien dans le texte lui-même ne fournirait nécessairement une base commune.

Un groupe de pages de PDF redactées identifiées par la vision par ordinateur dans le nouveau projet.

De plus, cette méthode peut dériver un tel tag même à partir de documents gouvernementaux qui ont été rasterisés, ce qui est souvent le cas avec des documents redactés, ce qui rend possible une recherche exhaustive et complète pour cette pratique.

En outre, les cartes et les schémas peuvent être identifiés et classés, et les auteurs commentent sur cette fonctionnalité potentielle:

‘Pour les chercheurs intéressés par les divulgations d’informations classifiées ou sensibles, il peut être particulièrement intéressant d’isoler exactement ce type de cluster de matériel pour analyse et recherche.’

Le document note qu’un large éventail d’indicateurs visuels communs à des types spécifiques de PDF gouvernementaux peut également être utilisé pour classer des documents et créer des “sagas”. De tels “jetons” pourraient être le sceau du Congrès, ou d’autres logos ou caractéristiques visuelles récurrentes qui n’ont pas d’existence sémantique dans une recherche de texte pure.

De plus, les documents qui défient la classification, ou dont le document provient d’une source non commune, peuvent être identifiés à partir de leur mise en page, tels que des colonnes, des types de polices et d’autres facettes distinctives.

La disposition seule peut permettre des regroupements et des classifications dans un espace de recherche visuelle.

Les auteurs ont l’intention de développer leur cadre pour accueillir des ensembles de données beaucoup plus grands, notamment le dataset 2008 End of Term Presidential Web Archive, qui contient plus de 10 millions d’éléments. Initialement, cependant, ils ont l’intention d’augmenter le système pour traiter “des dizaines de milliers” de PDF gouvernementaux.

Le système est destiné à être évalué initialement avec de vrais utilisateurs, notamment des bibliothécaires, des archivistes, des avocats, des historiens et d’autres universitaires, et évoluera sur la base des commentaires de ces groupes.

Lutter contre l’ampleur des publications gouvernementales numériques nées: Vers des pipelines pour le traitement et la recherche de millions de PDF est écrit par Benjamin Charles Germain Lee (à l’École d’informatique et de génie électrique Paul G. Allen) et Trevor Owens, historien public en résidence et chef de la gestion du contenu numérique à la Bibliothèque du Congrès à Washington, D.C..

* Ma conversion des citations intégrales en hyperliens.

Publié à l’origine le 28 décembre 2021