Fait crucial : les agents d’entreprise ne comprennent pas le surlignage

Dans le monde, et tout particulièrement dans le milieu des affaires, il reste énormément de documents papier importants qui n’ont pas été numérisés. On estime que seuls 1 % des quatre milliards de documents papier qui circulent chaque année dans les échanges commerciaux mondiaux sont numérisés, laissant le reste hors de portée des capacités d’analyse de l’apprentissage automatique.

Il ne s’agit que d’une estimation approximative du problème dans le secteur commercial ; les administrations produisent elles aussi une quantité considérable de documents imprimés ou reliés sur papier, et les Archives nationales des États-Unis ont indiqué cette année que seuls 4,04 % des documents analogiques qu’elles conservent sont numérisés, tandis qu’il en reste 11,97 milliards à traiter.

Le problème est donc toujours d’actualité, et non un simple héritage du passé ; je reconnais que j’y contribue moi aussi :

Ce devant quoi je suis assis la plupart du temps.

Quand j’examine des articles, je les imprime, car ils nécessitent une bonne dose d’analyse humaine, en plus d’un résumé automatisé. Comme le temps me manque, je griffonne de grandes marques sur les passages clés et les citations potentielles, afin que la structure des données me saute aux yeux au moment d’écrire. Comme je ne suis pas assez maniaque pour utiliser des surligneurs, je signale les passages importants à l’aide de symboles variés, de caractères plus grands et d’autres marques très personnelles.

Pourtant, beaucoup de gens, notamment des personnes influentes qui écrivent des textes importants, utilisent des surligneurs de couleur et différentes couleurs de texte pour mettre certains passages en évidence.

Winston Churchill utilisait des stylos de couleurs différentes pour souligner différents éléments. Ici, lors de la préparation de son discours sur « leur plus belle heure », il semble utiliser le rouge comme code de correction. Source

Selon le document représenté sur la photo précédente (celui posé sur le lutrin noir), des centaines de millions de documents pourraient comporter des mises en évidence que les systèmes d’ingestion de documents tels que Docling ne sont actuellement pas capables de détecter.

Ces mises en évidence manuelles sont importantes : elles donnent du poids au texte d’une manière qui ne se reflète pas nécessairement dans sa formulation. Par conséquent, réduire le contenu d’une page annotée à du simple texte par reconnaissance optique de caractères (OCR) (ou au moyen de méthodes plus avancées, comme les modèles de langage visuel (VLM)) ne permet pas de restituer toute l’intention de l’auteur et risque même de déformer les objectifs et les intentions du document.

Les passages mis en évidence

Le nouvel article* montre que les convertisseurs de documents largement utilisés éliminent régulièrement les surlignages et les couleurs de texte, empêchant ainsi les agents d’IA de repérer des instructions importantes. Sur les 6 462 documents de politique examinés dans le cadre des tests de l’étude, près d’un tiers comportaient du texte rouge ou des surlignages, et environ un sur dix utilisait ces marques pour attirer l’attention sur des exigences importantes.

À propos des agents d’ingestion de documents d’entreprise, les auteurs^† déclarent^†† :

« Les convertisseurs éprouvés récupèrent fidèlement le texte, les tableaux et la structure ; le processus semble donc fonctionner correctement.

« Nous montrons qu’ils perdent tous une couche : le sens que l’auteur encode dans l’apparence du texte — et que cette perte conduit les agents à se tromper avec assurance, plutôt qu’à signaler visiblement des informations manquantes, ce qui constitue la défaillance la plus difficile à détecter en conditions réelles. »

Dans le cadre de leur test, les auteurs ont demandé à des modèles d’IA de repérer les exigences importantes dans de véritables documents de politique. Les modèles ont obtenu de bien meilleurs résultats lorsque les surlignages et les couleurs de texte d’origine étaient conservés — un constat confirmé sur six modèles, dont GPT-5.6 Terra, Claude Opus 5 et Claude Sonnet 5.

En pratique, le surlignage permet d’extraire deux signaux : a) le fait qu’un élément ait été mis en évidence et b) la couleur utilisée. Lorsque plusieurs couleurs sont employées pour le surlignage manuel, une grille d’interprétation logique associerait le rouge à quelque chose de négatif d’une certaine manière (comme nous l’avons vu précédemment dans les corrections apportées par Winston Churchill à ses propres discours) :

En bas de cette sortie JSON du parseur de première étape des auteurs, on voit que le processus a détecté et codifié le surlignage rouge et, logiquement, on peut constater que les mots correspondent au niveau d’intensité ainsi codifié. Cette méthode est toutefois plus utile lorsque l’emphase porte sur des mots qui, à eux seuls, ne renforcent pas beaucoup le ton, et lorsque le surlignage vient ainsi ajouter une emphase qui manquait. Source

Les auteurs suggèrent que les pipelines existants peuvent résoudre le problème assez simplement : il suffit de préserver la mise en évidence et les couleurs du texte d’origine lors de la conversion du document, puis d’ajouter des étiquettes qui en expliquent la signification au modèle d’IA. Cette méthode ne nécessite aucun traitement supplémentaire par l’IA, mais elle double à peu près le nombre de jetons nécessaires pour représenter chaque document :

« La récupération de ces indices est déterministe, ne nécessite que du code et n’entraîne aucun appel à un LLM ; l’effet observé ici tient entièrement à l’analyse syntaxique. Elle consomme toutefois des jetons — environ deux fois plus que le texte brut — : on échange donc délibérément une partie du budget de contexte contre une meilleure fidélité factuelle, plutôt que d’obtenir un gain sans contrepartie. »

L’indifférence au gras

Un aspect intéressant de l’étude est de constater à quel point les moyens de mise en évidence utilisés dans les documents numériques saisis au clavier semblent inefficaces, apparemment parce qu’ils sont trop souvent employés^†† :

« L’effet total [i.e., of the new pipeline] repose sur le surlignage [and] [colour]. Le gras, l’italique, la police à chasse fixe et le barré n’y contribuent en rien [measurable], les intervalles de confiance englobant zéro. »

« Ce n’est pas que ces indices soient absents : un seul document comporte plus d’un millier de passages en gras. C’est qu’ils sont trop fréquents pour être informatifs. »

« Un auteur qui met en gras tous les titres et tous les termes définis ne distingue rien pour autant, tandis que colorer ou surligner une exigence est un geste délibéré et mesuré. Le typage des indices n’est utile que lorsque ceux-ci sont assez rares pour signaler une intention. »

Tâches et tests

Pour établir le système, les auteurs ont analysé 6 462 documents de politique générale réels, au format .docx, issus d’un corpus public non précisé, afin d’y repérer le texte rouge et les passages surlignés, sans formuler d’hypothèse à partir de leur contenu. Ils ont ensuite demandé aux modèles de relever les exigences signalées comme particulièrement importantes et de laisser de côté les autres, à l’aide de l’instruction principale suivante :

« Dressez la liste de toutes les exigences de ce document que l’auteur a mises en évidence pour attirer particulièrement l’attention ou leur accorder une priorité supérieure. »

Pour le test principal, 84 documents ont été sélectionnés. Ils contenaient 332 exigences mises en évidence et 4 192 exigences non mises en évidence (c’est-à-dire sans texte rouge ni surlignage en couleur). Chaque document devait contenir au moins une exigence mise en évidence et trois qui ne l’étaient pas, afin que l’IA ne puisse pas simplement toutes les énumérer.

La vérité de référence a été établie directement à partir de la mise en forme des documents, et non au moyen d’une évaluation humaine ou d’un autre modèle d’IA. Les performances ont été mesurées à l’aide des scores de précision, de rappel et de F1, en tenant compte à la fois des exigences correctement repérées et des faux positifs, c’est-à-dire des exigences non mises en évidence incluses à tort.

L’évaluation a été effectuée par un programme, sans recours à un évaluateur LLM. Pour qu’une réponse soit considérée comme correspondante, elle devait contenir au moins quatre mots de contenu consécutifs tirés de l’exigence d’origine, ce qui permettait d’éviter de considérer comme correctes des exigences similaires, mais différentes.

Supprimer les surlignages

Un autre test a été réalisé afin de déterminer si les exigences importantes pouvaient être identifiées à partir de leur seule formulation, sans surlignage ni couleurs. Un classificateur fondé uniquement sur le texte et entraîné sur des exemples a obtenu un score de 0,664 pour l’aire sous la courbe ROC (où 0,5 correspond à une prédiction aléatoire).

Les méthodes plus simples n’ont pas fait mieux que le hasard : l’utilisation de mots évoquant l’urgence comme indices a donné un score de 0,508, tandis que la longueur des phrases a produit un score de 0,492. Ces résultats laissent penser que le seul libellé permet de déduire très peu de choses sur ce que l’auteur qui tient le surligneur avait l’intention de faire.

Cela paraît logique : on peut supposer que si le texte avait été suffisamment ferme, l’auteur n’aurait pas ressenti le besoin d’ajouter une mise en évidence après coup.

Méthodes en lice

Les méthodes comparées comprenaient l’analyseur des auteurs, le nôtre ; le nôtre avec des rôles de saillance ; le nôtre avec un balisage non typé ; docx2python ; Docling ; et la conversion en texte brut.

Les mêmes documents et les mêmes questions ont été utilisés pour chaque méthode ; seule la manière de convertir les documents changeait. La comparaison principale portait sur 76 documents, chaque test étant répété trois fois :

Résultats des tests comparant six méthodes permettant de repérer les exigences marquées comme « importantes » dans des documents Word. La partie supérieure présente les résultats obtenus sur 76 documents, testés trois fois. La partie inférieure présente un test de confirmation distinct portant sur 79 documents et comportant six répétitions. Des scores F1 plus élevés indiquent de meilleures performances ; des taux de faux positifs plus faibles signifient que moins d’exigences non mises en évidence ont été sélectionnées à tort. Les différences statistiquement significatives sont indiquées en gras.

Comme indiqué ci-dessus, le meilleur score F1 global, de 0,690, a été obtenu par le système des auteurs, contre 0,586 pour docx2python, 0,150 pour Docling et seulement 0,075 pour le texte brut (le score F1 combine la précision et le rappel en une seule mesure de l’exactitude, où 1,0 correspond à un score parfait).

L’importance de préserver la mise en forme ressort également des résultats concernant les faux positifs : avec Docling, les exigences non marquées ont été sélectionnées à tort près de quatre fois plus souvent qu’avec le système des auteurs (4,3 % contre 1,1 %).

Un test distinct a permis de vérifier si les modèles d’IA obtenaient de meilleurs résultats lorsqu’on leur expliquait la signification de la mise en forme, au lieu de simplement leur montrer les couleurs et le surlignage d’origine. Une amélioration faible, mais statistiquement significative, a été observée lorsque ces indications supplémentaires étaient fournies. Toutefois, l’essentiel du bénéfice avait déjà été obtenu en préservant la mise en forme elle-même.

Pression extérieure

Les chercheurs ont réalisé une évaluation supplémentaire à l’aide de l’évaluation de compréhension des documents Office de Microsoft (OCB), qui mesure la précision avec laquelle les informations peuvent être récupérées à partir de documents Office.

326 questions ont été extraites de 59 documents Word. Elles portaient sur la mise en forme, les tableaux, les hyperliens, les commentaires et les notes de bas de page. Microsoft a fourni les questions et les critères de notation, indépendamment de l’étude :

Résultats comparant cinq méthodes de conversion de documents dans le cadre de l’évaluation de compréhension des documents Office de Microsoft, qui porte sur 326 questions réparties dans 59 documents Word. Les scores vont de 0 à 1 ; plus ils sont élevés, meilleure est la performance. Le meilleur score de chaque catégorie est indiqué en gras. Les lignes du bas résument la performance globale et la significativité statistique. Ici, le système des auteurs a obtenu le score global le plus élevé, même si docx2python a donné de meilleurs résultats pour le surlignage.

Comme indiqué ci-dessus, le système des auteurs a obtenu un excellent score global de 0,959, contre un bon score de 0,810 pour docx2python, un score modéré de 0,720 pour Docling et un score relativement faible de 0,634 pour le texte brut.

Le nouveau système a obtenu des scores parfaits pour les métadonnées, les commentaires et les notes de bas de page, tandis que toutes les méthodes concurrentes ont obtenu zéro. Ces améliorations ne s’expliquent toutefois pas uniquement par la préservation du surlignage et des couleurs du texte : le système des auteurs s’est également révélé plus performant pour récupérer les informations des tableaux, de la mise en page des documents, des polices et des hyperliens.

Conclusion

J’ai récemment essayé, sans grand succès, de voir si les grands modèles de langage et/ou Python pouvaient automatiser la mise en évidence manuelle des tableaux et des figures dans un article scientifique au format PDF. Le résultat était… eh bien, hilarant. La stratification, la quantification et l’analyse des articles scientifiques constituent désormais un courant de recherche bien établi, et il ne reste guère de place — ni d’espoir — pour l’amateur occasionnel.

Pour ce qui est de cet article, le mérite des auteurs est d’avoir repéré un indicateur important de mise en évidence qui se perdait lors de la traduction. Cependant, le doublement du coût en jetons nécessaire à leur solution n’a rien d’anodin, à l’échelle à laquelle les couches de reconnaissance optique de caractères (OCR) et d’ingestion de documents doivent fonctionner. Le principal mérite de cette étude est donc, à mon avis, d’avoir repéré le problème.

* Intitulé « Ce que l’auteur a écrit, ce que l’agent lit : la perte silencieuse d’indices lors de l’ingestion de documents d’entreprise ».

^† Tout vient d’Amazon.

^†† Les mises en évidence sont celles des auteurs, pas les miennes, même si je transforme régulièrement les citations intégrées au texte des auteurs en hyperliens.

Première publication le vendredi 30 octobre 2026