Même les meilleurs modèles de langage sont sujets à la « transcription interprétative »

De nouvelles recherches d’Amazon révèlent que plus le modèle est intelligent, plus il est susceptible de « devenir créatif » lorsqu’on lui demande d’effectuer une reconnaissance optique de caractères.

La reconnaissance optique de caractères (ROC) est considérée comme un problème largement résolu. Si vous scannez du texte ou présentez une photo de texte à un système ROC, il effectue une individuation élaborée de chaque lettre, faisant le meilleur choix possible à chaque lettre :

En haut à gauche, la zone des loci caractéristiques dans une lettre identifiée segmentée (source) ; image principale : résultat de segmentation pour un référentiel institutionnel (Source).

La ROC interprète les caractères individuellement ; ces caractères, lorsqu’ils sont suffisamment proches, peuvent ou non constituer des mots ou d’autres constructions linguistiques. La ROC s’en moque ; une fois que ces problèmes se posent, elle est déjà partie et passe à la tâche suivante, car la vérification orthographique n’est pas dans son domaine de compétence.

L’un des systèmes ROC les plus populaires est le vénérable Tesseract, un interprète strictement algorithmique, largement utilisé dans diverses applications et flux de travail open source. Avec une large gamme d’add-ons OCR algorithmiques « plats » disponibles sur tous les systèmes d’exploitation, la capacité de convertir le texte d’image en texte éditable a maintenant atteint le statut d’une commodité gratuite – même si aucun système est sans défauts ou particularités.

En outre, afin de rester pertinents, les organisations et les produits commerciaux traditionnellement concurrents dans l’espace de la ROC algorithmique ont adapté leurs systèmes hérités en systèmes de gestion de documents aidés par l’IA. Cependant, la technologie de base – produisant des groupes estimés de lettres segmentées et identifiées – reste inchangée.

Word Up

Avec un nombre croissant de tâches, la ROC est de plus en plus gérée par la nouvelle génération de modèles de langage de vision (VLM) ; confrontés à du texte non éditable ou rasterisé, les versions agentic de ces derniers systèmes peuvent lire et translittérer avec adresse si nécessaire.

Cependant, selon un nouveau document de recherche d’Amazon.com, ceux qui pensent que l’IA va répliquer exactement la même fonction que la ROC peuvent être surpris : l’étude a découvert que votre modèle LLM préféré est susceptible d’« aller plus loin » dans la transcription, que vous le vouliez ou non ; en dépassant le contexte par lettre en contexte par mot – et en corrigeant les « erreurs » qu’il trouve, de manière qui pourrait avoir des conséquences indésirables pour des domaines tels que le juridique, le médical et la translittération historique.

Les auteurs affirment :

‘Les modèles de langage de vision (VLM) sont de plus en plus utilisés à la place des pipelines de ROC traditionnels pour la compréhension des documents.

‘[Nous] montrons qu’ils n’agissent pas toujours comme des transcripteurs fidèles : lorsque le texte est imparfait, ils ont souvent tendance à le réécrire sous une forme plus plausible – un comportement que les benchmarks de ROC de texte propre ne peuvent pas détecter.’

Les auteurs introduisent un nouveau jeu de données volumineux et un benchmark intitulé FaithC4, qu’ils ont testé sur une sélection de 15 modèles FOSS et propriétaires, y compris des versions de ChatGPT et Google Gemini.

Ils ont constaté que les modèles d’IA polyvalents étaient beaucoup plus susceptibles que les systèmes de ROC traditionnels de remplacer des mots imparfaits par des mots plus « plausibles », parfois réécrivant près de 65 % des mots mélangés, tandis que de petites erreurs locales provoquaient également des erreurs ailleurs dans le texte précis.

Les mots courts étaient particulièrement vulnérables, et des instructions explicites non pour effectuer des corrections ont réduit le problème, bien qu’elles n’aient pas éliminé celui-ci.

Le document indique* :

‘Bien que le comportement de réécriture puisse être bénéfique pour récupérer certaines erreurs réelles, il peut être problématique pour certains domaines qui peuvent nécessiter une transcription littérale, tels que les documents juridiques, les dossiers médicaux et les manuscrits historiques.

‘Malgré son importance, ce comportement de réécriture a été largement négligé dans la recherche sur les VLM. Les benchmarks de ROC existants OCR se concentrent sur la reconnaissance de texte propre et sont donc insuffisants pour étudier la façon dont les modèles peuvent gérer les entrées imparfaites.’

Le message central est que les systèmes d’IA plus avancés luttent pour ne pas corriger les erreurs que les plateformes de ROC algorithmiques peuvent facilement configurer pour livrer « brut » ; dans de nombreux cas, l’interprétation humaine est essentielle pour résoudre le problème ; mais si une « correction » incorrecte a déjà été appliquée, le problème tendra à glisser sous le radar de la plupart des systèmes de vérification.

Le nouveau document est intitulé Les VLM lisent-ils ou réécrivent-ils ? Sur la fidélité de la transcription dans les modèles de langage de vision, et provient de cinq chercheurs d’Amazon.com.

Données et méthode

Pour peupler leur jeu de données de référence, les auteurs ont puisé dans le Corpus de nettoyage colossal – également appelé C4 – une collection web de grande échelle de 2020. À partir de ce corpus, 1 455 documents d’une seule page ont été sélectionnés dans les langues anglaise, chinoise et coréenne, avec chaque passage dimensionné pour tenir sur une page rendue unique.

Le benchmark final contenait 500 documents en anglais, 500 documents en chinois et 455 documents en coréen, fournissant un banc de test multilingue pour mesurer si les systèmes d’IA copiaient fidèlement le texte ou le réécrivaient d’une manière ou d’une autre.

Pour tester si les modèles d’IA copieraient fidèlement ce qu’ils voyaient, des erreurs contrôlées ont été introduites dans les documents avant qu’ils soient rendus sous forme d’images, avec environ 8 % des mots éligibles modifiés, chacun contenant au moins quatre caractères. Des versions non modifiées de ces documents ont été utilisées comme vérité de base.

Trois variantes de perturbation ont ensuite été appliquées : mélange a mélangé les lettres internes des mots tout en préservant les premières et dernières lettres ; aléatoire a remplacé chaque caractère par un caractère aléatoire alternatif du même système d’écriture ; et visuel a substitué des caractères visuellement similaires qui restaient plausibles à l’œil, tout en changeant le texte sous-jacent.

La variante chinoise a omis la condition mélange car son système d’écriture ne comporte pas de mots délimités par des espaces, mais a utilisé des fenêtres de quatre caractères fixes pour les autres perturbations ; en outre, la longueur moyenne de mot plus courte du coréen a signifié que moins de mots étaient éligibles à la modification.

Chaque document a ensuite été rendu sous forme de page PDF et transmis aux systèmes de transcription concurrents.

Tests

Les tests de l’étude ont porté sur les modèles de généraliste à code source fermé, notamment GPT-5.4-mini ; Gemini-3-Flash ; et Gemini-2.5-Flash ; et les modèles open source, comprenant les modèles de généraliste Qwen3.5-4B ; Qwen3-VL-4B ; InternVL3.5-4B ; Gemma4-E4B ; et Gemma4-E2B.

En outre, des modèles de ROC spécialisés ont été inclus, comprenant olmOCR-2-7B ; DeepSeek-OCR-2 ; MinerU2.5-Pro ; PaddleOCR-VL-1.5 ; et LightOnOCR-2-1B. Enfin, les moteurs de ROC traditionnels Tesseract et docTR ont également été testés.

Les trois groupes s’appuient sur le langage à des degrés différents : les modèles d’IA polyvalents s’appuient fortement sur les connaissances linguistiques générales acquises lors de la préformation ; les modèles de ROC spécialisés accordent plus d’importance à la transcription fidèle des documents grâce à une formation spécifique à la tâche ; et les systèmes de ROC traditionnels s’appuient sur la reconnaissance de caractères, plutôt que sur l’inférence linguistique.

Deux métriques ont été adoptées, commençant par le taux d’erreur de mot (WER), la métrique de ROC standard pour déterminer combien de mots complets un système a transcrit incorrectement. Plutôt que de compter simplement les caractères incorrects, le WER enregistre les substitutions, les suppressions et les insertions par rapport au texte original, ce qui le rend sensible à la fois aux mots incorrects et aux mots qui ont été omis ou ajoutés.

Pour le chinois, où les mots ne sont pas séparés par des espaces, la même approche a été appliquée au niveau du caractère, en tant que taux d’erreur de caractère (CER).

Pour capturer des erreurs plus subtiles, la métrique similitude de distance d’édition (EDS) a également été utilisée. L’EDS compare le texte prédit avec l’original au niveau du caractère, et – contrairement au WER – peut distinguer entre un mot complètement faux et un mot qui diffère d’un ou deux caractères. Naturellement, cela le rend utile pour détecter les erreurs proches et les réécritures partielles qui pourraient autrement apparaître similaires.

Comme le montre le graphique ci-dessous, les systèmes de ROC traditionnels se sont avérés les plus résistants à tous les trois types de perturbation, avec peu de perte de précision car ils reconnaissent principalement des caractères individuels plutôt que d’essayer d’inférer des mots à partir du contexte :

Changements dans le taux d’erreur de mot (à gauche) et la similitude de distance d’édition (à droite) à travers l’anglais, le chinois et le coréen après l’application des trois méthodes de perturbation du texte. Les systèmes de ROC traditionnels ont montré la plus petite dégradation des performances globales, les modèles de ROC spécialisés ont occupé le milieu du terrain, tandis que les modèles d’IA polyvalents ont été généralement les plus affectés par le texte corrompu. Source

Les modèles de ROC spécialisés ont occupé le milieu du terrain ; MinerU et LightOn sont restés relativement robustes ; et olmOCR et DeepSeek-OCR ont montré une plus grande sensibilité au texte corrompu, indiquant que la formation spécifique à la tâche a réduit, mais n’a pas éliminé, la tendance à réinterpréter ce qui était lu.

Les modèles d’IA polyvalents se sont comportés le plus mal, présentant l’augmentation la plus importante des erreurs de transcription lorsqu’ils étaient confrontés à du texte perturbé. La plupart ont subi une dégradation nettement plus importante que les modèles de ROC spécialisés ou les systèmes de ROC traditionnels – bien que Gemini-3-Flash se soit distingué comme une exception notable, se comportant davantage comme un système de ROC conventionnel.

Dans l’ensemble, le classement correspondait étroitement au degré auquel chaque modèle s’appuyait sur les connaissances linguistiques, les fortes priorités linguistiques correspondant à une plus grande tendance à réécrire plutôt que de simplement transcrire le texte.

Un décompte des types d’erreurs, indiqué dans le tableau ci-dessous, indique que les systèmes de ROC traditionnels ont principalement produit des erreurs de transcription conventionnelles, telles que des substitutions, des insertions et des suppressions :

Résultats du test de perturbation ‘Mélange’ en anglais, montrant comment chaque système de transcription a distribué ses erreurs à travers des réécritures exactes, des transcriptions proches (‘Proche’), des erreurs de transcription plus substantielles (‘Modéré’) et des sorties complètement incorrectes (‘Faux’). Les modèles sont classés par leur taux de réécriture de mots corrompus.

Inversement, les modèles d’IA polyvalents étaient beaucoup plus susceptibles de remplacer des mots corrompus par des alternatives plausibles tout en préservant la phrase environnante, fournissant des preuves solides qu’ils n’étaient pas simplement en train de mal lire le texte endommagé, mais qu’ils réécrivaient activement en utilisant le contexte linguistique.

L’étude a également constaté que les erreurs de transcription ne restaient pas confinées aux mots corrompus :

Résultats de l’analyse de propagation d’erreur, montrant les taux d’erreur par mot sur les mots perturbés et non perturbés après chaque type de perturbation. La modification d’environ 4,7 % des mots a provoqué une augmentation des taux d’erreur de transcription dans le texte non modifié entourant de nombreux modèles.

Comme le montrent les résultats du tableau ci-dessus et le graphique ci-dessous, la modification d’environ 4,7 % des mots dans un document en anglais a considérablement augmenté les taux d’erreur dans le texte non modifié entourant :

Résultats supplémentaires de l’analyse de propagation d’erreur, montrant l’augmentation des erreurs de transcription sur les mots perturbés et non perturbés après chaque type de perturbation. Les modèles d’IA polyvalents ont présenté l’amplification d’erreur la plus importante, les erreurs se propageant souvent au-delà des mots corrompus d’origine.

Les modèles de VLM polyvalents ont été les plus touchés, avec des taux d’erreur sur les mots non touchés augmentant de jusqu’à dix fois par rapport à la base. Inversement, les systèmes de ROC traditionnels n’ont montré que des augmentations modestes. Les modèles qui réécrivaient la plus grande proportion de mots corrompus ont également présenté la propagation d’erreur la plus forte, suggérant que les deux comportements découlent de la même dépendance sous-jacente au contexte linguistique.

Dans la pratique, cela signifie qu’une petite quantité de texte endommagé peut compromettre la précision d’un document autrement intact, ce qui rend les scores de benchmark de ROC propre peu fiables pour évaluer la fidélité de la transcription dans le monde réel.

Enfin, les auteurs ont également examiné si la longueur du mot influençait le comportement de réécriture, constatant que les mots plus courts étaient nettement plus vulnérables que les mots plus longs.

Puisqu’ils contiennent moins de repères visuels, les mots courts semblent encourager les VLM à s’appuyer davantage sur les connaissances linguistiques contextuelles – augmentant ainsi la probabilité que le texte endommagé soit remplacé par une alternative plausible, plutôt que d’être transcrit littéralement (ce qui pourrait déclencher une alerte utile pour une surveillance humaine).

Les auteurs ont également constaté que même si des instructions explicites non pour corriger les erreurs réduisaient cette tendance, elles ne l’ont pas éliminée. Cela suggère que la transcription interprétative est une caractéristique inhérente aux VLM actuels, plutôt qu’un comportement qui peut être supprimé de manière fiable par le biais de l’invocation seule.

Les auteurs concluent :

‘Pour les applications qui nécessitent une transcription littérale, telles que le traitement de documents juridiques, la numérisation de manuscrits historiques et la médecine légale, les systèmes de ROC traditionnels ou les VLM de ROC spécialisés soigneusement sélectionnés restent le choix le plus sûr, tandis que les VLM polyvalents introduisent une réécriture systématique que les benchmarks de texte propre ne capturent pas.’

Conclusion

Cette étude répète ce qui devient un thème récurrent dans la littérature sur les LLM : que même si les modèles de langage formés sont extrêmement puissants, ils sont également résistants aux instructions critiques – dans ce cas Lisez et analysez les lettres que vous trouvez dans l’image.

Les modèles les plus avancés ne peuvent simplement pas le faire, il semble – comme s’ils considéraient cela comme un « travail de nettoyage », ou étaient irrationnellement poussés à conclure une « tâche à moitié terminée ».

* Ma conversion des citations en ligne des auteurs en hyperliens.

Publié pour la première fois lundi 27 juillet 2026