Quand l’IA lit entre les lignes: OCR vs. VLMs

Les machines peuvent‑elles réellement comprendre les documents, ou se sont‑elles simplement contentées de devenir plus efficaces pour en extraire les informations ? Avec l’OCR traditionnel, une erreur peut généralement être localisée et mesurée, tandis qu’un VLM peut produire une interprétation convaincante mais erronée. Pour les entreprises, cela déplace la première décision du choix du modèle vers une question plus inconfortable: quel type d’erreur l’entreprise peut‑elle se permettre ? La frontière entre reconnaissance et compréhension devient une question pratique de qualité, d’automatisation et de confiance. 

Comment les Transformers ont changé le traitement des documents

Pour comprendre comment la reconnaissance de documents est devenue interprétation de documents, nous devons d’abord examiner le changement technologique qui a rendu cela possible.

Le développement de l’IA reposait sur une idée relativement simple: introduire la probabilité dans des calculs qui étaient auparavant déterministes. Au lieu de produire toujours le même résultat à partir de la même entrée, un système pouvait évaluer plusieurs issues possibles et choisir celle qui était la plus probable.

Aux débuts, des entreprises comme Google ont commencé à développer des modèles sophistiqués pour rechercher et classer d’énormes volumes d’informations. Bien que traduire une phrase, sélectionner un résultat de recherche et recommander une vidéo YouTube semblent être des tâches différentes, elles partagent un principe commun: trouver l’élément suivant le plus pertinent en fonction de ce qui le précède. Les Transformers ont transformé ce principe en une architecture plus universelle.

En d’autres termes, un transformer prend en compte le contexte disponible et prédit ce qui doit suivre. Cela permet à un modèle de langage de traiter les mots comme des parties d’une structure plus large plutôt que comme des unités isolées.

Ce développement a changé le traitement des documents. L’OCR pouvait déjà reconnaître les lettres et les convertir en texte lisible par machine depuis des décennies. Un transformer pouvait prendre ces mots reconnus, examiner leurs relations et en déduire le sens du document. 

Quand une erreur commence à ressembler à une réponse

L’OCR est avant tout une technologie de reconnaissance. Elle lit un document caractère par caractère et peut attribuer un score de confiance à chaque résultat. Si un symbole est flou, le système peut indiquer qu’il a 50 % de chances d’être le chiffre « 3 » et 40 % de chances d’être la lettre « Z ». L’incertitude reste visible et mesurable.

Un VLM reçoit le texte reconnu et utilise le contexte environnant pour résoudre cette ambiguïté. Si un caractère n’a pas de sens dans un mot ou une phrase, le modèle peut choisir l’option la plus plausible. Dans de nombreux cas, cela produit un meilleur résultat.

En même temps, cette capacité modifie la notion de qualité. Une erreur d’OCR traditionnelle est souvent facile à repérer: le document contient un caractère, alors que le texte extrait en contient un autre. Une erreur de VLM peut être beaucoup moins visible car le système construit autour d’elle une interprétation cohérente.

Un système qui ne parvient pas à traiter un document crée une interruption évidente. Un système qui l’interprète de façon incorrecte sans signaler d’incertitude peut laisser l’erreur se propager dans une base de données, un paiement ou une autre décision automatisée. La qualité ne peut donc plus être mesurée uniquement par le nombre de caractères ou de champs extraits correctement. Elle doit également tenir compte de la capacité du système à distinguer les informations reconnues de ses propres inférences.

Quel type d’erreur le processus peut‑il tolérer ?

Jusqu’à récemment, l’approche la plus sûre pour le traitement de documents basé sur les VLM consistait à valider presque tout. Aujourd’hui, cette réponse devient moins évidente à mesure que les modèles s’améliorent dans l’identification des incohérences et la gestion des imperfections qui nécessitaient auparavant une révision manuelle.

La décision concernant l’automatisation doit donc commencer par les conséquences d’une erreur plutôt que par un score de précision général.

Mal lire une catégorie de produit sur un ticket de supermarché et mal lire le montant final peut se produire dans le même document, mais ils n’engendrent pas le même niveau de risque. La différence devient encore plus grande lorsque le système traite une clause contractuelle, un dossier médical ou un formulaire administratif. Un modèle peut très bien fonctionner sur l’ensemble d’un jeu de données et échouer néanmoins sur un petit nombre de champs qui déterminent si le résultat commercial est correct.

Cela signifie que les entreprises doivent définir les éléments critiques d’un document avant de décider du degré d’automatisation du flux de travail. Certaines erreurs peuvent être peu coûteuses et faciles à corriger. D’autres peuvent entraîner un paiement erroné, une obligation contractuelle ou une décision fondée sur de fausses informations médicales ou financières.

La première question ne devrait donc pas être « Quel modèle devons‑nous choisir ? », mais « Où une interprétation incorrecte peut‑elle engendrer des conséquences inacceptables ? ». Ce n’est qu’après y avoir répondu qu’une entreprise pourra décider quels documents peuvent traverser le système automatiquement et lesquels nécessitent un contrôle supplémentaire.

Les VLM dépassent déjà les documents

La capacité à combiner l’information visuelle avec le contexte est déjà appliquée bien au‑delà du traitement de documents. Un VLM ne se limite pas à lire des pages: il peut interpréter ce qu’une caméra voit et associer les objets visuels au langage, aux instructions et aux actions possibles.

Dans la conduite autonome, ces modèles peuvent aider les systèmes à comprendre les scènes routières plutôt que de simplement détecter les véhicules, piétons ou panneaux de signalisation individuels. Dans la défense, ils peuvent analyser les séquences capturées par des drones et distinguer les personnes, les engins lourds et d’autres objets au sol.

L’agriculture offre un autre exemple. Un système peut identifier une mauvaise herbe ou un insecte, déterminer son type et suggérer une réponse appropriée, comme l’utilisation d’un laser ou d’un traitement chimique spécifique. 

La robotique évolue dans la même direction. Un robot a besoin de plus que la capacité à reconnaître la présence d’un objet. Il doit comprendre ce qu’est l’objet, comment il se rapporte à son environnement et quelle action la situation requiert. Les VLM offrent la couche qui relie la perception visuelle aux instructions et au comportement.

Un principe similaire est visible dans les agents d’IA qui interagissent avec les interfaces informatiques. Pour déplacer un curseur ou appuyer sur un bouton, un agent doit d’abord interpréter ce qui est affiché à l’écran. Un modèle visuel peut identifier qu’un navigateur est ouvert, localiser le bouton utilisé pour envoyer un courriel et renvoyer ses coordonnées afin que l’agent puisse agir.

Toutes ces applications n’ont pas atteint le même niveau de maturité de production. Néanmoins, elles illustrent la transition plus large qui s’opère dans l’IA: les systèmes passent de l’identification du visible à l’utilisation de l’information visuelle au sein d’une chaîne de raisonnement et d’action plus étendue.

Pour le traitement des documents, cela signifie que la sortie d’un VLM ne se limite plus au texte extrait. Elle peut déclencher un autre processus, mettre à jour un système ou influencer une décision commerciale. La valeur de l’interprétation augmente, tout comme les conséquences lorsqu’elle est erronée.

Passer de la lecture de documents à l’action sur ceux‑ci

Il est improbable que l’avenir du traitement de documents soit défini par la disparition de l’OCR au profit des VLM. Les deux technologies remplissent des fonctions différentes au sein du même flux de travail.

Cette structure en couches explique également pourquoi un modèle universel ne constitue pas forcément la solution pour chaque document. Un formulaire clair et standardisé peut ne nécessiter guère plus qu’une reconnaissance précise. Un contrat complexe, un dossier médical ou un document manuscrit irrégulier peuvent nécessiter une analyse contextuelle. Ainsi, différents documents peuvent être orientés vers différents outils en fonction de leur structure, de leur complexité et de leur importance commerciale.

Pourtant, cela soulève une autre question importante: qui prend cette première décision de routage ? Si le système classe le document, sélectionne la méthode de traitement, interprète le résultat et évalue ses propres performances, le contrôle qualité devient une autre tâche confiée à la même technologie. Une erreur au départ peut influencer chaque étape qui suit.

Dans certains des Keymakr’s projets de traitement de documents, les annotateurs faisaient plus que vérifier les caractères individuels ou les champs extraits. Selon le flux de travail, ils annotaient et vérifiaient les données ou se concentraient spécifiquement sur la validation des résultats générés par le modèle. Leur travail pouvait également inclure la classification du contenu, l’interprétation des structures de documents, l’identification d’éléments ambigus ou illisibles, et le signalement des sorties nécessitant une correction ou un examen supplémentaire. Dans ces cas, l’implication humaine s’étendait au-delà de la validation de points de données isolés pour superviser la façon dont l’information était traitée tout au long du flux de travail. 

Alors, les machines comprennent‑elles réellement les documents ? Elles peuvent déjà reconnaître le contenu, utiliser le contexte pour résoudre les ambiguïtés et produire des conclusions que l’OCR traditionnel ne pourrait jamais générer. En pratique, cela ressemble à de la compréhension. Mais le processus reste fondé sur des probabilités et des relations prédites, et sa logique interne n’est pas toujours entièrement visible.

Pour les entreprises, la terminologie est moins importante que la frontière qu’elle révèle. Un système devient utile lorsqu’il peut aller au‑delà de la lecture et soutenir un véritable processus. Il ne devient fiable que lorsque l’entreprise comprend où commence l’interprétation, comment les erreurs seront détectées et qui reste responsable des décisions qui en découlent.