Voir, Réfléchir, Expliquer : L’essor des modèles de langage visuel dans l’IA

Il y a environ une décennie, l’intelligence artificielle était divisée entre la reconnaissance d’images et la compréhension du langage. Les modèles de vision pouvaient repérer des objets mais ne pouvaient pas les décrire, et les modèles de langage généreraient du texte mais ne pouvaient pas “voir”. Aujourd’hui, cette division disparaît rapidement. Les Modèles de langage visuel (VLM) combinent maintenant les compétences visuelles et linguistiques, leur permettant d’interpréter les images et de les expliquer de manière qui ressemble presque à la pensée humaine. Ce qui les rend vraiment remarquables, c’est leur processus de raisonnement étape par étape, appelé Chaîne de pensée, qui les transforme en outils puissants et pratiques dans des secteurs comme la santé et l’éducation. Dans cet article, nous allons explorer comment les VLM fonctionnent, pourquoi leur raisonnement est important et comment ils transforment des domaines allant de la médecine aux voitures autonomes.

Comprendre les modèles de langage visuel

Les modèles de langage visuel, ou VLM, sont un type d’intelligence artificielle qui peut comprendre à la fois les images et le texte en même temps. Contrairement aux anciens systèmes d’IA qui ne pouvaient gérer que le texte ou les images, les VLM réunissent ces deux compétences. Cela les rend incroyablement polyvalents. Ils peuvent regarder une image et la décrire, répondre à des questions sur une vidéo ou même créer des images à partir d’une description écrite.

Par exemple, si vous demandez à un VLM de décrire une photo d’un chien qui court dans un parc. Un VLM ne dit pas juste : « Il y a un chien ». Il peut vous dire : « Le chien poursuit une balle près d’un grand chêne ». Il voit l’image et la relie aux mots d’une manière qui a du sens. Cette capacité à combiner la compréhension visuelle et linguistique crée toutes sortes de possibilités, depuis l’aide à la recherche de photos en ligne jusqu’à l’assistance dans des tâches plus complexes comme l’imagerie médicale.

Au cœur des VLM, ils fonctionnent en combinant deux éléments clés : un système de vision qui analyse les images et un système de langage qui traite le texte. La partie vision détecte des détails comme les formes et les couleurs, tandis que la partie langage transforme ces détails en phrases. Les VLM sont formés sur des ensembles de données massifs contenant des milliards de paires d’images et de texte, leur donnant une expérience étendue pour développer une solide compréhension et une grande précision.

Ce que signifie la chaîne de pensée dans les VLM

La chaîne de pensée, ou CoT, est une façon de faire réfléchir l’IA étape par étape, à la manière dont nous abordons un problème en le décomposant. Dans les VLM, cela signifie que l’IA ne fournit pas seulement une réponse lorsque vous lui posez une question sur une image, mais elle explique également comment elle est arrivée à cette conclusion, en expliquant chaque étape logique sur le chemin.

Disons que vous montrez un VLM une photo d’un gâteau d’anniversaire avec des bougies et que vous demandez : « Quel âge a la personne ? » Sans CoT, il pourrait simplement deviner un nombre. Avec CoT, il réfléchit : « Okay, je vois un gâteau avec des bougies. Les bougies montrent généralement l’âge de quelqu’un. Comptons-les, il y en a 10. Donc, la personne a probablement 10 ans ». Vous pouvez suivre le raisonnement à mesure qu’il se déroule, ce qui rend la réponse beaucoup plus fiable.

De même, lorsqu’on montre une scène de circulation à un VLM et qu’on lui demande : « Est-ce sécuritaire de traverser ? » Le VLM pourrait raisonner : « Le feu piéton est rouge, donc vous ne devriez pas traverser. Il y a aussi une voiture qui tourne à proximité, et elle est en mouvement, pas arrêtée. Cela signifie qu’il n’est pas sécuritaire pour le moment ». En passant par ces étapes, l’IA montre exactement à quoi elle prête attention dans l’image et pourquoi elle prend la décision qu’elle prend.

Pourquoi la chaîne de pensée est importante dans les VLM

L’intégration de la chaîne de pensée dans les VLM apporte plusieurs avantages clés.

Premièrement, cela rend l’IA plus digne de confiance. Lorsqu’elle explique ses étapes, vous obtenez une compréhension claire de la façon dont elle est arrivée à la réponse. C’est important dans des domaines comme la santé. Par exemple, lorsqu’on examine une IRM, un VLM pourrait dire : « Je vois une ombre sur le côté gauche du cerveau. Cette zone contrôle la parole, et le patient a des difficultés à parler, donc cela pourrait être une tumeur ». Un médecin peut suivre cette logique et se sentir confiant dans les entrées de l’IA.

Deuxièmement, cela aide l’IA à aborder des problèmes complexes. En décomposant les choses, elle peut gérer des questions qui nécessitent plus qu’un simple coup d’œil. Par exemple, compter les bougies est simple, mais déterminer la sécurité sur une route encombrée nécessite plusieurs étapes, notamment vérifier les feux, repérer les voitures, juger la vitesse. La chaîne de pensée permet à l’IA de gérer cette complexité en la divisant en plusieurs étapes.

Enfin, cela rend l’IA plus adaptable. Lorsqu’elle réfléchit étape par étape, elle peut appliquer ce qu’elle sait à de nouvelles situations. Si elle n’a jamais vu un type spécifique de gâteau auparavant, elle peut toujours comprendre la connexion entre les bougies et l’âge parce qu’elle réfléchit à cela, au lieu de simplement se fier à des modèles mémorisés.

Comment la chaîne de pensée et les VLM redéfinissent les industries

La combinaison de la chaîne de pensée et des VLM a un impact significatif sur différents domaines :

• Santé : Dans la médecine, les VLM comme Google’s Med-PaLM 2 utilisent la chaîne de pensée pour décomposer des questions médicales complexes en étapes diagnostiques plus petites. Par exemple, lorsqu’on leur donne une radiographie thoracique et des symptômes comme la toux et la migraine, l’IA pourrait penser : « Ces symptômes pourraient être un rhume, des allergies ou quelque chose de pire. Pas de ganglions lymphatiques gonflés, donc ce n’est probablement pas une infection grave. Les poumons semblent clairs, donc probablement pas de pneumonie. Un rhume commun correspond le mieux ». Elle passe par les options et arrive à une réponse, donnant aux médecins une explication claire à travailler.
• Voitures autonomes : Pour les véhicules autonomes, les VLM améliorés par la chaîne de pensée améliorent la sécurité et la prise de décision. Par exemple, une voiture autonome peut analyser une scène de circulation étape par étape : en vérifiant les feux piétons, en identifiant les véhicules en mouvement et en décidant s’il est sécuritaire de procéder. Des systèmes comme Wayve’s LINGO-1 génèrent des commentaires en langage naturel pour expliquer des actions comme ralentir pour un cycliste. Cela aide les ingénieurs et les passagers à comprendre le processus de raisonnement du véhicule. La logique étape par étape permet également une meilleure gestion de conditions routières inhabituelles en combinant les entrées visuelles avec des connaissances contextuelles.
• Analyse géospatiale : Le modèle Gemini de Google applique la chaîne de pensée à des données spatiales comme des cartes et des images satellites. Par exemple, il peut évaluer les dégâts causés par un ouragan en intégrant des images satellites, des prévisions météorologiques et des données démographiques, puis générer des visualisations claires et des réponses à des questions complexes. Cette capacité accélère la réponse aux crises en fournissant aux décideurs des informations utiles et opportunes sans nécessiter d’expertise technique.
• Robotique : Dans la robotique, l’intégration de la chaîne de pensée et des VLM permet aux robots de planifier et d’exécuter mieux des tâches en plusieurs étapes. Par exemple, lorsqu’un robot est chargé de ramasser un objet, la chaîne de pensée activée par le VLM lui permet d’identifier la tasse, de déterminer les meilleurs points de préhension, de planifier un chemin sans collision et d’exécuter le mouvement, tout en « expliquant » chaque étape de son processus. Des projets comme RT-2 démontrent comment la chaîne de pensée permet aux robots de s’adapter mieux à de nouvelles tâches et de répondre à des commandes complexes avec une raison claire.
• Éducation : Dans l’apprentissage, des tuteurs d’IA comme Khanmigo utilisent la chaîne de pensée pour enseigner mieux. Pour un problème de mathématiques, il pourrait guider un étudiant : « Tout d’abord, écrivez l’équation. Ensuite, isolez la variable en soustrayant 5 des deux côtés. Maintenant, divisez par 2 ». Au lieu de donner la réponse, il passe par le processus, aidant les étudiants à comprendre les concepts étape par étape.

En résumé

Les modèles de langage visuel (VLM) permettent à l’IA d’interpréter et d’expliquer les données visuelles en utilisant un raisonnement étape par étape, similaire à la pensée humaine, grâce aux processus de chaîne de pensée (CoT). Cette approche renforce la confiance, l’adaptabilité et la résolution de problèmes dans des secteurs tels que la santé, les voitures autonomes, l’analyse géospatiale, la robotique et l’éducation. En transformant la façon dont l’IA aborde les tâches complexes et soutient la prise de décision, les VLM établissent une nouvelle norme pour la technologie intelligente fiable et pratique.