Voir, Penser, Expliquer : L’essor des Modèles de Langage Visuel dans l’IA

Il y a environ une décennie, l’intelligence artificielle était divisée entre la reconnaissance d’images et la compréhension du langage. Les modèles de vision pouvaient repérer des objets, mais ne pouvaient pas les décrire, et les modèles de langage pouvaient générer du texte, mais ne pouvaient pas “voir”. Aujourd’hui, cette division disparaît rapidement. Les Modèles de Langage Visuel (VLM) combinent désormais les compétences visuelles et linguistiques, leur permettant d’interpréter les images et de les expliquer de manière presque humaine. Ce qui les rend vraiment remarquables, c’est leur processus de raisonnement étape par étape, connu sous le nom de Chaîne de Pensée, qui les transforme en outils puissants et pratiques dans des domaines tels que la santé et l’éducation. Dans cet article, nous allons explorer comment les VLM fonctionnent, pourquoi leur raisonnement est important et comment ils transforment des domaines allant de la médecine aux voitures autonomes.

Comprendre les Modèles de Langage Visuel

Les Modèles de Langage Visuel, ou VLM, sont un type d’intelligence artificielle capable de comprendre à la fois les images et le texte en même temps. Contrairement aux anciens systèmes d’IA qui ne pouvaient gérer que le texte ou les images, les VLM réunissent ces deux compétences. Cela les rend incroyablement polyvalents. Ils peuvent regarder une image et décrire ce qui se passe, répondre à des questions sur une vidéo ou même créer des images à partir d’une description écrite.

Par exemple, si vous demandez à un VLM de décrire une photo d’un chien courant dans un parc. Un VLM ne dit pas simplement “Il y a un chien”. Il peut vous dire : “Le chien poursuit une balle près d’un grand chêne”. Il voit l’image et la relie aux mots d’une manière qui a du sens. Cette capacité à combiner la compréhension visuelle et linguistique crée toutes sortes de possibilités, allant de l’aide à la recherche de photos en ligne à l’assistance dans des tâches plus complexes comme l’imagerie médicale.

Au cœur des VLM, il y a deux éléments clés : un système de vision qui analyse les images et un système de langage qui traite le texte. La partie vision capte des détails tels que les formes et les couleurs, tandis que la partie langage transforme ces détails en phrases. Les VLM sont formés sur des ensembles de données massifs contenant des milliards de paires image-texte, leur donnant une expérience étendue pour développer une solide compréhension et une grande précision.

Ce que signifie la Chaîne de Pensée dans les VLM

La Chaîne de Pensée, ou CoT, est une façon de faire réfléchir l’IA étape par étape, comme nous le faisons lorsque nous abordons un problème en le décomposant. Dans les VLM, cela signifie que l’IA ne fournit pas seulement une réponse lorsqu’on lui pose une question sur une image, mais qu’elle explique également comment elle est arrivée à cette conclusion, en expliquant chaque étape logique du processus.

Disons que vous montrez à un VLM une photo d’un gâteau d’anniversaire avec des bougies et que vous demandez : “Quel est l’âge de la personne ?” Sans CoT, il pourrait simplement deviner un nombre. Avec CoT, il réfléchit étape par étape : “D’accord, je vois un gâteau avec des bougies. Les bougies montrent généralement l’âge de quelqu’un. Comptons-les, il y en a 10. Donc, la personne a probablement 10 ans”. Vous pouvez suivre le raisonnement à mesure qu’il se déroule, ce qui rend la réponse beaucoup plus fiable.

De même, lorsqu’on montre à un VLM une scène de circulation et qu’on lui demande : “Est-ce sécuritaire de traverser ?” Le VLM pourrait raisonner : “Le feu piéton est rouge, donc vous ne devriez pas traverser. Il y a également une voiture qui tourne à proximité, et elle est en mouvement, pas arrêtée. Cela signifie qu’il n’est pas sécuritaire pour le moment”. En décomposant ces étapes, l’IA montre exactement à quoi elle prête attention dans l’image et pourquoi elle prend la décision qu’elle prend.

Pourquoi la Chaîne de Pensée est importante dans les VLM

L’intégration de la Chaîne de Pensée dans les VLM apporte plusieurs avantages clés.

Tout d’abord, cela rend l’IA plus facile à faire confiance. Lorsqu’elle explique ses étapes, vous obtenez une compréhension claire de la façon dont elle est arrivée à la réponse. C’est important dans des domaines comme la santé. Par exemple, lorsqu’on examine une image d’IRM, un VLM pourrait dire : “Je vois une ombre sur le côté gauche du cerveau. Cette zone contrôle la parole, et le patient a des difficultés à parler, donc cela pourrait être une tumeur”. Un médecin peut suivre cette logique et se sentir confiant dans les informations fournies par l’IA.

Deuxièmement, cela aide l’IA à résoudre des problèmes complexes. En décomposant les choses, elle peut gérer des questions qui nécessitent plus qu’un simple coup d’œil. Par exemple, compter les bougies est simple, mais déterminer la sécurité sur une route encombrée nécessite plusieurs étapes, notamment vérifier les feux, repérer les véhicules et juger la vitesse. La Chaîne de Pensée permet à l’IA de gérer cette complexité en la divisant en étapes multiples.

Enfin, cela rend l’IA plus adaptable. Lorsqu’elle réfléchit étape par étape, elle peut appliquer ce qu’elle sait à de nouvelles situations. Si elle n’a jamais vu un type spécifique de gâteau auparavant, elle peut toujours déterminer la relation entre les bougies et l’âge, car elle réfléchit à cela au lieu de simplement se fier à des modèles mémorisés.

Comment la Chaîne de Pensée et les VLM redéfinissent les industries

La combinaison de la Chaîne de Pensée et des VLM a un impact significatif sur différents domaines :

• Santé : Dans le domaine de la santé, les VLM comme Med-PaLM 2 de Google (GOOGL ) utilisent la Chaîne de Pensée pour décomposer des questions médicales complexes en étapes diagnostiques plus petites. Par exemple, lorsqu’on lui donne une radiographie thoracique et des symptômes tels que la toux et la migraine, l’IA pourrait penser : “Ces symptômes pourraient être un rhume, des allergies ou quelque chose de pire. Pas de ganglions lymphatiques gonflés, donc ce n’est probablement pas une infection grave. Les poumons semblent clairs, donc ce n’est probablement pas une pneumonie. Un rhume commun correspond le mieux”. Elle passe en revue les options et aboutit à une réponse, donnant aux médecins une explication claire à utiliser.
• Voitures autonomes : Pour les véhicules autonomes, les VLM améliorés par la Chaîne de Pensée améliorent la sécurité et la prise de décision. Par exemple, une voiture autonome peut analyser une scène de circulation étape par étape : en vérifiant les signaux piétons, en identifiant les véhicules en mouvement et en décidant s’il est sécuritaire de procéder. Des systèmes comme LINGO-1 de Wayve génèrent des commentaires en langage naturel pour expliquer des actions comme ralentir pour un cycliste. Cela aide les ingénieurs et les passagers à comprendre le processus de raisonnement du véhicule. La logique étape par étape permet également une meilleure gestion de conditions routières inhabituelles en combinant des entrées visuelles avec des connaissances contextuelles.
• Analyse géospatiale : Le modèle Gemini de Google applique la Chaîne de Pensée aux données spatiales comme les cartes et les images satellites. Par exemple, il peut évaluer les dégâts causés par un ouragan en intégrant des images satellites, des prévisions météorologiques et des données démographiques, puis générer des visualisations claires et des réponses à des questions complexes. Cette capacité accélère la réponse aux crises en fournissant aux décideurs des informations utiles et opportunes sans nécessiter d’expertise technique.
• Robotique : Dans la robotique, l’intégration de la Chaîne de Pensée et des VLM permet aux robots de planifier et d’exécuter des tâches multi-étapes de manière plus efficace. Par exemple, lorsqu’un robot est chargé de ramasser un objet, le VLM activé par la Chaîne de Pensée lui permet d’identifier la tasse, de déterminer les meilleurs points de préhension, de planifier un chemin sans collision et d’exécuter le mouvement, tout en “expliquant” chaque étape de son processus. Des projets comme RT-2 démontrent comment la Chaîne de Pensée permet aux robots de s’adapter mieux à de nouvelles tâches et de répondre à des commandes complexes avec une logique claire.
• Éducation : Dans l’apprentissage, des tuteurs d’IA comme Khanmigo utilisent la Chaîne de Pensée pour enseigner de manière plus efficace. Pour un problème de mathématiques, il pourrait guider un élève : “Tout d’abord, écrivez l’équation. Ensuite, isolez la variable en soustrayant 5 des deux côtés. Maintenant, divisez par 2”. Au lieu de fournir simplement la réponse, il passe par le processus, aidant les élèves à comprendre les concepts étape par étape.

En résumé

Les Modèles de Langage Visuel (VLM) permettent à l’IA d’interpréter et d’expliquer des données visuelles en utilisant un raisonnement humain, étape par étape, grâce aux processus de Chaîne de Pensée (CoT). Cette approche renforce la confiance, l’adaptabilité et la résolution de problèmes dans des domaines tels que la santé, les voitures autonomes, l’analyse géospatiale, la robotique et l’éducation. En transformant la façon dont l’IA aborde des tâches complexes et prend en charge la prise de décision, les VLM établissent une nouvelle norme pour la technologie intelligente fiable et pratique.