Voir, penser, expliquer : l'essor des modèles de langage visuel en IA

Il y a une dizaine d'années, l'intelligence artificielle était divisée entre reconnaissance d'images et compréhension du langage. Les modèles de vision pouvaient repérer les objets, mais ne pouvaient pas les décrire, et les modèles de langage généraient du texte, mais ne pouvaient pas « voir ». Aujourd'hui, cette distinction s'estompe rapidement. Modèles de langage visuel (MLV) Ils combinent désormais compétences visuelles et linguistiques, ce qui leur permet d'interpréter des images et de les expliquer de manière presque humaine. Ce qui les rend vraiment remarquables, c'est leur processus de raisonnement étape par étape, appelé Chaîne de pensée, qui permet de transformer ces modèles en outils puissants et pratiques dans des secteurs comme la santé et l'éducation. Dans cet article, nous explorerons le fonctionnement des VLM, l'importance de leur raisonnement et la manière dont ils transforment des domaines allant de la médecine aux voitures autonomes.

Comprendre les modèles de langage visuel

Les modèles de langage visuel (MLV) sont un type d'intelligence artificielle capable de comprendre simultanément des images et du texte. Contrairement aux anciens systèmes d'IA qui ne pouvaient traiter que du texte ou des images, les MLL combinent ces deux compétences. Cela les rend incroyablement polyvalents. Ils peuvent observer une image et décrire ce qui se passe, répondre à des questions sur une vidéo, ou même créer des images à partir d'une description écrite.

Par exemple, si vous demandez à un VLM de décrire la photo d'un chien courant dans un parc, un VLM ne se contente pas de dire : « Il y a un chien. » Il peut vous dire : « Le chien court après une balle près d'un grand chêne. » Il voit l'image et la relie à des mots de manière compréhensible. Cette capacité à combiner compréhension visuelle et linguistique ouvre de nombreuses possibilités, allant de la recherche de photos en ligne à des tâches plus complexes comme l'imagerie médicale.

Fondamentalement, les VLM fonctionnent en combinant deux éléments clés : un système visuel qui analyse les images et un système linguistique qui traite le texte. La partie visuelle capte des détails comme les formes et les couleurs, tandis que la partie linguistique les transforme en phrases. Les VLM sont entraînés sur des ensembles de données volumineux contenant des milliards de paires image-texte, ce qui leur confère une vaste expérience pour développer une compréhension approfondie et une grande précision.

Ce que signifie le raisonnement par chaîne de pensée dans les VLM

Le raisonnement par chaîne de pensée (CdP) permet à l'IA de réfléchir étape par étape, un peu comme on aborde un problème en le décomposant. Dans les VLM, cela signifie que l'IA ne se contente pas de fournir une réponse à une question sur une image, mais explique également comment elle y est parvenue, en détaillant chaque étape logique du processus.

Imaginons que vous montriez à un VLM l'image d'un gâteau d'anniversaire avec des bougies et que vous lui demandiez : « Quel âge a la personne ? » Sans CoT, il pourrait simplement deviner un nombre. Avec CoT, il réfléchit : « D'accord, je vois un gâteau avec des bougies. Les bougies indiquent généralement l'âge d'une personne. Comptons-les, il y en a 10. Donc, la personne a probablement 10 ans. » Vous pouvez suivre le raisonnement au fur et à mesure, ce qui rend la réponse beaucoup plus fiable.

De même, lorsqu'on montre une scène de circulation à VLM et qu'on lui demande : « Est-il sécuritaire de traverser ? », VLM pourrait répondre : « Le feu piéton est rouge, vous ne devez donc pas le traverser. Il y a aussi une voiture qui tourne à proximité, et elle roule, pas à l'arrêt. Cela signifie que ce n'est pas sécuritaire pour le moment. » En suivant ces étapes, l'IA vous montre précisément ce à quoi elle prête attention dans l'image et pourquoi elle décide de ce qu'elle fait.

Pourquoi la chaîne de pensée est importante dans les VLM

L’intégration du raisonnement CoT dans les VLM apporte plusieurs avantages clés.

Premièrement, cela rend l'IA plus fiable. Lorsqu'elle explique ses étapes, on comprend clairement comment elle est parvenue à la réponse. C'est important dans des domaines comme la santé. Par exemple, lors d'une IRM, un VLM pourrait dire : « Je vois une ombre dans le côté gauche du cerveau. Cette zone contrôle la parole, et le patient a des difficultés à parler, il pourrait donc s'agir d'une tumeur. » Un médecin peut suivre ce raisonnement et se fier aux informations de l'IA.

Deuxièmement, cela aide l'IA à résoudre des problèmes complexes. En décomposant les éléments, elle peut répondre à des questions qui nécessitent plus qu'un simple coup d'œil. Par exemple, compter les bougies est simple, mais déterminer la sécurité dans une rue animée nécessite plusieurs étapes, comme vérifier les feux, repérer les voitures et évaluer la vitesse. CoT permet à l'IA de gérer cette complexité en la divisant en plusieurs étapes.

Enfin, cela rend l'IA plus adaptable. En raisonnant étape par étape, elle peut appliquer ses connaissances à de nouvelles situations. Même si elle n'a jamais vu un type de gâteau spécifique, elle peut tout de même comprendre le lien entre l'âge des bougies et la durée de vie des bougies, car elle y réfléchit en profondeur, et non en se basant uniquement sur des schémas mémorisés.

Comment la chaîne de pensée et les VLM redéfinissent les industries

La combinaison de CoT et de VLM a un impact significatif dans différents domaines :

• Soins de santé : En médecine, les VLM comme Med-PaLM 2 de Google Utilisez CoT pour décomposer des questions médicales complexes en étapes diagnostiques plus simples. Par exemple, après une radiographie pulmonaire et des symptômes comme une toux et des maux de tête, l'IA pourrait penser : « Ces symptômes pourraient être un rhume, des allergies ou quelque chose de plus grave. Pas de gonflement des ganglions lymphatiques, donc il est peu probable qu'il s'agisse d'une infection grave. Les poumons semblent clairs, donc probablement pas de pneumonie. Un simple rhume est plus approprié. » Elle passe en revue les options et trouve une réponse, fournissant aux médecins une explication claire sur laquelle travailler.
• Voitures autonomes: Pour les véhicules autonomes, les VLM optimisés par le CoT améliorent la sécurité et la prise de décision. Par exemple, une voiture autonome peut analyser une situation de circulation étape par étape : vérifier les feux de circulation pour piétons, identifier les véhicules en mouvement et décider s'il est possible de poursuivre sa route en toute sécurité. Des systèmes comme Lingo-1 de Wayve Générer des commentaires en langage naturel pour expliquer des actions comme ralentir pour un cycliste. Cela aide les ingénieurs et les passagers à comprendre le raisonnement du véhicule. La logique pas à pas permet également de mieux gérer les conditions routières inhabituelles en combinant des données visuelles et des connaissances contextuelles.
• Analyse géospatiale : Google Le modèle Gemini s'applique Le raisonnement CoT s'appuie sur des données spatiales telles que des cartes et des images satellites. Par exemple, il peut évaluer les dégâts causés par un ouragan en intégrant des images satellites, des prévisions météorologiques et des données démographiques, puis générer des visualisations claires et des réponses à des questions complexes. Cette fonctionnalité accélère la réponse aux catastrophes en fournissant aux décideurs des informations pertinentes et rapides, sans nécessiter d'expertise technique.
• Robotique: En robotique, l'intégration de CoT et de VLM permet aux robots de mieux planifier et exécuter des tâches en plusieurs étapes. Par exemple, lorsqu'un robot est chargé de saisir un objet, un VLM compatible CoT lui permet d'identifier la tasse, de déterminer les meilleurs points de préhension, de planifier une trajectoire sans collision et d'exécuter le mouvement, tout en « expliquant » chaque étape du processus. Des projets comme RT-2 démontrer comment CoT permet aux robots de mieux s'adapter à de nouvelles tâches et de répondre à des commandes complexes avec un raisonnement clair.
• L'Education: En matière d'apprentissage, les tuteurs IA aiment Khanfriend Utilisez CoT pour mieux enseigner. Pour un problème de mathématiques, cela peut guider l'élève : « D'abord, écrivez l'équation. Ensuite, obtenez la variable seule en soustrayant 5 des deux côtés. Maintenant, divisez par 2. » Au lieu de donner la réponse, l'application guide l'élève pas à pas, l'aidant à comprendre les concepts.

En résumé

Les modèles de langage visuel (MLV) permettent à l'IA d'interpréter et d'expliquer les données visuelles grâce à un raisonnement pas à pas, similaire à celui de l'humain, grâce à des processus de chaîne de pensée (CdP). Cette approche renforce la confiance, l'adaptabilité et la résolution de problèmes dans des secteurs tels que la santé, les véhicules autonomes, l'analyse géospatiale, la robotique et l'éducation. En transformant la façon dont l'IA aborde les tâches complexes et soutient la prise de décision, les MLL établissent une nouvelle norme en matière de technologie intelligente fiable et pratique.