De l’intention à l’exécution : Comment Microsoft transforme les grands modèles de langage en intelligence artificielle axée sur l’action

Les grands modèles de langage (LLM) ont changé la façon dont nous traitons le traitement du langage naturel. Ils peuvent répondre à des questions, écrire du code et tenir des conversations. Cependant, ils sont limités lorsqu’il s’agit de tâches du monde réel. Par exemple, un LLM peut vous guider pour acheter un blouson, mais il ne peut pas passer la commande pour vous. Ce fossé entre la pensée et l’action est une limitation majeure. Les gens n’ont pas seulement besoin d’informations ; ils veulent des résultats.

Pour combler ce fossé, Microsoft (MSFT ) est en train de transformer les LLM en agents d’intelligence artificielle axés sur l’action. En leur permettant de planifier, de décomposer les tâches et d’interagir avec des environnements du monde réel, ils donnent aux LLM les moyens de gérer efficacement des tâches pratiques. Ce changement a le potentiel de redéfinir ce que les LLM peuvent faire, les transformant en outils qui automatisent des flux de travail complexes et simplifient les tâches quotidiennes. Regardons ce qui est nécessaire pour que cela se produise et comment Microsoft aborde le problème.

Ce dont les LLM ont besoin pour agir

Pour effectuer des tâches dans le monde réel, les LLM doivent aller au-delà de la compréhension du texte. Ils doivent interagir avec des environnements numériques et physiques tout en s’adaptant à des conditions changeantes. Voici certaines des capacités dont ils ont besoin :

1. Comprendre l’intention de l’utilisateur

Pour agir de manière efficace, les LLM doivent comprendre les demandes des utilisateurs. Les entrées comme du texte ou des commandes vocales sont souvent vagues ou incomplètes. Le système doit combler les lacunes en utilisant ses connaissances et le contexte de la demande. Des conversations à plusieurs étapes peuvent aider à affiner ces intentions, en veillant à ce que l’IA comprenne avant de prendre une action.

2. Transformer les intentions en actions

Après avoir compris une tâche, les LLM doivent la convertir en étapes actionnables. Cela peut impliquer de cliquer sur des boutons, d’appeler des API ou de contrôler des appareils physiques. Les LLM doivent modifier leurs actions en fonction de la tâche spécifique, en s’adaptant à l’environnement et en résolvant les défis qui se posent.

3. S’adapter aux changements

Les tâches du monde réel ne se déroulent pas toujours comme prévu. Les LLM doivent anticiper les problèmes, ajuster les étapes et trouver des alternatives lorsqu’il y a des problèmes. Par exemple, si une ressource nécessaire n’est pas disponible, le système devrait trouver un autre moyen de terminer la tâche. Cette flexibilité garantit que le processus ne s’arrête pas lorsque les choses changent.

4. Se spécialiser dans des tâches spécifiques

Bien que les LLM soient conçus pour une utilisation générale, la spécialisation les rend plus efficaces. En se concentrant sur des tâches spécifiques, ces systèmes peuvent fournir de meilleurs résultats avec moins de ressources. C’est particulièrement important pour les appareils à puissance de calcul limitée, comme les smartphones ou les systèmes intégrés.

En développant ces compétences, les LLM peuvent aller au-delà du simple traitement de l’information. Ils peuvent prendre des mesures significatives, ouvrant la voie à une intégration transparente de l’IA dans les flux de travail quotidiens.

Comment Microsoft transforme les LLM

L’approche de Microsoft pour créer une intelligence artificielle axée sur l’action suit un processus structuré. L’objectif principal est de permettre aux LLM de comprendre les commandes, de planifier efficacement et de prendre des mesures. Voici comment ils y parviennent :

Étape 1 : Collecter et préparer les données

Dans la première phase, ils ont collecté des données liées à leurs cas d’utilisation spécifiques : l’agent UFO (décrit ci-dessous). Les données comprennent des requêtes utilisateur, des détails environnementaux et des actions spécifiques à la tâche. Deux types de données sont collectés dans cette phase : premièrement, ils ont collecté des données de planification de tâche, aidant les LLM à définir les étapes de niveau supérieur nécessaires pour terminer une tâche. Par exemple, « Changer la taille de police dans Word » pourrait impliquer des étapes telles que la sélection de texte et l’ajustement des paramètres de la barre d’outils. Deuxièmement, ils ont collecté des données d’action de tâche, permettant aux LLM de traduire ces étapes en instructions précises, comme cliquer sur des boutons spécifiques ou utiliser des raccourcis clavier.

Cette combinaison donne au modèle à la fois une vue d’ensemble et les instructions détaillées dont il a besoin pour effectuer des tâches de manière efficace.

Étape 2 : Entraîner le modèle

Une fois les données collectées, les LLM sont affinés à travers plusieurs sessions d’entraînement. Dans la première étape, les LLM sont formés pour la planification de tâche en leur enseignant comment décomposer les demandes des utilisateurs en étapes actionnables. Des données étiquetées par des experts sont ensuite utilisées pour leur enseigner comment traduire ces plans en actions spécifiques. Pour améliorer encore leurs capacités de résolution de problèmes, les LLM ont engagé un processus d’exploration auto-améliorante qui leur permet de résoudre des tâches non résolues et de générer de nouveaux exemples pour un apprentissage continu. Enfin, l’apprentissage par renforcement est appliqué, en utilisant les commentaires des réussites et des échecs pour améliorer encore leur prise de décision.

Étape 3 : Test hors ligne

Après l’entraînement, le modèle est testé dans des environnements contrôlés pour garantir la fiabilité. Des métriques telles que le taux de réussite des tâches (TSR) et le taux de réussite des étapes (SSR) sont utilisées pour mesurer les performances. Par exemple, tester un agent de gestion de calendrier pourrait impliquer de vérifier sa capacité à planifier des réunions et à envoyer des invitations sans erreurs.

Étape 4 : Intégration dans des systèmes réels

Une fois validé, le modèle est intégré dans un cadre d’agent. Cela lui permet d’interagir avec des environnements du monde réel, comme cliquer sur des boutons ou naviguer dans des menus. Des outils tels que les API d’automatisation de l’interface utilisateur ont aidé le système à identifier et à manipuler dynamiquement les éléments de l’interface utilisateur.

Par exemple, si la tâche consiste à mettre en surbrillance du texte dans Word, l’agent identifie le bouton de mise en surbrillance, sélectionne le texte et applique le formatage. Un composant de mémoire pourrait aider les LLM à conserver une trace des actions passées, leur permettant de s’adapter à de nouvelles situations.

Étape 5 : Test dans le monde réel

La dernière étape est l’évaluation en ligne. Ici, le système est testé dans des scénarios du monde réel pour garantir qu’il peut gérer les changements et les erreurs inattendus. Par exemple, un bot de support client pourrait guider les utilisateurs à travers la réinitialisation d’un mot de passe tout en s’adaptant à des entrées incorrectes ou à des informations manquantes. Ce test garantit que l’IA est robuste et prête pour une utilisation quotidienne.

Un exemple pratique : l’agent UFO

Pour montrer comment fonctionne l’intelligence artificielle axée sur l’action, Microsoft a développé l’agent UFO. Ce système est conçu pour exécuter des tâches du monde réel dans des environnements Windows, transformant les demandes des utilisateurs en actions terminées.

À son cœur, l’agent UFO utilise un LLM pour interpréter les demandes et planifier des actions. Par exemple, si un utilisateur dit : « Mettre en surbrillance le mot « important » dans ce document », l’agent interagit avec Word pour terminer la tâche. Il rassemble des informations contextuelles, comme les positions des éléments de l’interface utilisateur, et les utilise pour planifier et exécuter des actions.

L’agent UFO repose sur des outils tels que l’automatisation de l’interface utilisateur Windows (UIA). Cette API scanne les applications pour les éléments de contrôle, tels que les boutons ou les menus. Pour une tâche comme « Enregistrer le document au format PDF », l’agent utilise l’UIA pour identifier le bouton « Fichier », localiser l’option « Enregistrer sous » et exécuter les étapes nécessaires. En structurant les données de manière cohérente, le système garantit un fonctionnement fluide depuis l’entraînement jusqu’à l’application dans le monde réel.

Surmonter les défis

Bien que ce soit un développement passionnant, la création d’une intelligence artificielle axée sur l’action comporte des défis. La scalabilité est un problème majeur. La formation et le déploiement de ces modèles sur diverses tâches nécessitent des ressources importantes. Garantir la sécurité et la fiabilité est tout aussi important. Les modèles doivent effectuer des tâches sans conséquences involontaires, en particulier dans des environnements sensibles. Et puisque ces systèmes interagissent avec des données privées, maintenir des normes éthiques en matière de confidentialité et de sécurité est également crucial.

La feuille de route de Microsoft se concentre sur l’amélioration de l’efficacité, l’expansion des cas d’utilisation et le maintien des normes éthiques. Avec ces progrès, les LLM pourraient redéfinir la façon dont l’IA interagit avec le monde, les rendant plus pratiques, plus adaptables et plus axés sur l’action.

Le futur de l’IA

La transformation des LLM en agents d’intelligence artificielle axés sur l’action pourrait être un facteur de changement. Ces systèmes peuvent automatiser des tâches, simplifier les flux de travail et rendre la technologie plus accessible. Le travail de Microsoft sur l’intelligence artificielle axée sur l’action et des outils comme l’agent UFO ne fait que commencer. À mesure que l’IA continue d’évoluer, nous pouvons nous attendre à des systèmes plus intelligents, plus capables, qui ne se contentent pas d’interagir avec nous, mais qui réalisent des tâches.