Les Modèles d’Action Étendus (LAM) : La Nouvelle Frontière de l’Interaction Basée sur l’IA

Il y a presque un an, Mustafa Suleyman, co-fondateur de DeepMind, prédisait que l’ère de l’intelligence artificielle générative allait bientôt laisser place à quelque chose de plus interactif : des systèmes capables de réaliser des tâches en interagissant avec des applications logicielles et des ressources humaines. Aujourd’hui, nous commençons à voir cette vision prendre forme avec le développement du nouveau système d’exploitation basé sur l’IA de Rabbit AI, R1. Ce système a démontré une capacité impressionnante à surveiller et à imiter les interactions humaines avec les applications. Au cœur de R1 se trouve le Modèle d’Action Étendu (LAM), un assistant avancé capable de comprendre les intentions de l’utilisateur et d’exécuter des tâches en son nom. Alors que ces modèles étaient auparavant connus sous d’autres termes tels que Intelligence Artificielle Interactive et Modèle Agentic Étendu, le concept de LAM gagne en importance en tant qu’innovation clé dans les interactions basées sur l’IA. Cet article explore les détails des LAM, comment ils diffèrent des modèles de langage étendus (LLM) traditionnels, présente le système R1 de Rabbit AI et examine comment Apple (AAPL ) se dirige vers une approche similaire à celle des LAM. Il discute également des utilisations potentielles des LAM et des défis auxquels ils sont confrontés.

Comprendre les Modèles d’Action ou Agentic Étendus (LAM)

Un LAM est un agent d’IA avancé conçu pour comprendre les intentions humaines et exécuter des objectifs spécifiques. Ces modèles excellent dans la compréhension des besoins humains, la planification de tâches complexes et l’interaction avec divers modèles, applications ou personnes pour exécuter leurs plans. Les LAM vont au-delà des simples tâches d’IA comme la génération de réponses ou d’images ; ils sont des systèmes complets conçus pour gérer des activités complexes telles que la planification de voyages, la réservation de rendez-vous et la gestion de courriels. Par exemple, dans la planification de voyages, un LAM coordonnerait avec une application météorologique pour les prévisions, interagirait avec des services de réservation de vols pour trouver des vols appropriés et s’engagerait avec des systèmes de réservation d’hôtels pour sécuriser des hébergements. Contrairement à de nombreux modèles d’IA traditionnels qui dépendent uniquement des réseaux de neurones, les LAM utilisent une approche hybride combinant la programmation neuro-symbolique. Cette intégration de la programmation symbolique aide à la raisonnement logique et à la planification, tandis que les réseaux de neurones contribuent à la reconnaissance de modèles sensoriels complexes. Cette combinaison permet aux LAM de traiter un large éventail de tâches, les marquant comme un développement nuancé dans les interactions basées sur l’IA.

Comparaison des LAM avec les LLM

Contrairement aux LAM, les LLM sont des agents d’IA qui excellent dans l’interprétation des invites de l’utilisateur et la génération de réponses basées sur le texte, aidant principalement aux tâches qui impliquent le traitement du langage. Cependant, leur portée est généralement limitée aux activités liées au texte. D’un autre côté, les LAM étendent les capacités de l’IA au-delà du langage, leur permettant d’exécuter des actions complexes pour atteindre des objectifs spécifiques. Par exemple, tandis qu’un LLM pourrait rédiger efficacement un courriel en fonction des instructions de l’utilisateur, un LAM va plus loin en comprenant non seulement le contexte, mais également en décidant de la réponse appropriée et en gérant la livraison du courriel.

En outre, les LLM sont généralement conçus pour prédire le prochain jeton dans une séquence de texte et pour exécuter des instructions écrites. En revanche, les LAM sont équipés non seulement d’une compréhension du langage, mais également de la capacité d’interagir avec diverses applications et systèmes du monde réel, tels que les appareils IoT. Ils peuvent exécuter des actions physiques, contrôler des appareils et gérer des tâches qui nécessitent une interaction avec l’environnement externe, telles que la réservation de rendez-vous ou la prise de réservations. Cette intégration des compétences linguistiques avec l’exécution pratique permet aux LAM de fonctionner dans des scénarios plus diversifiés que les LLM.

Les LAM en Action : Le Rabbit R1

Le Rabbit R1 est un exemple primordial des LAM en utilisation pratique. Ce dispositif basé sur l’IA peut gérer plusieurs applications à travers une interface utilisateur unique et conviviale. Équipé d’un écran tactile de 2,88 pouces, d’une caméra rotative et d’une roulette, le R1 est logé dans un boîtier arrondi élégant conçu en collaboration avec Teenage Engineering. Il fonctionne sur un processeur MediaTek de 2,3 GHz, renforcé par 4 Go de mémoire et 128 Go de stockage.

Au cœur du R1 se trouve son LAM, qui supervise intelligemment les fonctionnalités des applications et simplifie des tâches complexes comme le contrôle de la musique, la réservation de transports, la commande de produits alimentaires et l’envoi de messages, le tout à partir d’un point d’interaction unique. De cette façon, le R1 élimine les tracas de basculer entre plusieurs applications ou plusieurs connexions pour effectuer ces tâches.

Le LAM du R1 a été formé initialement en observant les interactions humaines avec des applications populaires telles que Spotify et Uber. Cette formation a permis au LAM de naviguer dans les interfaces utilisateur, de reconnaître les icônes et de traiter les transactions. Cette formation extensive permet au R1 de s’adapter de manière fluide à pratiquement toute application. De plus, un mode de formation spécial permet aux utilisateurs d’introduire et d’automatiser de nouvelles tâches, élargissant continuellement la gamme de capacités du R1 et en faisant un outil dynamique dans le domaine des interactions basées sur l’IA.

Les Avancées d’Apple Vers des Capacités Inspirées des LAM dans Siri

L’équipe de recherche en IA d’Apple a récemment partagé des informations sur ses efforts pour améliorer les capacités de Siri à travers une nouvelle initiative, ressemblant à celles des LAM. L’initiative, présentée dans un document de recherche sur Reference Resolution As Language Modeling (ReALM), vise à améliorer la capacité de Siri à comprendre le contexte conversationnel, à traiter le contenu visuel sur l’écran et à détecter les activités ambiantes. L’approche adoptée par ReALM pour gérer les entrées de l’interface utilisateur (UI) présente des similitudes avec les fonctionnalités observées dans le R1 de Rabbit AI, montrant l’intention d’Apple d’améliorer la compréhension par Siri des interactions de l’utilisateur.

Ce développement indique qu’Apple envisage d’adopter les technologies des LAM pour raffiner la façon dont les utilisateurs interagissent avec leurs appareils. Même s’il n’y a pas d’annonces explicites concernant le déploiement de ReALM, le potentiel d’améliorer considérablement la façon dont Siri interagit avec les applications suggère des avancées prometteuses pour rendre l’assistant plus intuitif et réactif.

Applications Potentielles des LAM

Les LAM ont le potentiel d’étendre leur impact bien au-delà de l’amélioration des interactions entre les utilisateurs et les appareils ; ils pourraient apporter des avantages significatifs dans plusieurs industries.   

• Services Clientèles : Les LAM peuvent améliorer le service client en traitant de manière indépendante les demandes et les plaintes sur différents canaux. Ces modèles peuvent traiter les requêtes en utilisant le langage naturel, automatiser les résolutions et gérer la planification, offrant un service personnalisé en fonction de l’historique du client pour améliorer la satisfaction.
• Soin de Santé : Dans le domaine de la santé, les LAM peuvent aider à gérer les soins aux patients en organisant les rendez-vous, en gérant les ordonnances et en facilitant la communication entre les services. Ils sont également utiles pour la surveillance à distance, l’interprétation des données médicales et l’alerte du personnel en cas d’urgence, particulièrement bénéfique pour la gestion des soins chroniques et des soins aux personnes âgées.
• Finance : Les LAM peuvent offrir des conseils financiers personnalisés et gérer des tâches telles que l’équilibre de portefeuille et les suggestions d’investissement. Ils peuvent également surveiller les transactions pour détecter et prévenir les fraudes, s’intégrant sans heurt avec les systèmes bancaires pour répondre rapidement aux activités suspectes.

Défis des LAM

Malgré leur potentiel significatif, les LAM rencontrent plusieurs défis qui doivent être abordés.

• Confidentialité et Sécurité des Données : Étant donné l’accès large aux informations personnelles et sensibles dont les LAM ont besoin pour fonctionner, assurer la confidentialité et la sécurité des données constitue un défi majeur. Les LAM interagissent avec des données personnelles sur plusieurs applications et plateformes, soulevant des préoccupations quant à la manipulation, au stockage et au traitement sécurisés de ces informations.
• Préoccupations Éthiques et Réglementaires : À mesure que les LAM prennent des rôles plus autonomes dans la prise de décision et l’interaction avec les environnements humains, les considérations éthiques deviennent de plus en plus importantes. Des questions sur la responsabilité, la transparence et l’étendue de la prise de décision déléguée aux machines sont cruciales. De plus, il peut y avoir des défis réglementaires dans le déploiement de tels systèmes d’IA avancés dans diverses industries.
• Complexité de l’Intégration : Les LAM nécessitent une intégration avec une variété de systèmes logiciels et matériels pour exécuter des tâches de manière efficace. Cette intégration est complexe et peut être difficile à gérer, en particulier lors de la coordination d’actions à travers différentes plateformes et services, tels que la réservation de vols, d’hébergements et d’autres détails logistiques en temps réel.
• Évolutivité et Adaptabilité : Alors que les LAM sont conçus pour s’adapter à une large gamme de scénarios et d’applications, la mise à l’échelle de ces solutions pour gérer efficacement des environnements du monde réel diversifiés et en constante évolution reste un défi. Assurer que les LAM puissent s’adapter à des conditions changeantes et maintenir leur performance à travers différentes tâches et besoins des utilisateurs est crucial pour leur succès à long terme.

En Résumé

Les Modèles d’Action Étendus (LAM) émergent comme une innovation significative dans le domaine de l’IA, influençant non seulement les interactions avec les appareils mais également des applications industrielles plus larges. Démontrés par le système R1 de Rabbit AI et explorés dans les avancées d’Apple avec Siri, les LAM sont en train de définir le cadre pour des systèmes d’IA plus interactifs et plus intuitifs. Ces modèles sont sur le point d’améliorer l’efficacité et la personnalisation dans des secteurs tels que le service client, les soins de santé et la finance.

Cependant, le déploiement des LAM est accompagné de défis, notamment les préoccupations en matière de confidentialité des données, les problèmes éthiques, les complexités d’intégration et les défis d’évolutivité. Aborder ces questions est essentiel alors que nous progressons vers une adoption plus large des technologies des LAM, visant à exploiter leurs capacités de manière responsable et efficace. Alors que les LAM continuent de se développer, leur potentiel pour transformer les interactions numériques reste substantiel, soulignant leur importance dans le paysage futur de l’IA.