Faire progresser l’IA incarnée : Comment Meta amène le toucher et la dextérité humains à l’IA

L’IA a fait de grands progrès dans la perception visuelle et le traitement du langage. Cependant, ces capacités ne sont pas suffisantes pour construire des systèmes qui peuvent interagir avec le monde physique. Les humains manipulent des objets ou effectuent des mouvements contrôlés en utilisant le sens du toucher. Nous sentons la texture, percevons la température et évaluons le poids pour guider chaque action avec précision. Cette rétroaction tactile nous permet de manipuler des objets fragiles, d’utiliser des outils avec contrôle et de réaliser des tâches complexes avec fluidité.

Meta, bien connu pour son travail dans la réalité virtuelle et la réalité augmentée, s’attaque maintenant au défi de créer une IA qui peut interagir avec le monde physique de la même manière qu’un humain. Grâce à son initiative FAIR Robotics, Meta développe des outils et des cadres open-source pour améliorer le sens du toucher et l’agilité physique des robots. Ces efforts pourraient conduire au développement de l’IA incarnée — des systèmes qui ne voient pas seulement, mais qui peuvent également sentir et manipuler des objets comme les humains le font.

Qu’est-ce que l’IA incarnée ?

L’IA incarnée combine l’interaction physique avec l’intelligence artificielle, permettant aux machines de percevoir, de répondre et de s’engager naturellement avec leur environnement. Au lieu de simplement « voir » ou « entendre » les entrées, elle permet aux systèmes d’IA de sentir et d’agir dans le monde. Imaginez un robot qui peut sentir la pression qu’il applique à un objet, ajuster sa prise et se déplacer avec agilité. L’IA incarnée fait passer l’IA des écrans et des haut-parleurs au monde physique, la rendant capable de manipuler des objets, de réaliser des tâches et d’interagir de manière plus significative avec les personnes.

Par exemple, un robot construit sur l’IA incarnée pourrait aider une personne âgée à ramasser des objets fragiles sans les endommager. Dans le domaine de la santé, il pourrait aider les médecins en tenant des instruments avec précision pendant une opération chirurgicale. Ce potentiel s’étend bien au-delà des bras robotiques dans les laboratoires ou des bras automatisés dans les usines ; il s’agit de créer des machines qui comprennent et répondent à leur environnement physique en temps réel.

L’approche de Meta envers l’IA incarnée

Meta se concentre sur trois domaines clés pour rapprocher l’IA incarnée du toucher humain. Premièrement, l’entreprise développe des technologies de détection tactile avancées qui permettent aux machines de détecter des choses comme la pression, la texture et la température. Deuxièmement, Meta crée des modèles de perception tactile qui permettent à l’IA de comprendre et de réagir à ces signaux. Enfin, Meta construit une plate-forme de développement tactile qui intègre plusieurs capteurs avec ces modèles de perception, offrant un système complet pour la construction d’une IA dotée de toucher. Voici comment Meta fait progresser l’IA incarnée dans chacun de ces domaines.

Meta Digit 360 : Détection tactile humaine

Meta a introduit Digit 360, une technologie de détection tactile conçue pour donner à l’IA incarnée un sens du toucher humain. Avec plus de 18 fonctionnalités de détection, elle peut détecter les vibrations, la chaleur et même les produits chimiques sur les surfaces. Équipée d’un circuit d’IA, Digit 360 traite les données de toucher instantanément, permettant des réponses rapides aux entrées comme la chaleur d’une cuisinière ou la piqûre d’une aiguille. Cette technologie agit comme un « système nerveux périphérique » dans l’IA incarnée, simulant des réponses réflexes similaires à celles des humains. Meta a développé cette technologie avec un système optique unique contenant plus de 8 millions de taxels qui peuvent capturer le toucher sous tous les angles. Elle détecte des détails infimes, jusqu’à des forces aussi faibles qu’un millinewton, donnant à l’IA incarnée une sensibilité fine à son environnement.

Meta Sparsh : La fondation de la perception tactile

Meta améliore les capacités de perception tactile pour aider l’IA à comprendre et à répondre aux sensations physiques. Nommé d’après le mot sanskrit pour « toucher », Sparsh agit comme un « cerveau tactile » pour l’IA incarnée. Le modèle permet aux machines d’interpréter des signaux tactiles complexes comme la pression et la prise.

L’une des fonctionnalités remarquables de Sparsh est sa polyvalence. Les systèmes tactiles traditionnels emploient des modèles distincts pour chaque tâche, s’appuyant fortement sur des données étiquetées et des capteurs spécifiques. Sparsh change complètement cette approche. En tant que modèle à usage général, il s’adapte à divers capteurs et tâches. Il apprend les modèles de toucher en utilisant l’apprentissage auto-supervisé (SSL) sur une base de données massive de plus de 460 000 images tactiles — sans nécessiter de données étiquetées.

Meta a également introduit TacBench, un nouveau référentiel avec six tâches basées sur le toucher pour évaluer les capacités de Sparsh. Meta affirme que Sparsh a surpassé les modèles traditionnels de 95,1 %, en particulier dans les scénarios à faible volume de données. Les versions de Sparsh basées sur les architectures I-JEPA et DINO de Meta ont démontré des capacités remarquables dans des tâches telles que l’estimation de la force, la détection de glissement et la manipulation complexe.

Meta Digit Plexus : Une plate-forme pour le développement de systèmes tactiles

Meta a introduit Digit Plexus pour intégrer les technologies de détection et les modèles de perception tactile pour créer un système d’IA incarnée. La plate-forme combine les capteurs de doigt et de paume dans une main robotique unique pour permettre des réponses de toucher plus coordonnées. Cette configuration permet à l’IA incarnée de traiter les rétroactions sensorielles et d’ajuster ses actions en temps réel, comme le ferait une main humaine.

En standardisant les rétroactions de toucher sur toute la main, Digit Plexus améliore la précision et le contrôle de l’IA incarnée. Ce développement est particulièrement crucial dans des domaines tels que la fabrication et la santé, où la manipulation soigneuse est essentielle. La plate-forme relie des capteurs comme le doigt et ReSkin à un système de contrôle, rationalisant la collecte de données, le contrôle et l’analyse — le tout via un seul câble.

Meta publie les conceptions de logiciels et de matériel pour Digit Plexus dans la communauté open-source. L’objectif est de favoriser la collaboration et d’accélérer la recherche dans le domaine de l’IA incarnée, stimulant l’innovation et le progrès dans ces domaines.

Promouvoir la recherche et le développement de l’IA incarnée

Meta fait progresser non seulement la technologie, mais aussi les ressources pour promouvoir la recherche et le développement de l’IA incarnée. Une initiative clé est le développement de référentiels pour évaluer les modèles d’IA. L’un de ces référentiels, PARTNR (Planning And Reasoning Tasks in humaN-Robot collaboration), évalue la façon dont les modèles d’IA interagissent avec les humains lors de tâches ménagères. En utilisant le simulateur Habitat 3.0, PARTNR fournit un environnement réaliste où les robots aident à des tâches comme le nettoyage et la cuisine. Avec plus de 100 000 tâches basées sur le langage, il vise à accélérer les progrès dans le domaine de l’IA incarnée.

En plus des initiatives internes, Meta collabore avec des organisations comme GelSight Inc. et Wonik Robotics pour accélérer l’adoption des technologies de détection tactile. GelSight distribuera les capteurs Digit 360, tandis que Wonik Robotics fabriquera la main Allegro, qui intègre la technologie Digit Plexus. En rendant ces technologies accessibles via des plate-formes open-source et des partenariats, Meta contribue à créer un écosystème qui pourrait conduire à des innovations dans les domaines de la santé, de la fabrication et de l’assistance domestique.

En résumé

Meta fait progresser l’IA incarnée, la faisant passer de la simple vue et de l’ouïe à l’inclusion du sens du toucher. Avec des innovations comme Digit 360 et Sparsh, les systèmes d’IA acquièrent la capacité de sentir et de répondre à leur environnement avec précision. En partageant ces technologies avec la communauté open-source et en collaborant avec des organisations clés, Meta aide à accélérer le développement de la détection tactile. Ce progrès pourrait conduire à des avancées dans des domaines tels que la santé, la fabrication et l’assistance à domicile, rendant l’IA plus capable et plus réactive dans les tâches du monde réel. En faisant ces technologies avec la communauté open-source et en collaborant avec des organisations clés, Meta aide à accélérer le développement de la détection tactile. Ce progrès pourrait conduire à des avancées dans des domaines tels que la santé, la fabrication et l’assistance à domicile, rendant l’IA plus capable et plus réactive dans les tâches du monde réel.