Améliorer l’IA incarnée : Comment Meta apporte une touche et une dextérité humaines à l’IA

L’IA a fait de grands progrès dans la perception visuelle et le traitement du langage. Cependant, ces capacités ne suffisent pas pour construire des systèmes qui peuvent interagir avec le monde physique. Les humains manipulent des objets ou effectuent des mouvements contrôlés en utilisant le sens du toucher. Nous sentons la texture, percevons la température et évaluons le poids pour guider chaque action avec précision. Cette rétroaction tactile nous permet de manipuler des objets fragiles, d’utiliser des outils avec contrôle et de réaliser des tâches complexes avec fluidité.

Meta, connu pour son travail dans la réalité virtuelle et la réalité augmentée, relève maintenant le défi de créer une IA qui peut interagir avec le monde physique de la même manière qu’un humain. Grâce à son initiative FAIR Robotics, Meta développe des outils et des cadres open-source pour améliorer le sens du toucher et l’agilité physique des robots. Ces efforts pourraient conduire au développement d’une IA incarnée — des systèmes qui ne voient pas seulement mais peuvent également ressentir et manipuler des objets comme les humains le font.

Qu’est-ce que l’IA incarnée ?

L’IA incarnée combine l’interaction physique avec l’intelligence artificielle, permettant aux machines de percevoir, de réagir et d’interagir naturellement avec leur environnement. Au lieu de simplement « voir » ou « entendre » les entrées, elle permet aux systèmes d’IA de ressentir et d’agir dans le monde. Imaginez un robot qui peut ressentir la pression qu’il applique à un objet, ajuster sa prise et se déplacer avec agilité. L’IA incarnée déplace l’IA des écrans et des haut-parleurs vers le monde physique, la rendant capable de manipuler des objets, de réaliser des tâches et d’interagir de manière plus significative avec les personnes.

Par exemple, un robot construit sur l’IA incarnée pourrait aider une personne âgée à ramasser des objets fragiles sans les endommager. Dans le domaine de la santé, il pourrait aider les médecins en tenant des instruments avec précision pendant une opération chirurgicale. Ce potentiel s’étend bien au-delà des bras robotiques dans les laboratoires ou des bras automatisés dans les usines ; il s’agit de créer des machines qui comprennent et réagissent à leur environnement physique en temps réel.

L’approche de Meta envers l’IA incarnée

Meta se concentre sur trois domaines clés pour rapprocher l’IA incarnée d’une touche humaine. Premièrement, l’entreprise développe des technologies de détection tactile avancées qui permettent aux machines de détecter des choses comme la pression, la texture et la température. Deuxièmement, Meta crée des modèles de perception tactile qui permettent à l’IA de comprendre et de réagir à ces signaux. Enfin, Meta construit une plate-forme de développement tactile qui intègre plusieurs capteurs avec ces modèles de perception, offrant un système complet pour la construction d’une IA dotée de toucher. Voici comment Meta impulse les progrès de l’IA incarnée dans chacun de ces domaines.

Meta Digit 360 : Détection tactile de niveau humain

Meta a introduit Digit 360 fingertip, une technologie de détection tactile conçue pour donner à l’IA incarnée un sens du toucher humain. Avec plus de 18 fonctionnalités de détection, elle peut détecter les vibrations, la chaleur et même les produits chimiques sur les surfaces. Équipée d’un circuit d’IA, le fingertip traite les données de toucher instantanément, permettant des réponses rapides aux entrées comme la chaleur d’une cuisinière ou la piqûre d’une aiguille. Cette technologie agit comme un « système nerveux périphérique » dans l’IA incarnée, simulant des réponses réflexes similaires à celles des humains. Meta a développé ce fingertip avec un système optique unique contenant plus de 8 millions de taxels qui peuvent capturer le toucher sous tous les angles. Il détecte des détails infimes, jusqu’à des forces aussi faibles qu’un millinewton, donnant à l’IA incarnée une sensibilité fine à son environnement.

Meta Sparsh : La fondation de la perception tactile

Meta améliore les capacités de perception tactile pour aider l’IA à comprendre et à réagir aux sensations physiques. Nommé d’après le mot sanskrit pour « toucher », Sparsh agit comme un « cerveau tactile » pour l’IA incarnée. Le modèle permet aux machines d’interpréter des signaux tactiles complexes comme la pression et la prise.

L’une des fonctionnalités remarquables de Sparsh est sa polyvalence. Les systèmes tactiles traditionnels emploient des modèles distincts pour chaque tâche, s’appuyant lourdement sur des données étiquetées et des capteurs spécifiques. Sparsh change entièrement cette approche. En tant que modèle à usage général, il s’adapte à divers capteurs et tâches. Il apprend les modèles de toucher en utilisant l’apprentissage auto-supervisé (SSL) sur une base de données massive de plus de 460 000 images tactiles — sans avoir besoin de données étiquetées.

Meta a également introduit TacBench, une nouvelle référence avec six tâches basées sur le toucher pour évaluer les capacités de Sparsh. Meta affirme que Sparsh a surpassé les modèles traditionnels de 95,1 %, en particulier dans les scénarios à faible quantité de données. Les versions de Sparsh basées sur les architectures I-JEPA et DINO de Meta ont démontré des capacités remarquables dans des tâches telles que l’estimation de la force, la détection de glissement et la manipulation complexe.

Meta Digit Plexus : Une plate-forme pour le développement de systèmes tactiles

Meta a introduit Digit Plexus pour intégrer les technologies de détection et les modèles de perception tactile pour créer un système d’IA incarnée. La plate-forme combine les capteurs de fingertip et de paume dans une main robotique unique pour permettre des réponses de toucher plus coordonnées. Cette configuration permet à l’IA incarnée de traiter les rétroactions sensorielles et d’ajuster ses actions en temps réel, comme le ferait une main humaine.

En standardisant les rétroactions de toucher sur toute la main, Digit Plexus améliore la précision et le contrôle de l’IA incarnée. Ce développement est particulièrement vital dans des domaines tels que la fabrication et la santé, où la manipulation soigneuse est essentielle. La plate-forme relie des capteurs comme le fingertip et ReSkin à un système de contrôle, simplifiant la collecte de données, le contrôle et l’analyse — le tout via un seul câble.

Meta publie les conceptions logicielles et matérielles de Digit Plexus à la communauté open-source. L’objectif est de favoriser la collaboration et d’accélérer la recherche dans l’IA incarnée, impulsant l’innovation et les progrès dans ces domaines.

Promouvoir la recherche et le développement de l’IA incarnée

Meta avance non seulement la technologie mais aussi les ressources pour promouvoir la recherche et le développement de l’IA incarnée. Une initiative clé est le développement de références pour évaluer les modèles d’IA. L’une de ces références, PARTNR (Planning And Reasoning Tasks in humaN-Robot collaboration), évalue la façon dont les modèles d’IA interagissent avec les humains lors de tâches ménagères. En utilisant le simulateur Habitat 3.0, PARTNR fournit un environnement réaliste où les robots aident à des tâches comme le nettoyage et la cuisine. Avec plus de 100 000 tâches basées sur le langage, il vise à accélérer les progrès dans l’IA incarnée.

En plus des initiatives internes, Meta collabore avec des organisations comme GelSight Inc. et Wonik Robotics pour accélérer l’adoption des technologies de détection tactile. GelSight distribuera les capteurs Digit 360, tandis que Wonik Robotics produira la main Allegro, qui intègre la technologie Digit Plexus. En rendant ces technologies disponibles via des plate-formes open-source et des partenariats, Meta aide à créer un écosystème qui pourrait conduire à des innovations dans les domaines de la santé, de la fabrication et de l’assistance domestique.

En résumé

Meta avance l’IA incarnée, la faisant aller au-delà de la simple vue et de l’ouïe pour inclure le sens du toucher. Avec des innovations comme Digit 360 et Sparsh, les systèmes d’IA acquièrent la capacité de ressentir et de réagir à leur environnement avec précision. En partageant ces technologies avec la communauté open-source et en collaborant avec des organisations clés, Meta aide à accélérer le développement de la détection tactile. Ce progrès pourrait conduire à des avancées dans des domaines tels que la santé, la fabrication et l’assistance à domicile, rendant l’IA plus capable et réactive dans les tâches du monde réel.