Faire progresser l'IA incarnée : comment Meta apporte à l'IA un toucher et une dextérité semblables à ceux de l'humain

L’IA a fait de grands progrès dans la perception visuelle et le traitement du langage. Cependant, ces capacités ne suffisent pas à créer des systèmes capables d’interagir avec le monde physique. Les humains manipulent des objets ou effectuent des mouvements contrôlés à l’aide du sens du toucher. Nous ressentons la texture, ressentons la température et évaluons le poids pour guider chaque action avec précision. Ce retour tactile nous permet de manipuler des objets fragiles, d’utiliser des outils avec contrôle et d’effectuer des tâches complexes en douceur.

Meta, réputé pour ses travaux en réalité virtuelle et augmentée, relève aujourd'hui le défi de créer une IA capable d'interagir avec le monde physique à la manière d'un humain. Grâce à son initiative FAIR Robotics, Meta développe des outils et des frameworks open source pour améliorer le sens du toucher et l'agilité physique des robots. Ces efforts pourraient mener au développement d'une IA incarnée : des systèmes capables non seulement de voir, mais aussi de ressentir et de manipuler des objets comme le font les humains.

Qu’est-ce que l’IA incarnée ?

IA incarnée combine l'interaction physique avec l'intelligence artificielle, permettant aux machines de détecter, de réagir et d'interagir naturellement avec leur environnement. Au lieu de simplement « voir » ou « entendre » des entrées, il permet aux systèmes d'IA de ressentir et agir dans Le monde. Imaginez un robot capable de détecter la pression qu'il applique sur un objet, d'ajuster sa prise et de se déplacer avec agilité. L'IA incarnée déplace l'IA des écrans et des haut-parleurs vers le monde physique, la rendant capable de manipuler des objets, d'effectuer des tâches et d'interagir de manière plus significative avec les gens.

Par exemple, un robot construit sur l'IA incorporée pourrait aider une personne âgée à ramasser des objets fragiles sans les endommager. Dans le domaine de la santé, il pourrait aider les médecins à tenir des instruments avec précision pendant une intervention chirurgicale. Ce potentiel va bien au-delà des bras robotisés dans les laboratoires ou des bras automatisés dans les usines ; il s'agit de créer des machines qui comprennent et réagissent à leur environnement physique en temps réel.

L'approche de Meta envers l'IA incarnée

Meta se concentre sur trois domaines clés Pour rapprocher l'IA incarnée du toucher humain. Premièrement, l'entreprise développe des technologies de détection tactile avancées qui permettent aux machines de détecter des éléments tels que la pression, la texture et la température. Deuxièmement, Meta crée des modèles de perception tactile permettant à l'IA de comprendre et de réagir à ces signaux. Enfin, Meta développe une plateforme de développement tactile intégrant plusieurs capteurs à ces modèles de perception, offrant ainsi un système complet pour la création d'IA tactile. Voici comment Meta fait progresser l'IA incarnée dans chacun de ces domaines.

Meta Digit 360 : détection tactile au niveau humain

Meta a introduit Doigt 360°, une technologie de détection tactile conçue pour donner à l'IA incarnée un sens du toucher semblable à celui de l'homme. Avec plus de 18 fonctions de détection, elle peut détecter les vibrations, la chaleur et même les produits chimiques sur les surfaces. Équipé d'une puce d'IA, le bout des doigts traite instantanément les données tactiles, permettant des réponses rapides aux entrées telles que la chaleur d'un poêle ou la piqûre aiguë d'une aiguille. Cette technologie agit comme un « système nerveux périphérique » au sein de l'IA incarnée, simulant des réponses réflexives similaires aux réactions humaines. Meta a développé ce bout des doigts avec un système optique unique contenant plus de 8 millions de taxels qui peuvent capturer le toucher sous tous les angles. Il détecte les plus petits détails, jusqu'à des forces aussi petites qu'un millinewton, donnant à l'IA incarnée une sensibilité finement réglée à son environnement.

Meta Sparsh : les fondements de la perception tactile

Meta améliore les capacités de perception tactile pour aider l'IA à comprendre et à répondre aux sensations physiques. Nommé d'après le mot sanskrit pour « toucher », Étincelant agit comme un « cerveau tactile » pour l’IA intégrée. Le modèle permet aux machines d’interpréter des signaux tactiles complexes comme la pression et la préhension.

L'une des caractéristiques remarquables de Sparsh est sa polyvalence. Les systèmes tactiles traditionnels utilisent des modèles distincts pour chaque tâche, s'appuyant fortement sur des données étiquetées et des capteurs spécifiques. Sparsh change complètement cette approche. En tant que modèle à usage général, il s'adapte à divers capteurs et tâches. Il apprend les modèles tactiles à l'aide de apprentissage auto-supervisé (SSL) sur une base de données massive de plus de 460,000 XNUMX images tactiles, sans avoir besoin de données étiquetées.

Meta a également présenté TacBench, un nouveau benchmark avec six tâches tactiles pour évaluer les capacités de Sparsh. Meta affirme que Sparsh a surpassé les modèles traditionnels de 95.1 %, en particulier dans les scénarios à faible volume de données. Les versions de Sparsh construites sur les architectures I-JEPA et DINO de Meta ont démontré des capacités remarquables dans des tâches telles que l'estimation de la force, la détection des glissements et la manipulation complexe.

Meta Digit Plexus : une plateforme pour le développement de systèmes tactiles

Meta a introduit Digit Plexus pour intégrer des technologies de détection et des modèles de perception tactile afin de créer un système d'IA incarné. La plateforme combine des capteurs du bout des doigts et de la paume au sein d'une seule main robotique pour permettre des réponses tactiles plus coordonnées. Cette configuration permet à l'IA incarnée de traiter les retours sensoriels et d'ajuster ses actions en temps réel, comme la façon dont une main humaine se déplace et réagit.

En standardisant le retour tactile sur toute la main, Plexus digital améliore la précision et le contrôle de l'IA intégrée. Ce développement est particulièrement vital dans des domaines tels que la fabrication et la santé, où une manipulation soigneuse est essentielle. La plateforme relie des capteurs tels que le bout du doigt et ReSkin à un système de contrôle, simplifiant la collecte, le contrôle et l'analyse des données, le tout via un seul câble.

Meta met à disposition de la communauté open source les conceptions logicielles et matérielles de Digit Plexus. L'objectif est de favoriser la collaboration et d'accélérer la recherche sur l'IA incarnée, en stimulant l'innovation et le progrès dans ces domaines.

Promouvoir la recherche et le développement de l'IA intégrée

Meta fait progresser non seulement la technologie, mais aussi les ressources pour promouvoir la recherche et le développement de l'IA incarnée. Une initiative clé est le développement de repères pour évaluer les modèles d'IA. L'un de ces repères, PARTENAIRE (Planning And Reasoning Tasks in human-Robot collaboration) évalue la manière dont les modèles d'IA interagissent avec les humains lors des tâches ménagères. Grâce au simulateur Habitat 3.0, PARTNR fournit un environnement réaliste dans lequel les robots participent à des tâches telles que le nettoyage et la cuisine. Avec plus de 100,000 XNUMX tâches basées sur le langage, il vise à accélérer les progrès de l'IA incarnée.

Outre les initiatives internes, Meta collabore avec des organisations telles que GelSight Inc. et Wonik Robotique pour accélérer l’adoption des technologies de détection tactile. GelSight distribuera les capteurs Digit 360, tandis que Wonik Robotics fabriquera la main Allegro, qui intègre la technologie Digit Plexus. En rendant ces technologies disponibles via des plateformes open source et des partenariats, Meta contribue à créer un écosystème qui pourrait conduire à des innovations dans les domaines de la santé, de la fabrication et de l’assistance domestique.

Conclusion

Meta fait progresser l’IA incarnée, en l’élargissant au-delà de la vue et de l’ouïe pour inclure le sens du toucher. Grâce à des innovations comme Digit 360 et Sparsh, les systèmes d’IA acquièrent la capacité de ressentir et de réagir à leur environnement avec précision. En partageant ces technologies avec la communauté open source et en s’associant à des organisations clés, Meta contribue à accélérer le développement de la détection tactile. Ces progrès pourraient conduire à des percées dans des domaines tels que la santé, la fabrication et l’assistance à domicile, rendant l’IA plus performante et plus réactive dans les tâches du monde réel.