Avançando a IA Encarnada: Como a Meta está trazendo o Toque e a Destreza Humanos para a IA

A IA avançou muito na percepção visual e no processamento de linguagem. No entanto, essas habilidades não são suficientes para construir sistemas que possam interagir com o mundo físico. Os humanos lidam com objetos ou fazem movimentos controlados usando o sentido do toque. Sentimos a textura, sentimos a temperatura e avaliamos o peso para guiar cada ação com precisão. Esse feedback tátil nos permite manipular itens frágeis, usar ferramentas com controle e realizar tarefas intricadas suavemente.

A Meta, conhecida por seu trabalho em realidade virtual e aumentada, agora está assumindo o desafio de criar IA que possa interagir com o mundo físico de forma semelhante à humana. Por meio de sua iniciativa FAIR Robotics, a Meta está desenvolvendo ferramentas e estruturas de código aberto para aprimorar o sentido do toque e a agilidade física dos robôs. Esses esforços podem levar ao desenvolvimento de IA encarnada — sistemas que não apenas veem, mas também sentem e manipulam objetos como os humanos fazem.

O que é IA Encarnada?

IA Encarnada combina interação física com inteligência artificial, permitindo que as máquinas sintam, respondam e interajam naturalmente com seu entorno. Em vez de apenas “ver” ou “ouvir” entradas, ela permite que os sistemas de IA sintam e ajam no mundo. Pense em um robô que pode sentir a pressão que aplica a um objeto, ajustar sua pegada e se mover com agilidade. A IA Encarnada move a IA das telas e alto-falantes para o mundo físico, tornando-a capaz de manipular objetos, realizar tarefas e interagir de forma mais significativa com as pessoas.

Por exemplo, um robô construído com base na IA Encarnada pode ajudar uma pessoa idosa a pegar itens frágeis sem danificá-los. Na saúde, pode ajudar os médicos a segurar instrumentos com precisão durante a cirurgia. Esse potencial vai muito além de braços robóticos em laboratórios ou braços automatizados em fábricas; é sobre criar máquinas que entendam e respondam ao seu ambiente físico em tempo real.

A Abordagem da Meta para a IA Encarnada

A Meta está se concentrando em três áreas-chave para trazer a IA encarnada para um toque semelhante ao humano. Primeiro, a empresa está desenvolvendo tecnologias de senso tátil avançadas que permitem que as máquinas detectem coisas como pressão, textura e temperatura. Em segundo lugar, a Meta está criando modelos de percepção tátil que permitem que a IA entenda e reaja a esses sinais. Por fim, a Meta está construindo uma plataforma de desenvolvimento tátil que integra vários sensores com esses modelos de percepção, oferecendo um sistema completo para construir IA habilitada para toque. Aqui está como a Meta está impulsionando o progresso na IA encarnada em cada uma dessas áreas.

Meta Digit 360: Senso Tátil de Nível Humano

A Meta introduziu Digit 360 fingertip, uma tecnologia de senso tátil projetada para dar à IA encarnada um senso de toque semelhante ao humano. Com mais de 18 recursos de senso, ele pode detectar vibrações, calor e até mesmo substâncias químicas em superfícies. Equipado com um chip de IA, o fingertip processa dados de toque instantaneamente, permitindo respostas rápidas a entradas como o calor de uma estufa ou a picada aguda de uma agulha. Essa tecnologia atua como um “sistema nervoso periférico” dentro da IA encarnada, simulando respostas reflexivas semelhantes às reações humanas. A Meta desenvolveu esse fingertip com um sistema óptico único que contém mais de 8 milhões de taxels que podem capturar o toque de todos os ângulos. Ele sente detalhes minúsculos, até forças tão pequenas quanto um milinewton, dando à IA encarnada uma sensibilidade finamente ajustada ao seu ambiente.

Meta Sparsh: A Fundação para a Percepção Tátil

A Meta está aprimorando as capacidades de percepção tátil para ajudar a IA a entender e responder a sensações físicas. Nomeado após a palavra sânscrita para “toque”, Sparsh atua como um “cérebro tátil” para a IA encarnada. O modelo permite que as máquinas interpretem sinais táteis complexos como pressão e pegada.

Uma das características destacadas do Sparsh é sua versatilidade. Sistemas táteis tradicionais empregam modelos separados para cada tarefa, dependendo fortemente de dados rotulados e sensores específicos. O Sparsh muda completamente essa abordagem. Como um modelo de propósito geral, ele se adapta a vários sensores e tarefas. Ele aprende padrões de toque usando aprendizado auto-supervisionado (SSL) em um banco de dados maciço de mais de 460.000 imagens táteis — sem precisar de dados rotulados.

A Meta também introduziu TacBench, um novo benchmark com seis tarefas baseadas em toque para avaliar as habilidades do Sparsh. A Meta afirma que o Sparsh superou os modelos tradicionais em 95,1%, especialmente em cenários de baixo dados. Versões do Sparsh construídas nas arquiteturas I-JEPA e DINO da Meta demonstraram habilidades notáveis em tarefas como estimação de força, detecção de escorregamento e manipulação complexa.

Meta Digit Plexus: Uma Plataforma para Desenvolvimento de Sistemas Táteis

A Meta introduziu o Digit Plexus para integrar tecnologias de senso e modelos de percepção tátil para criar um sistema de IA encarnada. A plataforma combina sensores de fingertip e palma dentro de uma mão robótica para permitir respostas de toque mais coordenadas. Esse setup permite que a IA encarnada processe feedback sensorial e ajuste suas ações em tempo real, como a mão humana se move e reage.

Ao padronizar o feedback de toque em toda a mão, o Digit Plexus melhora a precisão e o controle da IA encarnada. Esse desenvolvimento é especialmente vital em campos como manufatura e saúde, onde o manuseio cuidadoso é essencial. A plataforma liga sensores como o fingertip e ReSkin a um sistema de controle, simplificando a coleta de dados, controle e análise — tudo por meio de um único cabo.

A Meta está liberando os designs de software e hardware para o Digit Plexus para a comunidade de código aberto. O objetivo é fomentar a colaboração e acelerar a pesquisa em IA encarnada, impulsionando a inovação e o progresso nesses campos.

Promovendo Pesquisa e Desenvolvimento de IA Encarnada

A Meta está avançando não apenas na tecnologia, mas também nos recursos para promover a pesquisa e o desenvolvimento de IA encarnada. Uma iniciativa-chave é o desenvolvimento de benchmarks para avaliar modelos de IA. Um desses benchmarks, PARTNR (Planning And Reasoning Tasks in humaN-Robot collaboration), avalia como os modelos de IA interagem com os humanos durante tarefas domésticas. Usando o simulador Habitat 3.0, o PARTNR fornece um ambiente realista onde os robôs assistem com tarefas como limpeza e cozimento. Com mais de 100.000 tarefas baseadas em linguagem, ele visa acelerar o progresso na IA encarnada.

Além das iniciativas internas, a Meta está colaborando com organizações como GelSight Inc. e Wonik Robotics para acelerar a adoção de tecnologias de senso tátil. A GelSight irá distribuir sensores Digit 360, enquanto a Wonik Robotics irá fabricar a Allegro Hand, que integra a tecnologia Digit Plexus. Ao tornar essas tecnologias disponíveis por meio de plataformas de código aberto e parcerias, a Meta está ajudando a criar um ecossistema que pode levar a inovações em saúde, manufatura e assistência doméstica.

O Resumo

A Meta está avançando na IA encarnada, levando-a além da visão e do som para incluir o sentido do toque. Com inovações como o Digit 360 e o Sparsh, os sistemas de IA estão ganhando a capacidade de sentir e responder ao seu entorno com precisão. Ao compartilhar essas tecnologias com a comunidade de código aberto e estabelecer parcerias com organizações-chave, a Meta está ajudando a acelerar o desenvolvimento do senso tátil. Esse progresso pode levar a avanços em campos como saúde, manufatura e assistência doméstica, tornando a IA mais capaz e responsiva em tarefas do mundo real.