Avanço em “Spatial-AI” Permite que Robôs Percebam Ambientes Físicos como os Humanos

Engenheiros do MIT estão trabalhando para dar aos robôs a capacidade de seguir comandos de alto nível, como ir a outro quarto para buscar um item para uma pessoa. Para que isso seja possível, os robôs precisarão ter a capacidade de perceber seus ambientes físicos de forma semelhante à como os humanos o fazem.

Luca Carlone é professor assistente de aeronáutica e astronáutica no MIT.

“Para tomar qualquer decisão no mundo, você precisa ter um modelo mental do ambiente ao seu redor”, diz Carlone. “Isso é algo tão fácil para os humanos. Mas para os robôs é um problema dolorosamente difícil, onde é sobre transformar valores de pixel que eles veem através de uma câmera em uma compreensão do mundo.”

Para enfrentar esse desafio, os pesquisadores modelaram uma representação da percepção espacial para robôs com base em como os humanos percebem e navegam seus ambientes físicos.

Gráficos de Cena Dinâmicos 3D

O novo modelo é chamado de Gráficos de Cena Dinâmicos 3D, e ele permite que um robô gere um mapa 3D de seu ambiente físico, incluindo objetos e suas etiquetas semânticas. O robô também pode mapear pessoas, quartos, paredes e outras estruturas no ambiente.

O modelo então permite que o robô extraia informações do mapa 3D, informações que podem ser usadas para localizar objetos, quartos e o movimento de pessoas.

“Essa representação compacta do ambiente é útil porque permite que nosso robô tome decisões rápidas e planeje seu caminho”, diz Carlone. “Isso não está muito longe do que fazemos como humanos. Se você precisa planejar um caminho de sua casa para o MIT, você não planeja cada posição que precisa tomar. Você apenas pensa no nível de ruas e marcos, o que ajuda a planejar sua rota mais rapidamente.”

De acordo com Carlone, robôs que confiam nesse modelo seriam capazes de fazer muito mais do que apenas tarefas domésticas. Eles também poderiam ser usados para habilidades de alto nível e trabalhar ao lado de pessoas em fábricas, ou ajudar a localizar sobreviventes de um local de desastre.

https://www.youtube.com/watch?time_continue=39&v=SWbofjhyPzI&feature=emb_logo

Métodos Atuais vs Novo Modelo

Os métodos atuais para visão robótica e navegação se concentram principalmente em mapeamento 3D que permite que os robôs reconstruam seu ambiente em três dimensões em tempo real, ou segmentação semântica, que ocorre quando os robôs classificam recursos no ambiente como objetos semânticos, como um carro versus uma bicicleta. A segmentação semântica é frequentemente feita em imagens 2D.

O modelo recém-desenvolvido de percepção espacial é o primeiro do seu tipo a gerar um mapa 3D do ambiente em tempo real e etiquetar objetos, pessoas e estruturas dentro do mapa 3D ao mesmo tempo.

Para alcançar esse novo modelo, os pesquisadores confiaram em Kimera, uma biblioteca de código aberto. Kimera foi desenvolvida anteriormente pela mesma equipe para construir um modelo geométrico 3D de um ambiente, enquanto codifica o que o objeto provavelmente é, como uma cadeira versus uma mesa.

“Como a criatura mitológica que é uma mistura de diferentes animais, queríamos que Kimera fosse uma mistura de mapeamento e compreensão semântica em 3D”, diz Carlone.

Kimera usou imagens de uma câmera do robô e medições inerciais de sensores a bordo para reconstruir a cena como uma malha 3D em tempo real. Para fazer isso, Kimera utilizou uma rede neural que foi treinada em milhões de imagens do mundo real. Ela então pôde prever a etiqueta de cada pixel e usar ray-casting para projetá-los em 3D.

Com o uso dessa técnica, o ambiente do robô pode ser mapeado em uma malha 3D onde cada face é codificada por cores, identificando-a como parte de objetos, estruturas ou pessoas no ambiente.

Malha 3D para Gráficos de Cena Dinâmicos 3D

Como o modelo de malha semântica 3D requer muita potência computacional e é demorado, os pesquisadores usaram Kimera para desenvolver algoritmos que resultaram em gráficos de cena dinâmicos 3D.

A malha semântica 3D é dividida em camadas semânticas distintas, e o robô então pode ver uma cena através de uma camada. As camadas vão desde objetos e pessoas até espaços abertos e estruturas, quartos, corredores, halls e prédios inteiros.

Esse método de camadas permite que o robô estreite seu foco em vez de ter que analisar bilhões de pontos e faces. Esse método de camadas também permite que os algoritmos rastreiem humanos e seu movimento dentro do ambiente em tempo real.

O novo modelo foi testado em um simulador foto-realista que simula um robô navegando em um ambiente de escritório com pessoas em movimento.

“Estamos essencialmente permitindo que os robôs tenham modelos mentais semelhantes aos que os humanos usam”, diz Carlone. “Isso pode impactar muitas aplicações, incluindo carros autônomos, busca e resgate, manufatura colaborativa e robótica doméstica.

Carlone foi acompanhado pelo autor principal e estudante de pós-graduação do MIT Antoni Rosinol.

“Nossa abordagem só foi possível graças aos recentes avanços no aprendizado profundo e décadas de pesquisa em localização e mapeamento simultâneos”, diz Rosinol. “Com esse trabalho, estamos dando o salto para uma nova era de percepção robótica chamada spatial-AI, que está apenas em sua infância, mas tem um grande potencial em robótica e realidade virtual e aumentada em grande escala.”

A pesquisa foi apresentada na Conferência Virtual de Robótica: Ciência e Sistemas.