Nova técnica ajuda IA ​​a identificar objetos 3D

Uma nova técnica desenvolvida por pesquisadores da North Carolina State University melhora a capacidade dos programas de inteligência artificial (IA) de identificar objetos 3D. Chamada de MonoCon, a técnica também ajuda a IA a aprender como os objetos 3D se relacionam entre si no espaço usando imagens 2D. 

O MonoCon poderia potencialmente ter uma ampla gama de aplicações, incluindo ajudar veículos autônomos a navegar em torno de outros veículos usando imagens 2D recebidas de uma câmera integrada. Também poderia desempenhar um papel na fabricação e na robótica.

Tianfu Wu é o autor correspondente do trabalho de pesquisa e professor assistente de engenharia elétrica e de computação na North Carolina State University. 

“Vivemos em um mundo 3D, mas quando você tira uma foto, ela registra esse mundo em uma imagem 2D”, diz Wu.

“Os programas de IA recebem informações visuais das câmeras. Portanto, se queremos que a IA interaja com o mundo, precisamos garantir que ela seja capaz de interpretar o que as imagens 2D podem dizer sobre o espaço 3D. Nesta pesquisa, estamos focados em uma parte desse desafio: como podemos fazer com que a IA reconheça com precisão objetos 3D – como pessoas ou carros – em imagens 2D e coloque esses objetos no espaço”, continua Wu. 

Veículos Autônomos

Os veículos autônomos geralmente dependem do lidar para navegar no espaço 3D. O Lidar, que usa lasers para medir a distância, é caro, o que significa que os sistemas autônomos não incluem muita redundância. Colocar dezenas de sensores lidar em um carro sem motorista produzido em massa seria incrivelmente caro. 

“Mas se um veículo autônomo pudesse usar entradas visuais para navegar pelo espaço, você poderia construir em redundância”, diz Wu. “Como as câmeras são significativamente mais baratas do que o lidar, seria economicamente viável incluir câmeras adicionais – criando redundância no sistema e tornando-o mais seguro e robusto.

“Essa é uma aplicação prática. No entanto, também estamos entusiasmados com o avanço fundamental deste trabalho: é possível obter dados 3D de objetos 2D.”

Treinando a IA

O MonoCon pode identificar objetos 3D em imagens 2D antes de colocá-los em uma “caixa delimitadora”, que informa à IA as bordas externas do objeto. 

“O que diferencia nosso trabalho é como treinamos a IA, que se baseia em técnicas de treinamento anteriores”, diz Wu. “Como nos esforços anteriores, colocamos objetos em caixas delimitadoras 3D enquanto treinamos a IA. No entanto, além de pedir à IA para prever a distância da câmera ao objeto e as dimensões das caixas delimitadoras, também pedimos à IA que preveja as localizações de cada um dos oito pontos da caixa e sua distância do centro das caixas delimitadoras. caixa em duas dimensões. Chamamos isso de 'contexto auxiliar' e descobrimos que ele ajuda a IA a identificar e prever objetos 3D com mais precisão com base em imagens 2D.

“O método proposto é motivado por um teorema bem conhecido na teoria da medida, o teorema de Cramér-Wold. Também é potencialmente aplicável a outras tarefas de previsão de resultados estruturados em visão computacional.”

O MonoCon foi testado com um conjunto de dados de benchmark amplamente usado chamado KITTI.

“Na época em que enviamos este artigo, o MonoCon teve um desempenho melhor do que qualquer uma das dezenas de outros programas de IA destinados a extrair dados 3D de automóveis a partir de imagens 2D”, diz Wu.

A equipe agora procurará ampliar o processo com conjuntos de dados maiores.

“Avançando, estamos ampliando isso e trabalhando com conjuntos de dados maiores para avaliar e ajustar o MonoCon para uso em direção autônoma”, diz Wu. “Também queremos explorar aplicações na manufatura, para ver se podemos melhorar o desempenho de tarefas como o uso de braços robóticos.”