Converte LiDAR em Imagens Foto-Realistas com uma Rede Adversária Generativa

Na semana passada, foi divulgado um vídeo mostrando um sistema de piloto automático da Tesla colidindo diretamente com o lado de um veículo parado em uma rodovia em junho de 2021. O fato de o carro ser escuro e difícil de discernir tem provocado discussão sobre as limitações de confiar na visão computacional em cenários de direção autônoma.

Vídeo divulgado em dezembro de 2021 mostra o momento do impacto. Fonte: https://twitter.com/greentheonly/status/1473307236952940548

Embora a compressão de vídeo no vídeo amplamente compartilhado dê uma impressão ligeiramente exagerada de como rapidamente o caminhão imobilizado ‘surgiu’ no motorista neste caso, um vídeo de melhor qualidade do mesmo evento demonstra que um motorista totalmente alerta também teria lutado para responder com algo além de uma guinada tardia ou frenagem semi-eficaz.

O vídeo adiciona à controvérsia em torno da decisão da Tesla de remover sensores de radar para o Autopilot, anunciada em maio de 2021, e sua postura em favor de sistemas baseados em visão sobre outras tecnologias de eco-localização, como o LiDAR.

Por coincidência, um novo artigo de pesquisa de Israel esta semana oferece uma abordagem para combinar os domínios do LiDAR e da visão computacional, convertendo nuvens de pontos do LiDAR em imagens foto-realistas com o uso de uma Rede Adversária Generativa (GAN).

No novo projeto de Israel, carros pretos identificados em imagens do LiDAR são convertidos em um cenário ‘de dia’ para análises baseadas em visão computacional, semelhante à abordagem que a Tesla está perseguindo para o desenvolvimento de seu sistema Autopilot. Fonte: https://arxiv.org/pdf/2112.11245.pdf

Os autores afirmam:

‘Nossos modelos aprenderam a prever imagens realistas a partir de apenas dados de nuvem de pontos, mesmo imagens com carros pretos.

‘Carros pretos são difíceis de detectar diretamente a partir de nuvens de pontos devido ao seu baixo nível de refletividade. Essa abordagem pode ser usada no futuro para realizar reconhecimento de objetos visuais em imagens foto-realistas geradas a partir de nuvens de pontos do LiDAR.’

Imagens Foto-Realistas Baseadas em LiDAR

O novo artigo é intitulado Gerando Imagens Foto-Realistas a Partir de Nuvens de Pontos do LiDAR com Redes Adversárias Generativas, e vem de sete pesquisadores de três faculdades acadêmicas israelenses, juntamente com seis pesquisadores da Innoviz Technologies, sediada em Israel.

Os pesquisadores se propuseram a descobrir se a imagem sintética baseada em GAN poderia ser produzida a uma taxa adequada a partir das nuvens de pontos geradas por sistemas do LiDAR, de modo que a subsequente sequência de imagens pudesse ser usada em fluxos de trabalho de reconhecimento de objetos e segmentação semântica.

Dados

A ideia central, como em muitos novos [x]>[x] projetos de transliteração de imagens, é treinar um algoritmo em dados emparelhados, onde imagens de nuvem de pontos do LiDAR (que dependem de luz emitida pelo dispositivo) são treinadas contra um quadro correspondente de uma câmera frontal.

Como as filmagens foram feitas durante o dia, onde um sistema de visão computacional pode mais facilmente individuar um veículo preto de outra forma elusivo (como o que a Tesla colidiu em junho), este treinamento deve fornecer um conhecimento central mais resistente a condições escuras.

Os dados foram coletados com um sensor LiDAR InnovizOne, que oferece uma taxa de captura de 10fps ou 15fps, dependendo do modelo.

Dados do LiDAR capturados por um dispositivo Innoviz. Fonte: https://www.youtube.com/watch?v=wmcaf_VpsQI

O conjunto de dados resultante continha cerca de 30.000 imagens e 200.000 pontos 3D coletados. Os pesquisadores realizaram dois testes: um em que os dados da nuvem de pontos carregavam apenas informações de refletividade; e um segundo, em que os dados da nuvem de pontos tinham dois canais, um para refletividade e outro para distância.

Para o primeiro experimento, a GAN foi treinada por 50 épocas, após as quais o superajuste foi visto como um problema.

Imagens criadas pela GAN no primeiro experimento. À esquerda, dados da nuvem de pontos; no meio, quadros reais de filmagens capturadas, usados como conhecimento; à direita, as representações sintéticas criadas pela Rede Adversária Generativa.

Os autores comentam:

‘O conjunto de teste é uma gravação completamente nova que as GANs nunca viram antes do teste. Isso foi previsto usando apenas informações de refletividade da nuvem de pontos.

‘Selecionamos para mostrar quadros com carros pretos porque carros pretos são geralmente difíceis de detectar a partir do LiDAR. Podemos ver que o gerador aprendeu a gerar carros pretos, provavelmente a partir de informações contextuais, porque as cores e as formas exatas dos objetos nas imagens previstas não são idênticas às das imagens reais.’

Para o segundo experimento, os autores treinaram a GAN por 40 épocas com um tamanho de lote de 1, resultando em uma apresentação semelhante de ‘carros pretos representativos’ obtidos principalmente do contexto. Essa configuração também foi usada para gerar um vídeo que mostra as imagens geradas pela GAN (ilustradas acima, na imagem de amostra abaixo) juntamente com as imagens de conhecimento.

Avaliação

O processo usual de avaliação e comparação com o estado da arte existente não foi possível com este projeto, devido à sua natureza única. Em vez disso, os pesquisadores conceberam uma métrica personalizada relacionada à extensão com que os carros (partes menores e passageiras do vídeo de origem) são representados nas imagens de saída.

Eles selecionaram 100 pares de imagens LiDAR/geradas de cada conjunto e efetivamente dividiram o número de imagens de carros presentes nas imagens de origem pelo número presente nos dados sintéticos produzidos, produzindo uma escala métrica de 0 a 1.

Os autores afirmam:

‘A pontuação em ambos os experimentos foi entre 0,7 e 0,8. Considerando o fato de que a qualidade geral das imagens previstas é menor do que a das imagens reais (é mais difícil em geral detectar objetos em imagens de menor qualidade), essa pontuação indica que a grande maioria dos carros presentes no conhecimento também está presente nas imagens previstas.’

Os pesquisadores concluíram que a detecção de veículos pretos, que é um problema tanto para sistemas baseados em visão computacional quanto para o LiDAR, pode ser afetada identificando uma falta de dados para seções da imagem:

‘O fato de que, nas imagens previstas, as informações de cor e as formas exatas dos objetos não são idênticas às do conhecimento, sugere que a previsão de carros pretos é derivada principalmente de informações contextuais e não da refletividade do LiDAR dos pontos em si.

‘Sugerimos que, além do sistema LiDAR convencional, um segundo sistema que gera imagens foto-realistas a partir de nuvens de pontos do LiDAR execute simultaneamente o reconhecimento de objetos visuais em tempo real.’

Os pesquisadores pretendem desenvolver o trabalho no futuro, com conjuntos de dados maiores.

Latência e a Pilha de Processamento SDV Congestionada

Um comentarista no post do Twitter amplamente compartilhado do acidente do Autopilot estimou que, viajando a cerca de 120 km/h (110 pés por segundo), uma alimentação de vídeo operando a 20fps cobriria apenas 1,67 metros por quadro. No entanto, se o veículo estivesse executando o hardware e software mais recentes da Tesla, a taxa de quadros seria de 36fps (para a câmera principal), o que define a taxa de avaliação em 110 pés por segundo (três pés por quadro).

Além do custo e ergonomia, o problema de usar o LiDAR como uma corrente de dados suplementar é a escala maciça do ‘engarrafamento de informações’ de entrada de sensor para a estrutura de processamento do SDV. Combinado com a natureza crítica da tarefa, isso parece ter forçado o radar e o LiDAR a sair da pilha do Autopilot em favor de métodos de avaliação baseados em imagem.

Portanto, parece improvável que um sistema que use o LiDAR – que por si só adicionaria a uma gargalo de processamento no Autopilot – para inferir imagens foto-realistas seja viável do ponto de vista da Tesla.

O fundador da Tesla, Elon Musk, não é um crítico em geral do LiDAR, que ele aponta é usado pela SpaceX para procedimentos de acoplamento, mas considera que a tecnologia é ‘inútil’ para veículos autônomos. Musk sugere que uma longitude de onda que penetre oclusões, como a precisão de radar de ~4mm, seria mais útil.

No entanto, desde junho de 2021, os veículos da Tesla não são equipados com radar. Até o momento, não parece haver muitos projetos projetados para gerar fluxos de imagens a partir do radar da mesma forma que o projeto israelense atual tenta (embora o Departamento de Energia dos EUA patrocinou uma tentativa de imagens de GAN originadas de radar em 2018).

Publicado pela primeira vez em 23 de dezembro de 2021.