Melhorando a Fotorealismo de Simulações de Direção com Redes Adversárias Generativas

Uma nova iniciativa de pesquisa entre os EUA e a China propôs o uso de Redes Adversárias Generativas (GANs) para aumentar a realidade de simulações de direção.

Em uma abordagem inovadora para o desafio de produzir cenários de direção em primeira pessoa fotorealistas, os pesquisadores desenvolveram um método híbrido que combina as saídas mais fotorealistas de sistemas baseados em CycleGAN com elementos gerados de forma mais convencional, que requerem um maior nível de detalhe e consistência, como marcas de estrada e veículos observados do ponto de vista do motorista.

Gráficos Neurais Gerativos Híbridos (HGNG) oferecem uma nova direção para simulações de direção que retêm a precisão de modelos 3D para elementos essenciais (como marcas de estrada e veículos), enquanto aproveitam as vantagens das GANs na geração de detalhes de fundo e ambientais interessantes e não repetitivos. Fonte

O sistema, chamado Gráficos Neurais Gerativos Híbridos (HGNG), injeta saídas limitadas de um simulador de direção baseado em CGI em um pipeline de GAN, onde o framework SPADE da NVIDIA assume o trabalho de geração de ambiente.

A vantagem, de acordo com os autores, é que os ambientes de direção se tornarão potencialmente mais diversificados, criando uma experiência mais imersiva. Como está, mesmo converter a saída de CGI para renderização neural fotorealista não pode resolver o problema da repetição, pois a filmagem original que entra no pipeline neural é limitada pelos limites dos ambientes do modelo e sua tendência a repetir texturas e malhas.

Imagens convertidas do artigo de 2021 ‘Melhorando a fotorealismo’, que ainda dependem de filmagens renderizadas por CGI, incluindo o fundo e detalhes ambientais, limitando a variedade do ambiente na experiência simulada. Fonte: https://www.youtube.com/watch?v=P1IcaBn3ej0

O artigo afirma*:

‘A fidelidade de um simulador de direção convencional depende da qualidade de seu pipeline de gráficos computacionais, que consiste em modelos 3D, texturas e um motor de renderização. Modelos 3D e texturas de alta qualidade requerem artesanato, enquanto o motor de renderização deve executar cálculos físicos complicados para a representação realista de luz e sombra.’

O novo artigo é intitulado Fotorealismo em Simulações de Direção: Mesclando Síntese de Imagem Adversária Generativa com Renderização, e vem de pesquisadores do Departamento de Engenharia Elétrica e Computacional da Universidade Estadual de Ohio, e Chongqing Changan Automobile Co Ltd em Chongqing, China.

Material de Fundo

HGNG transforma o layout semântico de uma cena gerada por CGI, misturando material de primeiro plano parcialmente renderizado com ambientes gerados por GAN. Embora os pesquisadores tenham experimentado com vários conjuntos de dados para treinar os modelos, o mais eficaz se provou ser o KITTI Vision Benchmark Suite, que apresenta principalmente capturas de material de ponto de vista do motorista da cidade de Karlsruhe.

HGNG gera um layout de segmentação semântica a partir da saída renderizada por CGI e, em seguida, intercala SPADE, com codificações de estilo variadas, para criar imagens de fundo fotorealistas aleatórias e diversificadas, incluindo objetos próximos em cenas urbanas. O novo artigo afirma que padrões repetitivos, comuns em pipelines de CGI com recursos limitados, ‘quebram a imersão’ para motoristas humanos que usam um simulador, e que os fundos mais variados que uma GAN pode fornecer aliviam esse problema.

Os pesquisadores experimentaram com GAN Condicionais (cGAN) e CYcleGAN (CyGAN) como redes gerativas, encontrando que cada uma tem pontos fortes e fracos: cGAN requer conjuntos de dados emparelhados, e CyGAN não. No entanto, CyGAN não pode atualmente superar o estado da arte em simuladores convencionais, dependendo de melhorias adicionais em adaptação de domínio e consistência cíclica. Portanto, cGAN, com seus requisitos adicionais de dados emparelhados, obtém os melhores resultados no momento.

A arquitetura conceitual do HGNG.

Na pipeline de gráficos neurais do HGNG, representações 2D são formadas a partir de cenas sintetizadas por CGI. Os objetos que são passados para o fluxo de GAN a partir do renderizado de CGI são limitados a ‘elementos essenciais’, incluindo marcas de estrada e veículos, que uma GAN não pode renderizar atualmente com consistência e integridade temporais adequadas para um simulador de direção. A imagem sintetizada por cGAN é então mesclada com a renderização parcial baseada em física.

Testes

Para testar o sistema, os pesquisadores usaram SPADE, treinado em Cityscapes, para converter o layout semântico da cena em saída fotorealista. A fonte de CGI veio do simulador de direção de código aberto CARLA, que aproveita o Unreal Engine 4 (UE4).

Saída do simulador de direção de código aberto CARLA. Fonte: https://arxiv.org/pdf/1711.03938.pdf

O mecanismo de sombreamento e iluminação do UE4 forneceu o layout semântico e as imagens parcialmente renderizadas, com apenas veículos e marcas de estrada de saída. A mesclagem foi alcançada com uma instância de GP-GAN treinada no Transient Attributes Database, e todas as experimentações foram executadas em um NVIDIA RTX 2080 com 8 GB de GDDR6 VRAM.

Os pesquisadores testaram a retenção semântica – a capacidade da imagem de saída de corresponder à máscara de segmentação semântica inicial pretendida como modelo para a cena.

Nas imagens de teste acima, vemos que na imagem ‘apenas renderizada’ (inferior esquerda), a renderização completa não obtém sombras plausíveis. Os pesquisadores observam que aqui (círculo amarelo) as sombras das árvores que caem na calçada foram classificadas erroneamente pelo DeepLabV3 (o framework de segmentação semântica usado para essas experimentações) como ‘conteúdo de estrada’.

Na coluna do meio, vemos que os veículos criados por cGAN não têm definição consistente o suficiente para serem usados em um simulador de direção (círculo vermelho). Na coluna da direita, a imagem mesclada corresponde à definição semântica original, enquanto retém elementos baseados em CGI essenciais.

Para avaliar a realidade, os pesquisadores usaram Frechet Inception Distance (FID) como uma métrica de desempenho, pois pode operar em dados emparelhados ou não emparelhados.

Três conjuntos de dados foram usados como referência: Cityscapes, KITTI e ADE20K.

As imagens de saída foram comparadas entre si usando escores FID, e contra o pipeline baseado em física (ou seja, CGI), enquanto a retenção semântica também foi avaliada.

Nos resultados acima, que se referem à retenção semântica, escores mais altos são melhores, com a abordagem baseada em pirâmide de cGAN (uma das várias pipelines testadas pelos pesquisadores) obtendo o escore mais alto.

Os resultados mostrados acima se referem aos escores FID, com o HGNG obtendo o escore mais alto por meio do uso do conjunto de dados KITTI.

O método ‘Apenas renderizar’ (denotado como [23]) se refere à saída do CARLA, um fluxo de CGI que não é esperado para ser fotorealista.

Resultados qualitativos no motor de renderização convencional (‘c’ na imagem acima) exibem informações de fundo distante não realistas, como árvores e vegetação, enquanto requerem modelos detalhados e carregamento de malha em tempo real, bem como outros procedimentos intensivos de processador. No meio (b), vemos que o cGAN não consegue obter definição adequada para os elementos essenciais, carros e marcas de estrada. Na saída mesclada proposta (a), a definição de veículos e marcas de estrada é boa, enquanto o ambiente é diverso e fotorealista.

O artigo conclui sugerindo que a consistência temporal da seção gerada por GAN do pipeline de renderização poderia ser aumentada por meio do uso de conjuntos de dados urbanos maiores, e que trabalhos futuros nessa direção poderiam oferecer uma alternativa realista e diversa aos caros transformadores neurais de fluxos baseados em CGI, enquanto fornecem maior realismo e diversidade.

* Minha conversão das citações em linha dos autores para hiperlinks.

Publicado pela primeira vez em 23 de julho de 2022.