Projetando Mudanças Climáticas em Fotos com Redes Adversárias Generativas

Uma equipe de pesquisadores do Canadá e dos EUA desenvolveu um método de aprendizado de máquina para superpor os efeitos catastróficos das mudanças climáticas em fotos reais usando Redes Adversárias Generativas (GANs), com o objetivo de reduzir o ‘distanciamento’ – nossa inabilidade de relacionar a cenários hipotéticos ou abstratos sobre mudanças climáticas.

ClimateGAN estima a geometria a partir de um mapa de profundidade calculado antes de adicionar refletividade em uma superfície de água superposta. Fonte: https://arxiv.org/pdf/2110.02871.pdf

O projeto, intitulado ClimateGAN, faz parte de um esforço de pesquisa mais amplo para desenvolver ambientes interativos onde os usuários possam explorar mundos projetados que foram afetados por inundações, calor extremo e outras consequências graves das mudanças climáticas.

Discutindo a motivação por trás da iniciativa, os pesquisadores afirmam:

‘As mudanças climáticas são uma ameaça significativa à humanidade, e as ações necessárias para prevenir suas consequências catastróficas incluem mudanças tanto na elaboração de políticas quanto no comportamento individual. No entanto, tomar ações requer entender os efeitos das mudanças climáticas, mesmo que eles possam parecer abstratos e distantes.

‘Projetar as consequências potenciais de eventos climáticos extremos, como inundações, em lugares familiares pode ajudar a tornar os impactos abstratos das mudanças climáticas mais concretos e encorajar a ação.’

Um objetivo central da iniciativa é permitir que um sistema permita que um usuário insira seu endereço (ou qualquer endereço) e veja uma versão afetada pelas mudanças climáticas da imagem correspondente do Google Street View. No entanto, os algoritmos de transformação por trás do ClimateGAN exigem algum conhecimento estimado de altura para itens na foto, que não está incluído nos metadados que o Google fornece para o Street View, e, portanto, obter tal algoritmo de estimação permanece um desafio contínuo.

Dados e Arquitetura

O ClimateGAN utiliza um pipeline de tradução de imagem para imagem não supervisionado com duas fases: uma camada Masker, que estima onde uma superfície de água nivelada existiria teoricamente na imagem de destino; e um módulo Painter para renderizar realisticamente a água dentro dos limites da máscara estabelecida, e leva em conta a refletividade da geometria não obscurecida restante acima da linha de água.

A arquitetura para o ClimateGAN. A entrada procede por meio de um codificador compartilhado em um processo de mascaramento em três etapas antes de ser passada para o módulo Painter. As duas redes são treinadas independentemente e operam apenas em conjunto durante a geração de novas imagens.

A maioria dos dados de treinamento foi escolhida a partir dos conjuntos de dados CityScapes e Mapillary. No entanto, como os dados existentes para imagens de inundações são relativamente escassos, os pesquisadores combinaram conjuntos de dados existentes disponíveis com um ‘mundo virtual’ novo desenvolvido com o mecanismo de jogo Unity3D.

Cenas do ambiente virtual Unity3D.

O mundo Unity3D contém cerca de 1,5 km de terreno e inclui áreas urbanas, suburbanas e rurais, que os pesquisadores ‘inundaram’. Isso permitiu a geração de imagens ‘antes’ e ‘depois’ para obter mais dados de verdade para o quadro do ClimateGAN.

A unidade Masker adapta o código ADVENT de 2018 para treinamento, adicionando dados adicionais de acordo com as descobertas de 2019 da iniciativa de pesquisa francesa DADA. Os pesquisadores também adicionaram um decodificador de segmentação para alimentar a unidade Masker com informações adicionais sobre a semântica da imagem de entrada (ou seja, informações rotuladas que denotam um domínio, como ‘edifício’).

O decodificador de máscara de inundação calcula uma linha de água viável e é alimentado pelo framework de pintura de baixa resolução de entrada da NVIDIA SPADE.

Clique para ampliar. Juntamente com a segmentação semântica (terceira coluna), as informações do mapa de profundidade permitem delinear a geometria em uma foto, fornecendo uma diretriz para as margens da ‘água de inundação’. Isso pode ser inferido por meio de processos de aprendizado de máquina, embora essas informações estejam sendo cada vez mais incluídas em sensores de dispositivos móveis de consumo. Na linha inferior, vemos que a arquitetura do ClimateGAN renderizou com sucesso uma versão ‘inundada’ da foto original, mesmo que as etapas intermediárias tenham falhado em capturar com precisão a geometria de uma cena complexa.

Embora os pesquisadores tenham usado a GauGAN da NVIDIA, alimentada pela SPADE, para o módulo Painter, foi necessário condicionar a GauGAN na saída da unidade Masker, e não em um mapa de segmentação semântica generalizada, como ocorre no uso normal, desde que as imagens tinham que ser transformadas de acordo com as delimitações da linha de água, e não sujeitas a transformações gerais amplas.

Avaliando a Qualidade

As métricas para avaliar a qualidade das imagens resultantes foram facilitadas por meio da rotulagem de um conjunto de teste de 180 imagens do Google Street View de vários tipos, incluindo cenas urbanas e imagens mais rurais de uma diversidade de locais geográficos. As imagens foram rotuladas manualmente como inundação impossível, inundação obrigatória e inundação possível.

Isso permitiu a formulação de três métricas: taxa de erro (áreas de previsão percebidas por tamanho na imagem transformada), F05 Score e coerência de bordo. Para comparação, os pesquisadores testaram os dados em modelos de tradução de imagem para imagem anteriores, incluindo InstaGAN, CycleGAN e MUNIT.

Nos testes de usuário, o ClimateGAN foi encontrado para alcançar um grau mais alto de realismo do que cinco arquiteturas de tradução de imagem para imagem concorrentes. Azul representa o grau em que os usuários preferiram o ClimateGAN ao método alternativo estudado.

Os pesquisadores admitem que a falta de dados de altura em imagens de origem torna difícil impor arbitrarmente alturas de linha de água em imagens, se o usuário quiser aumentar o ‘fator Roland Emmerich’ um pouco. Eles também admitem que os efeitos de inundação são limitados demais à área de inundação e pretendem investigar métodos para adicionar múltiplos níveis de inundação (ou seja, após a recessão de uma inundação inicial) ao método.

O código do ClimateGAN foi disponibilizado no GitHub, juntamente com exemplos adicionais de imagens renderizadas.

Em outro exemplo, da presença do GitHub para o projeto, a neblina é adicionada a uma imagem de cidade de uma maneira que será familiar à maioria dos profissionais de efeitos visuais – o mapa de profundidade é usado como uma espécie de ‘máscara de branqueamento’ recuante, de modo que a densidade da neblina/nevoeiro aumenta ao longo da distância coberta na foto. Fonte: https://github.com/cc-ai/climategan