Nova Ferramenta Pode Mostrar a Pesquisadores o que os GANs Deixam Fora de uma Imagem

Recentemente, uma equipe de pesquisadores do MIT-IBM Watson AI Lab criou um método para exibir o que uma Rede Adversária Generativa (GAN) deixa de fora de uma imagem quando solicitada a gerar imagens. O estudo foi apelidado de Ver o que um GAN Não Pode Gerar e foi recentemente apresentado na Conferência Internacional de Visão Computacional.

Redes Adversárias Generativas se tornaram mais robustas, sofisticadas e amplamente utilizadas nos últimos anos. Elas se tornaram muito boas em renderizar imagens cheias de detalhes, desde que a imagem seja confinada a uma área relativamente pequena. No entanto, quando os GANs são usados para gerar imagens de cenas e ambientes maiores, eles tendem a não se sair tão bem. Em cenários onde os GANs são solicitados a renderizar cenas cheias de muitos objetos e itens, como uma rua movimentada, os GANs frequentemente deixam de fora muitos aspectos importantes da imagem.

De acordo com o MIT News, a pesquisa foi desenvolvida em parte por David Bau, um estudante de pós-graduação no Departamento de Engenharia Elétrica e Ciência da Computação do MIT. Bau explicou que os pesquisadores geralmente se concentram em refinar o que os sistemas de aprendizado de máquina prestam atenção e discernir como certas entradas podem ser mapeadas para certas saídas. No entanto, Bau também explicou que entender quais dados são ignorados pelos modelos de aprendizado de máquina é frequentemente tão importante quanto e que a equipe de pesquisa espera que suas ferramentas inspirem os pesquisadores a prestar atenção aos dados ignorados.

O interesse de Bau em GANs foi despertado pelo fato de que eles poderiam ser usados para investigar a natureza de caixa preta das redes neurais e para obter uma intuição de como as redes poderiam estar raciocinando. Bau trabalhou anteriormente em uma ferramenta que poderia identificar clusters específicos de neurônios artificiais, rotulando-os como responsáveis pela representação de objetos do mundo real, como livros, nuvens e árvores. Bau também teve experiência com uma ferramenta chamada GANPaint, que permite que os artistas removam e adicionem recursos específicos a fotos usando GANs. De acordo com Bau, a aplicação GANPaint revelou um problema potencial com os GANs, um problema que se tornou aparente quando Bau analisou as imagens. Como Bau disse ao MIT News:

“Meu orientador sempre nos encorajou a olhar além dos números e examinar as imagens reais. Quando olhamos, o fenômeno saltou para fora: as pessoas estavam sendo excluídas seletivamente.”

Embora os sistemas de aprendizado de máquina sejam projetados para extrair padrões de imagens, eles também podem acabar ignorando padrões relevantes. Bau e outros pesquisadores experimentaram treinando GANs em várias cenas internas e externas, mas em todos os tipos de cenas, os GANs deixaram de fora detalhes importantes, como carros, placas de trânsito, pessoas, bicicletas, etc. Isso foi verdadeiro, mesmo quando os objetos deixados de fora eram importantes para a cena em questão.

A equipe de pesquisa hipotetizou que, quando o GAN é treinado em imagens, o GAN pode encontrar mais fácil capturar os padrões da imagem que são mais fáceis de representar, como objetos estacionários grandes, como paisagens e edifícios. Ele aprende esses padrões em vez de outros, mais difíceis de interpretar, como carros e pessoas. É conhecido que os GANs frequentemente omitam detalhes importantes e significativos ao gerar imagens, mas o estudo da equipe do MIT pode ser a primeira vez que os GANs foram demonstrados omitindo classes de objetos inteiras dentro de uma imagem.

A equipe de pesquisa observa que é possível para os GANs alcançar seus objetivos numéricos, mesmo quando deixam de fora objetos que os humanos se importam ao olhar para as imagens. Se as imagens geradas pelos GANs forem usadas para treinar sistemas complexos, como veículos autônomos, os dados de imagem devem ser examinados cuidadosamente, pois há uma preocupação real de que objetos críticos, como placas de trânsito, pessoas e outros carros, possam ser deixados de fora das imagens. Bau explicou que a pesquisa deles mostra por que o desempenho de um modelo não deve ser baseado apenas na precisão:

“Precisamos entender o que as redes estão e não estão fazendo para garantir que elas estejam tomando as decisões que queremos que elas tomem.”