Pesquisadores de IA Criam Modelos de Rosto de Jogos de Vídeo 3D a Partir de Fotos de Usuários

Uma equipe de pesquisadores da NetEase, uma empresa chinesa de jogos, criou um sistema que pode extrair automaticamente rostos de fotos e gerar modelos de jogo com os dados de imagem. Os resultados do artigo, intitulado Face-to-Parameter Translation for Game Character Auto-Creation, foram resumidos pela Synced no Medium.

Cada vez mais, os desenvolvedores de jogos estão optando por usar a IA para automatizar tarefas demoradas. Por exemplo, os desenvolvedores de jogos vêm usando algoritmos de IA para ajudar a renderizar os movimentos de personagens e objetos. Outro uso recente da IA por desenvolvedores de jogos é criar ferramentas de personalização de personagens mais poderosas.

A personalização de personagens é uma característica muito amada dos jogos de vídeo de interpretação de papéis, permitindo que os jogadores personalizem seus avatares de jogador de diversas maneiras. Muitos jogadores escolhem fazer com que seus avatares sejam semelhantes a eles mesmos, o que se torna mais alcançável à medida que a sofisticação dos sistemas de personalização de personagens aumenta. No entanto, à medida que essas ferramentas de criação de personagens se tornam mais sofisticadas, elas também se tornam muito mais complexas. Criar um personagem que se pareça consigo mesmo pode levar horas de ajuste de controles e alteração de parâmetros cripticos. A equipe de pesquisa da NetEase visa mudar tudo isso, criando um sistema que analisa uma foto do jogador e gera um modelo do rosto do jogador no personagem do jogo.

A ferramenta de criação de personagem automática é composta por duas metades: um sistema de aprendizado de imitação e um sistema de tradução de parâmetros. O sistema de tradução de parâmetros extrai recursos da imagem de entrada e cria parâmetros para o sistema de aprendizado usar. Esses parâmetros são usados então pelo modelo de aprendizado de imitação para gerar e melhorar iterativamente a representação do rosto de entrada.

O sistema de aprendizado de imitação tem uma arquitetura que simula a forma como o mecanismo de jogo cria modelos de personagens com um estilo constante. O modelo de imitação é projetado para extrair a verdade fundamental do rosto, levando em conta variáveis complexas como barbas, batom, sobrancelhas e penteado. Os parâmetros do rosto são atualizados por meio do processo de descida de gradiente, comparados com a entrada. A diferença entre os recursos de entrada e o modelo gerado é constantemente verificada, e ajustes são feitos no modelo até que o modelo do jogo se alinhe com os recursos de entrada.

Depois que a rede de imitação foi treinada, o sistema de tradução de parâmetros verifica as saídas da rede de imitação contra os recursos da imagem de entrada, decidindo sobre um espaço de recursos que permita o cálculo de parâmetros faciais ótimos.

O maior desafio foi garantir que os modelos de personagens 3D pudessem preservar detalhes e aparências com base em fotos de humanos. Isso é um problema de domínio cruzado, onde imagens 3D geradas e imagens 2D de pessoas reais devem ser comparadas e os recursos principais de ambas devem ser os mesmos.

Os pesquisadores resolveram esse problema com duas técnicas diferentes. A primeira técnica foi dividir o treinamento do modelo em duas tarefas de aprendizado diferentes: uma tarefa de conteúdo facial e uma tarefa discriminativa. A forma geral e a estrutura de um rosto são discernidas minimizando a diferença/perda entre dois valores de aparência global, enquanto detalhes discriminativos/finos são preenchidos minimizando a perda entre coisas como sombras em uma região pequena. As duas tarefas de aprendizado diferentes são mescladas para alcançar uma representação completa.

A segunda técnica usada para gerar modelos 3D foi um sistema de construção de rosto 3D que usa uma estrutura esquelética simulada, levando em conta a forma do osso. Isso permitiu que os pesquisadores criassem imagens 3D muito mais sofisticadas e precisas em comparação com outros sistemas de modelagem 3D que dependem de grades ou malhas faciais.

A criação de um sistema que possa criar modelos 3D realistas com base em imagens 2D é impressionante por si só, mas o sistema de geração automática não funciona apenas com fotos 2D. O sistema também pode pegar esboços e caricaturas de rostos e renderizá-los como modelos 3D com precisão impressionante. A equipe de pesquisa suspeita que o sistema é capaz de gerar modelos precisos com base em personagens 2D porque o sistema analisa a semântica facial em vez de interpretar valores de pixel brutos.

Embora o gerador de personagens automático possa ser usado para criar personagens com base em fotos, os pesquisadores dizem que os usuários também devem ser capazes de usá-lo como uma técnica suplementar e editar o personagem gerado de acordo com suas preferências.