I ricercatori di intelligenza artificiale creano modelli di volto per videogiochi 3D a partire da foto degli utenti

Un team di ricercatori di NetEase (NTES ), un’azienda di videogiochi cinese, ha creato un sistema in grado di estrarre automaticamente i volti dalle foto e generare modelli di personaggi di gioco con i dati delle immagini. I risultati del paper, intitolato Face-to-Parameter Translation for Game Character Auto-Creation, sono stati riassunti da Synced su Medium.

Selezionando sempre più sviluppatori di giochi che scelgono di utilizzare l’intelligenza artificiale per automatizzare compiti che richiedono molto tempo. Ad esempio, gli sviluppatori di giochi hanno utilizzato algoritmi di intelligenza artificiale per aiutare a rendere i movimenti dei personaggi e degli oggetti. Un altro utilizzo recente dell’intelligenza artificiale da parte degli sviluppatori di giochi è la creazione di strumenti di personalizzazione dei personaggi più potenti.

La personalizzazione dei personaggi è una caratteristica molto amata dei giochi di ruolo, che consente ai giocatori di personalizzare i loro avatar in molti modi diversi. Molti giocatori scelgono di far assomigliare i loro avatar a se stessi, il che diventa più realizzabile man mano che la sofisticazione dei sistemi di personalizzazione dei personaggi aumenta. Tuttavia, man mano che questi strumenti di creazione di personaggi diventano più sofisticati, diventano anche molto più complessi. Creare un personaggio che assomigli a se stessi può richiedere ore di regolazione di slider e alterazione di parametri criptici. Il team di ricerca di NetEase mira a cambiare tutto ciò creando un sistema che analizza una foto del giocatore e genera un modello del volto del giocatore sul personaggio del gioco.

Lo strumento di creazione automatica di personaggi è composto da due parti: un sistema di apprendimento per imitazione e un sistema di traduzione dei parametri. Il sistema di traduzione dei parametri estrae caratteristiche dall’immagine di input e crea parametri per il sistema di apprendimento da utilizzare. Questi parametri vengono quindi utilizzati dal modello di apprendimento per imitazione per generare e migliorare iterativamente la rappresentazione del volto di input.

Il sistema di apprendimento per imitazione ha un’architettura che simula il modo in cui il motore del gioco crea modelli di personaggi con uno stile costante. Il modello di imitazione è progettato per estrarre la verità fondamentale del volto, tenendo conto di variabili complesse come barbe, rossetto, sopracciglia e pettinatura. I parametri del volto vengono aggiornati attraverso il processo di discesa del gradiente, confrontati con l’input. La differenza tra le caratteristiche di input e il modello generato viene costantemente verificata e vengono apportate modifiche al modello fino a quando il modello del gioco non si allinea con le caratteristiche di input.

Dopo che la rete di imitazione è stata addestrata, il sistema di traduzione dei parametri controlla gli output della rete di imitazione rispetto alle caratteristiche dell’immagine di input, decidendo su uno spazio di caratteristiche che consente il calcolo dei parametri facciali ottimali.

La sfida più grande è stata assicurarsi che i modelli di personaggi 3D potessero preservare i dettagli e le apparenze in base alle foto delle persone. Questo è un problema cross-domain, in cui le immagini 3D generate e le immagini 2D di persone reali devono essere confrontate e i caratteristiche fondamentali di entrambe devono essere le stesse.

I ricercatori hanno risolto questo problema con due tecniche diverse. La prima tecnica consisteva nel dividere l’addestramento del modello in due compiti di apprendimento diversi: un compito di contenuto facciale e un compito discriminatorio. La forma generale e la struttura di un volto vengono discernibili minimizzando la differenza/perdita tra due valori di aspetto globale, mentre i dettagli discriminatori/fini vengono riempiti minimizzando la perdita tra cose come ombre in una piccola regione. I due compiti di apprendimento diversi vengono fusi insieme per ottenere una rappresentazione completa.

La seconda tecnica utilizzata per generare modelli 3D è stato un sistema di costruzione del volto 3D che utilizza una struttura scheletrica simulata, tenendo conto della forma delle ossa. Ciò ha consentito ai ricercatori di creare immagini 3D molto più sofisticate e accurate rispetto ad altri sistemi di modellazione 3D che si basano su griglie o mesh del volto.

La creazione di un sistema che possa creare modelli 3D realistici in base a immagini 2D è già di per sé impressionante, ma il sistema di generazione automatica non funziona solo con le foto 2D. Il sistema può anche prendere schizzi e caricature di volti e renderli come modelli 3D con un’accuratezza impressionante. La squadra di ricerca sospetta che il sistema sia in grado di generare modelli precisi in base a personaggi 2D perché il sistema analizza la semantica facciale invece di interpretare i valori dei pixel grezzi.

Mentre il generatore di personaggi automatico può essere utilizzato per creare personaggi in base a foto, i ricercatori affermano che gli utenti dovrebbero anche essere in grado di utilizzarlo come tecnica supplementare e modificare ulteriormente il personaggio generato in base alle loro preferenze.