Ricercatori di Intelligenza Artificiale Creano Modelli di Viso per Videogiochi 3D da Foto degli Utenti

Un team di ricercatori di NetEase, un’azienda di videogiochi cinese, ha creato un sistema in grado di estrarre automaticamente i volti dalle foto e generare modelli di gioco con i dati dell’immagine. I risultati del documento, intitolato Face-to-Parameter Translation for Game Character Auto-Creation, sono stati riassunti da Synced su Medium.

Sempre più sviluppatori di videogiochi scelgono di utilizzare l’intelligenza artificiale per automatizzare compiti che richiedono molto tempo. Ad esempio, gli sviluppatori di videogiochi hanno utilizzato algoritmi di intelligenza artificiale per aiutare renderizzare i movimenti dei personaggi e degli oggetti. Un altro recente utilizzo dell’intelligenza artificiale da parte degli sviluppatori di videogiochi è la creazione di strumenti di personalizzazione dei personaggi più potenti.

La personalizzazione dei personaggi è una caratteristica molto amata dei videogiochi di ruolo, che consente ai giocatori di personalizzare i loro avatar in molti modi diversi. Molti giocatori scelgono di fare in modo che i loro avatar assomiglino a se stessi, il che diventa più realizzabile man mano che la sofisticazione dei sistemi di personalizzazione dei personaggi aumenta. Tuttavia, man mano che questi strumenti di creazione di personaggi diventano più sofisticati, diventano anche molto più complessi. Creare un personaggio che assomigli a se stessi può richiedere ore di regolazione delle slide e alterazione di parametri criptici. Il team di ricerca di NetEase mira a cambiare tutto ciò creando un sistema che analizzi una foto del giocatore e generi un modello del viso del giocatore sul personaggio del gioco.

Lo strumento di creazione automatica di personaggi è composto da due parti: un sistema di apprendimento per imitazione e un sistema di traduzione dei parametri. Il sistema di traduzione dei parametri estrae le caratteristiche dall’immagine di input e crea parametri per il sistema di apprendimento da utilizzare. Questi parametri vengono quindi utilizzati dal modello di apprendimento per imitazione per generare e migliorare iterativamente la rappresentazione del viso di input.

Il sistema di apprendimento per imitazione ha un’architettura che simula il modo in cui il motore di gioco crea modelli di personaggi con uno stile costante. Il modello di imitazione è progettato per estrarre la verità fondamentale del viso, tenendo conto di variabili complesse come barbe, rossetto, sopracciglia e pettinatura. I parametri del viso vengono aggiornati attraverso il processo di discesa del gradiente, confrontati con l’input. La differenza tra le caratteristiche di input e il modello generato viene costantemente verificata e vengono apportate modifiche al modello fino a quando il modello di gioco non si allinea con le caratteristiche di input.

Dopo che il modello di imitazione è stato addestrato, il sistema di traduzione dei parametri controlla gli output del modello di imitazione rispetto alle caratteristiche dell’immagine di input, decidendo su uno spazio di caratteristiche che consente il calcolo dei parametri facciali ottimali.

La sfida più grande è stata assicurarsi che i modelli di personaggi 3D potessero preservare i dettagli e le apparenze in base alle foto di esseri umani. Si tratta di un problema cross-domain, in cui le immagini 3D generate e le immagini 2D di persone reali devono essere confrontate e le caratteristiche fondamentali di entrambe devono essere le stesse.

I ricercatori hanno risolto questo problema con due tecniche diverse. La prima tecnica consisteva nel dividere l’addestramento del modello in due compiti di apprendimento diversi: un compito di contenuto facciale e un compito discriminatorio. La forma e la struttura generale del viso di una persona vengono discernibili minimizzando la differenza/perdita tra due valori di aspetto globale, mentre i dettagli discriminatori/fini vengono riempiti minimizzando la perdita tra cose come le ombre in una piccola regione. I due compiti di apprendimento diversi vengono fusi insieme per ottenere una rappresentazione completa.

La seconda tecnica utilizzata per generare modelli 3D è stata un sistema di costruzione del viso 3D che utilizza una struttura scheletrica simulata, tenendo conto della forma delle ossa. Ciò ha consentito ai ricercatori di creare immagini 3D molto più sofisticate e accurate rispetto ad altri sistemi di modellazione 3D che si basano su griglie o mesh facciali.

La creazione di un sistema che possa creare modelli 3D realistici in base a immagini 2D è già di per sé sufficientemente impressionante, ma il sistema di generazione automatica non funziona solo con le foto 2D. Il sistema può anche prendere schizzi e caricature di volti e renderli come modelli 3D con un’accuratezza impressionante. Il team di ricerca sospetta che il sistema sia in grado di generare modelli accurati in base a personaggi 2D perché il sistema analizza la semantica facciale invece di interpretare i valori dei pixel grezzi.

Mentre il generatore di personaggi automatico può essere utilizzato per creare personaggi in base alle foto, i ricercatori affermano che gli utenti dovrebbero anche essere in grado di utilizzarlo come tecnica supplementare e modificare ulteriormente il personaggio generato in base alle loro preferenze.