Google’n LipSync3D tarjoaa parannettua ‘Deepfaked’ suun liikkeen synchronointia

Yhteistyö Google AI -tutkijoiden ja Intian teknillisen korkeakoulun Kharagpurin välillä tarjoaa uuden kehyksen puhuvien pään luomiseksi äänisisällöstä. Projekti pyrkii tuottamaan optimoituja ja kohtuullisesti resurssoituja keinoja luoda “puhuvan pään” video sisällöstä äänestä, sen lisäksi, että se synchronoi huulten liikkeet dubattuun tai konekäännöksiin, ja käytetään avatareissa, interaktiivisissa sovelluksissa ja muissa reaaliaikaisissa ympäristöissä.

Lähde: https://www.youtube.com/watch?v=L1StbX9OznY

Koneoppimismallit, jotka on koulutettu prosessissa – kutsutaan LipSync3D: ksi – vaativat vain yhden videon kohdehenkilön kasvojen identiteetistä syötteenä. Tiedon valmisteluputki erottaa kasvojen geometrian valaistuksen ja muiden input-videon ulottuvuuksien arvioinnista, mikä mahdollistaa taloudellisemman ja kohdennetumman koulutuksen.

LipSync3D: n kaksivaiheinen työnkulku. Ylhäällä, dynaamisesti teksturoitu 3D-kasvo ‘kohde’-äänestä; alhaalla, generoitu verkon lisääminen kohdevideoon.