Ei kieliä! Tekoälytutkijat puuttuvat kasvoanimaation anatomiseen puutteeseen

Vuoden 2026 väliin jääneitä: On taas se aika vuodesta, kun tutkimuksen taso ja määrä vaihtelevat samaan tahtiin marras- ja joulukuun viimeisten konferenssien kanssa. Näiden satunnaisten suvantovaiheiden yli pääsemiseksi tutustumme joihinkin vuoden 2026 kiinnostavimpiin tutkimuksiin, jotka olivat lähellä valintaa mutta jäivät muiden töiden varjoon kilpailullisempina julkaisuaikoina.

Vielä vähän aikaa sitten deepfakejen tekijöillä, niin harrastelijoilla kuin ammattilaisillakin, oli tärkeämpääkin huolehdittavaa kuin se, näyttikö rekonstruoidulla ihmisellä olevan kieli. Kieli onkin kasvonpiirteistä oikukkain: se ei näy lainkaan mutisijoilla, ja useimmissa tavallisissa tilanteissa sen näkee vain ajoittain.

Siksi kieli puuttuu silloin, kun sitä tarvitaan – ainakin tekoälyn tekemissä rekonstruktioissa. Harrastelijoiden diffuusiopohjainen rekonstruktio on nykyään hämmästyttävän realistista, ja kykymme arvioida tekoälyn luomia ihmisiä kriittisesti kehittyy jatkuvasti. Ehkä nyt on aika puuttua tähän ongelmaan.

Ongelman ytimeen

Heinäkuussa australialais-kiinalainen akateeminen yhteistyö esitteli menetelmäketjun, jolla voidaan korjata tekoälyn työnkuluista puuttuva kielisimulaatio. Ehdotettu menetelmä, jonka nimi on TongueReenact, hyödyntää ongelman ratkaisemiseen käytännössä kaikkia deepfake-työkalupakin menetelmiä, kuten Gauss-splattausta, parametrisia ihmiskehoja, neuraalisia säteilykenttiä (NeRF) ja diffuusiopohjaista videon generointia (anteeksi GAN-verkot, te ette päässeet mukaan tällä kertaa).

Yllä näkyy ajovideon todellinen tallenne, jonka ominaisuudet siirretään alla olevaan TongueReenact-renderöintiin. Lähde

Vaikka hankkeessa luvattua koodia ei näytä julkaistun tutkimuspaperin ilmestymisen jälkeen eikä oheisvideota ole vielä julkaistu, kyseessä on silti merkittävä avaus: se käsittelee ensimmäisenä kieltä tekoälypohjaisessa rekonstruktiossa lääketieteen ulkopuolella ja puuttuu samalla kriittiseen merkityillä tiedoilla varustetun aineiston puutteeseen, joka on olennainen mille tahansa ehdotetulle ratkaisulle.

Tutkijat hyödynsivät innovatiivisesti erilaisia olemassa olevia menetelmiä ja aineistoja luodakseen SegmentAnything-pohjaisen kielen segmentointimenetelmän sekä tuottaakseen pseudomerkintöjä uusille segmentoituile aineistoille.

Tutkimuspaperissa todetaan:

‘[We] esittelemme ensimmäisen menetelmän, jolla voidaan siirtää kielen liikkeitä eri henkilöiden välillä kasvojen uudelleenesittämisessä. Menetelmämme siirtää sekä kasvojen liikkeet että kielen artikulaation lähdehenkilön kasvoihin, kun käytössä on lähdekuva ja ajovideo.

‘Työmme keskeinen havainto on, ettei kielen synteesiä voi käsitellä yleisenä kuvan täydentämisen ongelmana. Kieli on sovitettava tilallisesti lähdekasvojen geometriaan, joka puolestaan muuttuu jokaisen ajovideon kuvan myötä.’

Järjestelmä siirtää ensin ajovideon henkilön kasvojen liikkeet lähdekasvoihin 3D Gaussian Splatting -menetelmällä ja FLAME-kasvomallilla. Näin saadaan animoidut kasvot, joiden asento ja ilme ovat oikeat mutta joilta kieli vielä puuttuu.

TongueReenact-työnkulku. Ylhäällä: Kielen kuvat tunnistetaan ja segmentoidaan, minkä jälkeen niitä viimeistellään manuaalisesti tunnistusmallin kouluttamista varten. Alhaalla: Kasvojen liikkeet siirretään ajovideosta lähdekasvoihin, minkä jälkeen diffuusiomalli luo puuttuvan kielen oikeaan kohtaan.

Puuttuva kieli luodaan sitten Stable Diffusion -mallilla, joka käyttää ohjenuoranaan kielen ulkonäköä ajovideossa ja rekonstruoitujen kasvojen geometriaa.

Kirjoittajat kommentoivat kasvojen rekonstruktiossa olevan puutteen korjaamisen tarvetta näin*:

‘Voimakkaiden ilmeiden, kuten naurun, inhon tai yllätyksen aikana [the tongue] voi vallata näkyvän suun alueen kokonaan. Silti lähes kaikki nykyiset kasvojen uudelleenesittämiseen tarkoitetut menetelmät ja avatar-järjestelmät joko mallintavat suun sisäosan tekstuurittomana tyhjiönä tai jättävät sen täysin rajoitteiden ulkopuolelle.

‘Tämä puute ei ole sattumaa, sillä kieli on ainutlaatuisen hetkellinen rakenne: levossa se on kokonaan piilossa, puheen aikana se tulee ajoittain näkyviin ja voimakkaissa ilmeissä se voi yhtäkkiä olla hallitsevassa asemassa. Siksi se ei sovellu perinteiseen staattiseen parametriseen mallinnukseen, jota käytetään kasvojen muissa osissa.

‘Tämän sivuutetun haasteen ratkaiseminen on työmme keskeinen motiivi.’

Testeissä uusi menetelmä päihitti selvästi viisi kilpailevaa kasvoanimaatiojärjestelmää ja saavutti lähimpään kilpailijaansa nähden yli 100 prosentin tarkkuusedun keskeisissä kielen sijaintia ja kokoa mittaavissa arvioissa. On kuitenkin myönnettävä, että tällaisia testejä on vaikea suunnitella, kun ollaan tekemässä jotain aivan uutta ja aiemmat menetelmät käsittelevät uutta haastetta vain vähän tai eivät lainkaan.

Tutustutaanpa tarkemmin uuteen lähestymistapaan.

Menetelmä

Tavallisista kasvojen videotallenteista kieliä tunnistavan järjestelmän kehittämisessä käytettiin ihmispäiden monikameratallenteita sisältävää NERSemble-aineistoa sekä synteettisesti tuotettuja kuvia VFHQ-aineistosta, joka sisältää yli 16 000 korkealaatuista kasvovideota:

Paina toistaaksesi Mielenkiintoinen, kielellinen esimerkki Radiance Field -rekonstruktiosta Nersemble-projektin sivustolta. Tässä näkyvää kieltä käsitellään kuitenkin yleisenä geometriana, eikä sillä ole omaa erillistä toimialuetta. Lähde 

Kunkin kuvan suun paikantamiseen käytettiin MaskGAN-kasvojen osien tunnistusmallia. Sen jälkeen suun todennäköisen kielialueen tunnisti lääketieteelliseen käyttöön tarkoitettu TongueSAM-tunnistin, joka välitti tiedot SegmentAnything-mallille. Sen avulla muodostettiin näkyvästä kielestä alustava ääriviiva eli pseudomerkintä.

Esimerkkejä TongueSAM-aineistosta, joka on tarkoitettu lääketieteelliseen analyysikäyttöön eikä kasvonilmeiden arviointiin. Lähde

Tuloksena saadut maskit jaettiin kolmeen ryhmään sen mukaan, kuinka paljon kielestä näkyi. Virheelliset esimerkit hylättiin, ja lupaavia maskeja korjattiin käsin, jotta kieli erottuisi sitä ympäröivistä huulista, hampaista ja muusta suun kudoksesta. Näitä tarkennettuja annotaatioita käytettiin BiSeNet-kuvansegmentointiverkon kouluttamiseen.

Mallia sovellettiin tämän jälkeen NERSemble-aineiston muihin henkilöihin ja synteettisiin VFHQ-kuviin. Ihmiset tarkistivat ja korjasivat mallin ennusteet ennen jatkokoulutusta. Prosessia toistettiin, kunnes suorituskyky aiemmin näkemättömillä henkilöillä vakiintui:

Työnkulku, jossa olemassa oleva aineisto jäsennetään kielialueen aineistoksi.

Kielen synteesiä varten BiSeNetin tunnistamaa suun aluetta suurennettiin hieman ennen sen välittämistä diffuusiomallille. Näin tuotetulla kielellä oli tilaa ulottua alkuperäisen segmentoinnin ulkopuolelle suun muodon muuttuessa.

Kuvat tuotettiin Stable Diffusion Image Variations -mallin latentissa avaruudessa. Ohjaustieto saatiin erikseen rekonstruoidusta kasvojen geometriasta ja ohjauskuvassa näkyvästä kielestä, ja uudelleen tuotettiin vain tunnistettu suun ja kielen alue.

Generointiputki. Vasemman yläkulman DINO V2 -viittaus havainnollistaa GAGAvatarin käyttöä (ks. alla): siinä DINO V2:n ulkonäköpiirteitä hyödynnetään yhdessä FLAMEn kanssa.

Aineisto ja testit

BiSeNet koulutettiin kahdella tulosluokalla, jotka oli muodostettu edellä kuvatuissa aineiston käsittelyvaiheissa: tausta ja kieli. Koulutuksessa tehtiin 50 000 iteraatiota oppimisnopeudella 10^-3. Siinä käytettiin 512 × 512 pikselin kuvia ja eräkokoa 4, ja koulutus ajettiin yhdellä NVIDIA A40 -näytönohjaimella, jossa oli 48 Gt videomuistia. Koulutusaineisto koostui edellä mainituista NERSemble- ja VFHQ-kuvista.

Kasvojen uudelleenanimointiosuudessa käytettiin esikoulutettua GAGAvatar-mallin Gaussian Splatting -runkoa. Käytössä oli myös Stable Diffusion Image Variations -mallin tarkistuspiste, ja sen VAE– ja CLIP-kooderit pidettiin jäädytettyinä. Ohjauskooderit ja kohinanpoistosta vastaava UNET koulutettiin sitten NERSemble-aineistolla 85 000 iteraation ajan eräkoolla 8 ja 512 × 512 pikselin syötteillä. Päättelyssä käytettiin 20:tä DDIM-askelta (monissa nykyisissä diffuusiomalleissa tätä pidetään suurena määränä, jolla pyritään suosimaan yksityiskohtia, mutta siihen liittyy väistämättä tiettyjä kompromisseja).

Vertailussa testattiin seuraavia kilpailevia avatar-malleja: GPAvatar, arvostettu LivePortrait, X-NeMo ja X-Portrait. Kutakin arvioitiin 9 000 VFHQ-aineiston lähde- ja ohjauskuvaparin avulla, joissa esiintyi eri henkilö.

Käytetyt mittarit olivat opitun perceptuaalisen kuvapaikkasamankaltaisuuden mittari (LPIPS), kielen esiintyvyys (niiden kuvien osuus, joissa havaitaan kieli), kielen IoU-arvo (tuotetun kielen alueen ja ohjauskuvan kielen alueen päällekkäisyys) sekä kielen pinta-alan samankaltaisuus (kuinka hyvin tuotetun kielen koko vastaa ohjauskuvassa näkyvän kielen kokoa).

TongueReenactin ja viiden kilpailevan kasvojen uudelleenanimaatiomallin vertailutulokset. TongueReenact saavuttaa parhaan tuloksen kaikissa neljässä kieleen liittyvässä mittarissa; nuolet osoittavat, suositaanko pienempää vai suurempaa tulosta.

Alkuperäisestä vertailusta kirjoittajat toteavat:

‘Menetelmämme suoriutuu parhaiten kaikissa neljässä kielen siirtoa mittaavassa mittarissa: kielen IoU on 0,3582 ja kielen pinta-alan samankaltaisuus 0,4338, mikä on yli kaksinkertainen lähimpään kilpailijaan verrattuna ja vahvistaa, että kielen liikkeiden siirto on huomattavasti tarkempaa.

‘Kielen näkyvyyden arvo 0,7891 osoittaa lisäksi, että menetelmämme tuottaa luotettavasti näkyviä kielen liikkeitä tilanteissa, joissa olemassa olevat menetelmät tuottavat usein tuloksen, jossa kieltä ei näy lainkaan.’

Poimintoja alkuperäisartikkelissa esitetyistä laajoista laadullisista esimerkeistä. Tässä vertaillaan uutta lähestymistapaa viiteen aiempaan kilpailijaan, joista mikään ei pysty tuottamaan kieltä. Katso alkuperäisestä artikkelista lisää esimerkkejä ja tarkempia kuvia.

Vaikka emme nykyisen videomateriaalin puutteen vuoksi voi itse arvioida asiaa, kirjoittajat testasivat järjestelmän ajallista johdonmukaisuutta myös T-LPIPS-mittarilla:

Ajallisen johdonmukaisuuden testien tulokset.

Kirjoittajat kommentoivat tuloksia näin:

‘Kokonainen mallimme vähentää virtauksen värinää (0,218543 vs. 0,622901) ja virtauksen suuruutta (0,513165 vs. 1,254073) huomattavasti, mikä vahvistaa, että geometriaan ankkuroitu kohinanpoisto tuottaa kielen liikkeestä sulavaa ja vakaata.

‘Pienempi T-LPIPS-arvo vahvistaa lisäksi, ettei kielen synteesi heikennä ajallista jatkuvuutta.’

Yhteenveto

Outoa laaksoa onnistutaan vähitellen ylittämään uusimmissa diffuusiopohjaisissa videomalleissa. Nyt on kuitenkin alkanut ilmetä uudenlainen psykologinen este: ihmiset suhtautuvat kielteisesti tekoälyn tuottamaan sisältöön muista syistä kuin katsomansa sisällön laadun vuoksi.

Tämä vaikeuttaa laadullista arviointia, mutta uskoakseni ”sokkotesteihin” perustuvista mittareista voisi olla apua eräänlaisen tekoälyn realistisuutta kuvaavan ”varjoasteikon” kehittämisessä. Tällaisissa testeissä käyttäjä haluaa antaa tekoälyn tuottamalle sisällölle huonomman arvosanan mutta pelkää arvostella aitoa sisältöä liian ankarasti.

Tekoälyn avulla pyritään siis vahvasti jäljittelemään myös toissijaisia identiteettiä ilmentäviä piirteitä, kuten hiuksia, tunteiden simulointia, katseen suuntaa ja nyt myös kielen liikkeitä. Toistaiseksi nämä tavoitteet saattavat kuitenkin olla toissijaisia.

* Olen muuttanut kirjoittajien tekstinsisäiset viittaukset hyperlinkeiksi.

Julkaistu ensimmäisen kerran keskiviikkona 11. marraskuuta 2026