Himmentävien videopuheluiden korjaus reaaliajassa vain CPU:n avulla

Uusi menetelmä luo AI-mallin kasvostasi sekunneissa, jotta se voi korjata himmentäviä videopuheluita reaaliajassa – toimien kokonaan peruslaptopin CPU:lla, ilman voimakkaan laitteiston tai pilviprosessoinnin tarvetta.

Vaikka alivarustelluissa maissa olevat käyttäjät ovat eniten vaikuttaneita matalan laadun videopuhelukuvista, se on usein myös “ensimmäisen maailman” ongelma – esimerkiksi, jos yksi keskustelijasta käyttää ylikuormitettua Wi-Fi-kuumaa pistettä tai joku muu prosessi tai henkilö osallistujan taloudessa hallitsee saatavissa olevan kaistanleveyden; tai jopa, jos kyseinen henkilö vierailee maassa, jossa on huono yhteys.

Koska ongelma on yleinen, sille on omistettu tietty määrä huomiota tutkimuskirjallisuudessa, ja ratkaisuja on ehdotettu deblockauksen, denoisauksen, super-resoluution ja muiden menetelmien kautta. VQFR-järjestelmä vuodelta 2022 palauttaa heikentyneitä kasvokuvia korvaamalla matalan laadun kuvapiirteitä korkealaatuisemmilla edustuksilla, jotka on opittu koodikirjasta; vuoden 2021 GFP-GAN hyödyntää generatiivisia kasvokuvia edistääkseen matalan laadun kuvia; ja RTFVE: Reaaliaikainen kasvokuvan parannus käyttää korkealaatuisia viitekuvia kasvojen palautukseen:

Paina toistamaan, jos tarpeen. Vuoden 2025 RTFVE-kasvokuvan parannushankkeesta, GPU-kiihdytetty kasvojen parannus. Lähde

Näkökulmasta alivarustellun käyttäjän, useimmat näistä ratkaisuista eivät ole toteutettavissa, koska ne siirtävät työn GPU:lle, jota ei välttämättä ole käytettävissä kyseisen käyttäjän asetuksissa. Kuitenkin, käyttäen (paljon vähemmän kykenevää) CPU:ta tietokoneen näön tehtävissä on yleensä offline-prosessi, mikä tarkoittaa, että tulokset ovat saatavilla vasta, kun CPU on valmis prosessoinnista.

Tämä on vastaanottamaton videopuhelutilanteessa, joka on resursseja vaativa, mutta usein myös resursseja kurja: mikä tahansa todella demokraattinen kasvokuvan parannusjärjestelmä tarvitsisi toimia CPU:lla vähintään 24fps ja kohtuullisella resoluutiolla; ja tämä on paljon pyytää.

Kasvokuvan parantaminen

Tämä vaativa skenaario täyttyy uudella tutkimuksella Yhdysvalloista, joka on kykenevä, kirjoittajien mukaan, kouluttamaan mallin alle 100 sekunnissa harvojen katsojan kasvojen kehysten avulla, ja lopullinen malli toimii välikerroksena käyttäjän ja konferenssin välillä virallisten API-kerrosten kautta videoneuvotteluohjelmissa, kuten Zoomissa:

Paina toistamaan, jos tarpeen. FSFVE-projektisivulta, esimerkki parannuksista webcam-tilanteen kasvoihin, käyttäen kevyttä (3,5 Mt) mallia, joka on koulutettu alle kahdessa minuutissa. Lähde

Kirjoitus toteaa:

‘FSFVE-malli voidaan kouluttaa joko juuri ennen videopuhelua tai sen aikana. Vain muutamia korkealaatuisia kuvia aiheesta vaaditaan; esim. 5-30 kuvaa, mikä tekee siitä vähän oppimista. Juuri ennen puhelua tai sen aikana voidaan hankkia muutamia sekunteja korkealaatuisia videoita käyttäjästä; esim. 3 sekuntia, mikä antaa 3 ∗ 24 = 72 kehystä olettaen 24 kehys/sekunti (FPS) nopeuden.

‘Tämä korkealaatuinen video voidaan nopeasti koodata uudelleen matalan laadun videoksi videopuhelun asetuksien mukaan, ja sitten matalan ja korkean laadun kehysten kanssa malli voidaan kouluttaa.’

Yksi merkittävä ominaisuus uudesta järjestelmästä on sen joustavuus siinä, kuka “maksaa” mallin prosessoinnin; jos katsoja itse jostain syystä ei voi tarjota CPU-tehoa koulutukseen, se voidaan siirtää vastaanottajalle lähettämällä muutamia korkealaatuisia kehyksiä, ja malli voidaan kouluttaa “etäältä” resursseja kurjalle käyttäjälle.

Vaihtoehtoisesti, koulutus voidaan siirtää järjestelmällisesti palvelimelle koulutukseen. Kirjoittajat toteavat:

‘Palvelin voidaan käyttää tapauksiin, joissa lähettävä ja vastaanottava laite ovat liian hitaita koulutukseen (tai vaikka ei, helpottamaan heidän tehtävistään).

‘Mallin koko on suhteellisen pieni (noin 3,5 Mt) kuten muutamia korkealaatuisia kehyksiä, ja kun koulutus on valmis, malli voidaan suorittaa reaaliajassa tyypillisellä laptopin CPU:lla.’

Testeissä, joissa mallit oli koulutettu vertailukohteiksi ja aiempiin töihin (mukaan lukien mainittu RTFVE, josta uusi työ perustuu), FSFVE ylitti jatkuvasti alkuperäisen pakatun videon, CPU-optimoitu ResNetin ja mainitun RTFVE-0-mallin, ja se toimi edelleen reaaliajassa CPU:lla.

Uusi kirjoitus on nimeltään FSFVE: Vähän otoksen pakattu kasvokuvan parannus, ja se sisältää demon ja GitHub-repon.

Menetelmä

FSFVE oli koulutettu avoimella FaceForensics++-aineistolla*, joka koostuu 363 1080p-videosta näyttelijöistä, jotka puhuvat, ja kirjoittajat poistivat “puhuessa seinää vasten” -luokan, koska se oli lähimpänä tyypillistä videopuhelun tyyliä:

Paina toistamaan, jos tarpeen. Esimerkkejä FaceForensics++-aineistosta. Lähde

Tämä alijoukko koostuu 27 videosta, joissa on noin 972 kehystä kussakin – pääasiassa eteenpäin osoittavia näkymiä, mutta myös joitakin sivunäkymiä.

Jotta voidaan luoda matalan laadun videot, jotka simuloivat videopuheluyhteyden ongelmia, kirjoittajat pakkasivat aineiston H264- ja H265-videokoodereilla. Pakkaustasot asetettiin CRF-arvoon, joka käsittää 36, 40 ja 44 (koska nolla on häviötön ja 51 on erittäin lohkoisa).

Jokainen kehys leikattiin 256 × 256 alueeseen kasvojen ympärillä BlazeFace-kasvontunnistimella, ja kasvopiirteitä käytettiin kasvojen kohdistamiseen silmien sijainnin määrittämiseksi ja soveltamalla affiini muunnosta (joka pyörittää, skaalaa ja siirtää kasvoja yhdenmukaiseen asentoon), jotta silmät säilyvät tasaisina ja suhteellisen samassa paikassa kaikissa kehysissä.

Tämä tehtiin Face Recognition -kirjastolla:

Esimerkki kasvopiirteiden poistamisesta kuvasta Face Recognition -kirjaston avulla. Lähde

Koska malli on suunniteltu oppimaan vain muutamasta kehyksestä yhdestä videopuhelusta, koulutuskehykset olisi saatava mahdollisimman monipuolisia. Siksi k-means-klusterointi käytettiin yksinkertaisempien valintamenetelmien sijaan (esim. satunnainen otanta tai kiinteät väliajat).

Jokainen leikattu ja kohdistettu kehys ohjattiin edellä mainittuun RTFVE-kasvokooderiin, jotta saataisiin numeerinen edustus, ja k-means-klusterointi ryhmitti samankaltaisia kehyksiä 30 klusteriin. Tämä klusterointiprosessi toistettiin viisi kertaa, jotta saataisiin paras ryhmittely, ja kunkin klusterin keskipisteen lähin kehys valittiin koulutukseen. Tämä prosessi tuotti monipuolisen joukon 30 kuvaa kullekin videolle.

Koulutus ja testit

Mallit koulutettiin 100 epokalle, mikä on melko vähän, ottaen huomioon hyvin vähäisen määrän kuvia. Kuitenkin, kuten kirjoittajat toteavat, ylisovittunut malli on itse asiassa toivottava tässä skenaariossa, vaikka se ei voi kaikkia mahdollisia tilanteita, kuten epätavallisia kasvojen ilmeitä, asentoja tai kasvojen piirteiden peittämistä. Prioriteetit ovat kohtuullinen joustavuus yleistymisessä ja koulutuksen nopeus.

RAdam-optimointi käytettiin oppiamisnopeudella 10^-4.

Alkutesteissä järjestelmä vertailtiin alkuperäiseen pakattuun videoon; kevyt ResNet konfiguroitiin reaaliaikaiselle CPU-inferenssille; ja edellä mainittu RTFVE – ainoa muu reaaliaikainen CPU-kasvokuvan parannusjärjestelmä.

Jotta vertailu olisi reilu, RTFVE muunnettiin poistamaan sen riippuvuus korkealaatuisista viitekuvista inference-ajan aikana, säilyttäen saman nopeuden ja parametrilukumäärän, mikä tuotti variantin nimeltä RTFVE-0. ResNet- ja RTFVE-0-mallit koulutettiin L1-häviöfunktiolla. Jotta vertailu olisi reilu, kaikki mallit käyttivät samaa RAdam-optimointia ja koulutusasetuksia, ja erillinen, kohtekohtainen malli koulutettiin 30 kehyksestä kullekin videolle.

Jotta koulutusta voitiin nopeuttaa, custom-frekvenssitason fokaloiva häviö (joka korostaa visuaalisesti tärkeimpiä kuvatietoja koulutuksen aikana) esiteltiin antamaan suurempi paino matalataajuisille DCT-komponenteille (kuva-informaatiolle, jonka jälkeen se on muunnettu taajuusarvoiksi), jotka vaikuttavat eniten havaittuun kuvanlaatuun.

Painotus johdettiin JPEG-luminanssin kvantisaatiomatriisista, mikä sai mallin priorisoimaan visuaalisesti tärkeimmät kuvarakenteet koulutuksen aikana.

Määrälliset testit

Molemmat tekniset rekonstruktio- ja havaittu visuaalinen laatu mitattiin testeissä. Häviö mitattiin huippu-signaali-kohina-suhdeluvulla (PSNR) ja struktuurisen samankaltaisuus-indeksillä (SSIM); ja havaittu laatu opitun havaitun kuvapatchin samankaltaisuudella (LPIPS):

FSFVE:n suorituskyky alkuperäiseen pakattuun videoon, CPU-optimoituun ResNetiin ja muunneltuun RTFVE-0:aan H.264- ja H.265-videokoodekeilla kolmella pakkaustasolla, jossa korkeammat PSNR- ja SSIM-arvot osoittavat parempaa rekonstruktio-laatuja, ja matalammat LPIPS-arvot osoittavat parempaa havaittua laatua.

FSFVE ylitti jatkuvasti sekä alkuperäisen pakatun videon että kilpailevat CPU-pohjaiset parannusmallit kaikilla pakkaustasoilla.

H.264-videolla PSNR kasvoi 1,11 dB, 1,37 dB ja 1,51 dB alkuperäiseen pakattuun videoon verrattuna CRF-arvoilla 36, 40 ja 44, ja vastaavat parannukset SSIM:ssä ja matalammat LPIPS-arvot kahdella korkeammalla pakkaustasolla (joka osoittaa parempaa havaittua kuvanlaatua).

Samankaltaisia parannuksia havaittiin H.265-videolla, mikä osoittaa, että lähestymistapa on edelleen tehokas molemmilla suurilla videokoodekeilla. Kuten alla osoitetaan, parannus kasvoi voimakkaammin, kun pakkaus lisääntyi, mikä osoittaa, että menetelmä toimii erityisen hyvin matalan kaistanleveyden olosuhteissa, joita se on suunniteltu ratkaisemaan:

PSNR bittinopeuden kasvaessa alkuperäisessä H.264-videossa ja parannetussa tulosteessa. Laajeneva ero matalammilla bittinopeuksilla osoittaa, että FSFVE tarjoaa suurimmat laatuhyödyt kaikkein eniten pakatun, kaistanleveyttä rajoittavan tilanteen alla.

CPU-optimoitu ResNet ja RTFVE-0 tarjosivat vain vaatimattomia parannuksia alkuperäiseen pakattuun videoon verrattuna, kun taas FSFVE ylitti molemmat yli 1,1 dB:n, ja se säilyi reaaliajassa 30,24 FPS:n suorituskyvyllä, vaikka se sisälsi vain noin miljoona parametriä.

Kuten alla osoitetaan, suorituskyky parani tasaisesti, kun koulutuskehyksiä lisättiin. Jopa viidellä koulutuskuvaulla FSFVE paransi PSNR:ää yli 0,75 dB alkuperäiseen pakattuun videoon verrattuna, kun taas kymmenellä koulutuskuvaulla se ylitti 1 dB:n parannuksen – mikä osoittaa, että lähestymistapa säilyi tehokkaana hyvin rajatulla koulutusaineistolla:

Koulutusjoukon koon vaikutus PSNR:ään H.264-videoframeissa CRF 44:llä. Jopa viisi koulutuskuvausta paransi laatua alkuperäiseen pakattuun videoon verrattuna, ja suorituskyky kasvoi tasaisesti, kun kehyksiä lisättiin.

Laadulliset testit

Tuloksissa alla, laadullisessa testivaiheessa, nähdään voimakkaasti pakatut H.264-videoframet CRF 44:llä ja vastaava FSFVE-ulos:

Vertailu voimakkaasti pakatuista H.264-videoframeista CRF 44:llä ja vastaavasta FSFVE-ulossta. Kirjoittajat väittävät, että parannetut tulokset vähentävät pakkausartefakteja, palauttavat kasvot, ja tuottavat sileämmän, luonnollisemman ihon säilyttäen samalla henkilön identiteetin ja ilmeen. Katso lähdetiedostoa ja alkuperäisiä videoita parempien esimerkkien vuoksi.

Kirjoittajat toteavat, että pakatut kuvat osoittavat selviä artefakteja silmien, nenän ja suun ympärillä, sekä epäluonnollisen tekstuurin ja vääristymisiä kasvonpiirteissä, kun taas parannetut tulokset vähentävät näitä puutteita:

‘Ensimmäisessä esimerkissä silmät näyttävät epäselviltä, ja musta silmämeikki sekoittuu silmän väriin. On selvästi merkkejä aliasoinnista huulilla. Kulmakarvat ovat epämääräisiä, ja iho näyttää vääristyneeltä. Toisessa esimerkissä iho on voimakkaasti teksturoitu, ja siinä on kohinajälkiä.

‘Suun alla on lohkoartefakteja, jotka muuttavat leuan muotoa. Siinä on myös pystyviivoja.

‘Malli voi korjata nämä artefaktit ja tuottaa visuaalisesti miellyttävän tuloksen, jossa on selkeämpi iho ja jossa jotkut hukatut yksityiskohdat on palautettu.

‘Tärkeää on, että parannettu tulos säilyy uskollisena videon identiteetille.’

Johtopäätös

Näyttää siltä, että nämä jatkuvat ponnistelut teollisuuden ja akatemian piirissä parantamaan matalan signaalin videopuheludatan laatua lopulta törmäävät vastakkaisiin pyrkimyksiin tunnistaa deepfake-videopuhelut.

Koska, kuten uusi kirjoitus toteaa, välikerrokselliset järjestelmät, kuten FSFVE, voidaan soveltaa legitiimisti chat-videovirroksiin virallisten API-kerrosten kautta, on mahdollista, että prosessoidaamaton sisältö säilyy käytettävissä vastaan deepfake-toimenpiteitä varten – ja tulee tärkeämmäksi.

* Viitataan uudessa kirjoituksessa ‘DeepFakeDetector’-aineistoksi, vaikka se ei näytä olevan tunnettu tässä nimessä, edes FaceForensics++-kirjoituksessa, jota kirjoittajat viittaavat tässä suhteessa.

Julkaistu ensimmäisen kerran tiistaina, 14. heinäkuuta 2026