Miksi konseptien siltoutuminen tarkoittaa, ettei voi saada AI-videota “omalla tavalla”

AI-videotyökalut lupaavat täydellistä hallintaa, mutta piilevä “konseptien siltoutuminen” liittää identiteetit, ilmeet ja käyttäytymisen yhteen, pakottaen käyttämään hakukikkoja ja mallitemppuja, jotka rikkovat GenAI-magian vaivattomuuden myytin.

Mielipide Viimeksi kun kirjoitin tästä aiheesta viisi vuotta sitten, konseptien siltoutumisen ongelma koulutetuissa AI-järjestelmissä on laajentunut paljon laajemmalle joukolle käyttäjiä, ilman että sitä olisi ymmärretty paljon paremmin omilla ehdoillaan.

Tuolloin autoencoder-pohjaiset deepfake-järjestelmät (ts. nykyisin lakkautetut DeepFaceLab ja vähemmän pornografisen FaceSwap, jotka molemmat perustuvat maineessa olevaan ja lähes välittömästi kiellettyyn 2017 Reddit koodin julkaisuun) olivat ainoat pelissä olevat järjestelmät, joilla voitiin luoda suhteellisen fotorealistisia deepfake-kuvia ihmisistä.

Nämä järjestelmät perustuivat laajoihin kasvojen koulutusaineistoihin, joiden tarkoituksena oli antaa AI-mallille tietoa A) miltä henkilö näytti lepotilassa (kanoninen viiteupotus) ja B) miltä he näyttivät erilaisissa tilanteissa, joissa kasvoilla voidaan heijastaa, alkaen unesta aina nauruun, kauhuun, Ikävyyteen, Kyynisyyteen, Surkuun jne.

Identiteetti ei tule yksin, vaan yhdessä kasvojen ilmeiden kanssa. Lisäksi tiettyjä emoootioita saattaa olla saatavilla vain tietystä, äärimmäisestä kulmasta, mikä voi liittää kulman tietyn emotion kanssa.

Ongelma oli, että kanoninen identiteetti yleensä piti johtaa kasvojen valokuvista, jotka eivät itse olleet “neutraaleja”, joten valokuvien jakautuminen siirtyi “ilmeisen oletusarvon” suuntaan. Tämä johtui suurelta osin valokuvien määrästä, jotka otettiin punaisen maton paparazzikuvista, sekä muista syistä, joista aineistot saattavat olla vääristyneitä.

Toisin sanoen autoencoder-järjestelmän piti yrittää erottaa “neutraali” identiteettikäsite tuhansista kuvista, joissa kasvonpiirteet olivat taittuneita normaaleista kasvojen ilmeistä.

Se piti myös yrittää erottaa semanttisia kasvojen käsitteitä eri emoootioista kulmista, joista kasvot otettiin. Tämä tarkoitti, että jos ainoat “pelottuneet” kasvojen ilmeet olivat otettu profiilista, koulutettu järjestelmä pystyi toistamaan tämän emotion parhaiten vain samasta kulmasta.

Eteenpäin

Kun diffuusiopohjaiset lähestymistavat ottivat gen AI -kuvan (ja myöhemmin videon) paikan vuodesta 2022 lähtien, generatiiviset järjestelmät paransivat merkittävästi kasvojen ilmeiden ekstrapoloinnissa, kun niille annettiin rajoitettu kasvojen aineisto.

Jopa haasteellinen tehtävä luoda uskottavia profiilikuva luonnettomuudesta on lähes kokonaan voitettu nykyisellä tilalla, kun taas ilmeaineisto on melko tehokkaasti eriytetty identiteetistä – siinä määrin, että autoencoder-ohjatun DeepFaceLive -järjestelmän kehittämä live-deepfake-nukkeenohjaus on monilla tehokkailla offline-sovelluksilla, ja reaaliaikainen toteutus on todennäköinen tulevaisuuden kehitys:

Paina toistamaan. ‘FlashPortrait’ -projektista, erilaisia esimerkkejä ohjaamasta avatareista lähdemateriaaleista. Tässä tapauksessa ei ole väliä, kummalla puolella “realistinen” alue on, jos sellaista on. Lähde 

Kuitenkin, kun genAI:n kanvas on laajentunut ja tulokset ovat monimuotoisempia, konseptien siltoutumisen ongelma on vain levinnyt useille muille alueille – ja sitä parannetaan tällä hetkellä melko halpoilla ja vanhoilla temppuilla. Jos et tiedä, mitkä nämä temput ovat, sinulla saattaa olla myönteisempi näkemys siitä, kuinka nopeasti AI-videot ja -kuvat kehittyvät ja voittavat vanhat ongelmansa.

Luulot

Toivottavasti on selvää, miksi identiteetti ja emoootio osoittautuivat vaikeiksi erottaa vanhoille 2017-vuoden autoencoder-järjestelmille. Se johtui siitä, että A) oli liian paljon tietynlaista dataa, tai B) mallin arkkitehtuuri ei ollut tarpeeksi hyvä erottamaan nämä laatuja, ja taipui “liimaamaan” ne yhteen johtumisajan, ellettä käyttäjä ottanut erityistä huolta varmistamaan aineiston tasapainon.

Samasta syystä samanlaisia ongelmia on ilmennyt useissa avoimen lähdekoodin ja omistajan video-malleissa viime vuosina, vaikka ne ovat jääneet hallusinaatioiden, sensuurin puutteen ja monien muiden aiheiden varjoon.

Esimerkiksi Wan2.+-järjestelmässä monet käyttäjät ovat kokeneet, että on hyvin vaikeaa estää generoituja hahmoja jatkuvasti puhumasta, ja usein myös vaikeaa estää heitä katselemasta kameraa.

Jälkimmäinen ongelma (katse kameraan tai neljännen seinän rikkomista) edelsi videon synteesijärjestelmien kehittymistä, koska se ilmestyi joissakin kuvapohjaisissa diffuusiopohjaisissa järjestelmissä LAION -aineistojen vuoksi.

“Puhelia” hahmojen ongelma johtuu helposti saatavilla olevista “vaikuttajavideoista” YouTubessa, jotka tarjoavat luonnollisesti tuhansia tunteja suoraan linssin diskurssia, usein koottuina aineistoihin, joissa tutkimusscientistit voivat pesua verkkokokoelmaa tarjoamalla akateemisen kontekstin.

Wanin “puheliasuuden” ongelmaan Reddit-käyttäjä u/Several-Estimate-681 keksi ratkaisun, joka hyödyntää asetusta Wan 2.1 Infinite Talk V2V -järjestelmässä – kehyksessä, joka on suunniteltu rohkaisemaan vaikuttajatyylisen puheliaisuutta – joka sallii käyttäjän hiljentää renderöidyn hahmon:

Paina toistamaan: Vain kuuntele – ratkaisu hahmon tarkkaavaisuuden saavuttamiseksi Wan2.+:ssa. Lähde 

Ilmeisesti tällaiset oikotiet eivät edusta matalan tason arkkitehtonisia ratkaisuja, ja ilman oikeita ratkaisuja, jotka ovat toteutettavissa perusmallien luojien toimesta (koska harrastajat eivät yleensä ole miljoonia dollareita käyttäneet tällaisen työn uudelleenkoulutukseen tai hienosäätöön), tämä tarkoittaa, että konseptien siltoutumisen “mäkihyppy” -peli on todennäköisesti nolla seuraavan version julkaisun yhteydessä.

Halpa ja Hauras

Ei ole mitään diffuusiopohjaisessa arkkitehtuurissa, joka tekee nämä ongelmat välttämättömiä; itse asiassa, jos olisi jokin tapa soveltaa todella tehokasta kuraattorin työtä, triaasia ja korkealaatuista kuvauksen ja annotoinnin hyperskaalaisiin aineistoihin, joissa on miljoonia datapisteitä, lähes kaikki nämä ongelmat katoaisivat.

Kuitenkin sellaisen tason tarkkaavaisuus olisi verrattavissa Manhattan-projektiin logistiikassa, laajuudessa, tarvittavissa resursseissa ja pitkäaikaisessa ponnistelussa. Ilmapiirissä, jossa uusi arkkitehtuuri tai jopa uusi arkkitehtuurin versio voisi mitätöidä tämänlaisen ponnistelun laajuuden, ei ole nykyisin tahtoa tehdä tällaista sitoutumista.

Täten, niin kauan kuin on saavutettavissa käyttökelpoisia malleja, halvimmat lähestymistavat ovat edelleen suosittuja. Yksi esimerkki “saostumisesta” on datan lisäys, joka, kun sovelletaan vapaasti ja vääräänlaisiin aineistojen videoleikkeisiin, voi johtaa huvittaviin tuloksiin:

Koska datan lisäys usein kääntää lähtövideoiden suunnan aineistossa, AI-malli voi joskus oppia “mahdottomia” liikkeitä. – Lähde

Kuitenkin kokonaisuutena kivet, jotka rullavat ylös, ja ihmiset, jotka rikkovat luonteen “vaikuttajatilassa”, pidetään yleensä generatiivisissa järjestelmissä, jotka voivat, vaikka nämä jatkuvat virheet ja akilleen kantapäät, houkutella tuottamaan vaikuttavia tuloksia ja riittävän ällistyneitä otsikoita.

Valmiit Ratkaisut

Nykyisellään satoja generatiivisia videoalueita, joista lähes kaikki rikkovat uuden sarjan lakeja ja takaiskua GenAI:ta vastaan, nauttivat aikaa ruokaillessaan ennen kuin lainvalvonta, mustalistaus tai muut deplatformaamisen muodot poistavat nämä kaupalliset palvelut.

Isommat ja tunnetummista näistä ovat joko noudattaneet itseensä sensuuria (lopulta), tai vastanneet kritiikkiin muuttamalla sisällön tyyppejä, joita heidän alustansa käyttäjille tarjoavat.

Tämänkaltaisia matalan vaivan tarjoajia on kuitenkin satoja, jotka jatkuvasti palvelevat uusia (usein äärimmäisempiä) sisällön vaatimuksia.

Tällaisen matalan ponnistelun tarjoaminen estää erittäin korkean koulutusmallien kouluttamisen kustannukset. Usein jopa hienosäätö, joka maksaa paljon vähemmän, estetään.

Tämän vuoksi nämä sivustot tarjoavat “malleja”, jotka käyttäytymiseltään ovat 100% identtisiä kustomoiden LoRAn kanssa, joita AI-harrastajat ovat käyttäneet yli neljän vuoden ajan kouluttamaan mitä tahansa haluamaansa identiteettiä, tyyliä, esinettä tai (videon LoRAn tapauksessa) liikettä omalle LoRA-liitännäiselle.

Kun LoRA on käyttäjän ja perusmallin välissä, tulokset, jotka saadaan, ovat hyvin spesifisiä sille, mille LoRA on koulutettu, ja yleensä mallin laajempi suorituskyky on heikentynyt LoRAn vaikutuksesta, joka toistaa oman aiheensa hyvin, mutta myös esittää sen minkä tahansa pyynnön (jos GenAI-videosivustot sallisivat tämän tason valvonnan – eivät salli; he tarjoavat vain [TOIMINTO VALINTA] -mallin ja tulkkaavat syötteen tekstin/kuvan/videon tavalla, joka johtaa mallin onnistuneeseen soveltamiseen).

Ilmeisesti en voi upottaa verkkosivu-esimerkkejä tähän artikkeliin; mutta tutkimuskirjallisuus on viime aikoina tarjonnut joitakin vastaavia esimerkkejä. Tässä, esimerkiksi, EffectMaker-projekti osoittaa periaatteen toiminnassa, jossa tietty toiminto sovelletaan käyttäjän antamaan kuvaan:

Paina toistamaan. EffectMakerissa voidaan soveltaa hienosääteltyjä vaikutuksia mukautettuihin syötekuviin. Lähde 

Käyttäjät valittavat usein, että useita, token-palavia yrityksiä on tehtävä saadakseen hyvän tuloksen, ja meidän ei pitäisi ehkä attribuoida tarjoajan ahneuteen tai teräviin käytäntöihin sitä, mikä on todennäköisemmin DiT GenAI -kehyksen synnynnäinen “osuma ja virhe” -luonne.

Laajempi yleisö saa käsityksensä GenAI:n kyvyistä valikoiduista esimerkeistä, jotka eivät ole edustavia siitä, mitä tavallinen käyttäjä todennäköisesti saa. Jos käyttäjä polttaa kuusi yritystä mallissa (ts. LoRA, jonka AI-sivusto tarjoaa), heidän taipuu julkaista ja ylistää parasta näistä, antaen vaikutelman, että tällaisia tuloksia voisi saada kysymällä perusmallia – ja antaen vaikutelman, että generatiiviset perusmallit ovat paljon enemmän eriytettyjä, kuin ne todella ovat.

Johtopäätös

Kirjallisuus tutkii edelleen konseptien siltoutumisen ongelmaa, joka tuli vakavasti näkyviin vuonna 2020 Max Planck / Google yhteistyössä A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation.

Lisäksi eri Disentanglement via Contrast (DisCo) seuraajat ilmestyvät säännöllisesti, ja tilanne on edelleen elävää tietoisuuden tasolla, joka ylittää julkisen tietoisuuden siitä, mitä AI ei voi tehdä tässä suhteessa.

Yksi Kiinalainen tutkimus vuodelta 2024 ehdottaa, että konseptien siltoutumisen ratkaisu ei välttämättä ole tarpeen ratkaista ongelmia, joita se aiheuttaa. Historiallisesti tämä on tosi, koska monet ratkaisemattomat ongelmat tietokoneen näön alalla voitettiin ylittämällä ne kokonaan uusilla tekniikoilla ja lähestymistavoilla.

Ennen kuin tällainen erillinen kilpailija ilmestyy, näyttää siltä, että jatkamme soveltamalla hätäkorjauksia ja sideharsoja GenAI:n puutteisiin ja rajoituksiin, ja kestämme julkista yliarviointia perusmallien joustavuudesta ja muovautuvuudesta.

Julkaistu maanantaina, 23. maaliskuuta 2026