Hvorfor konceptuel sammenfletning betyder, at du ikke kan have AI-video “på din måde”

AI-videoværktøjer lover total kontrol, men skjult ‘konceptuel sammenfletning’ limmer identiteter, udtryk og adfærd sammen, hvilket tvinger hacks og skabelon-tricks, der ødelægger myten om bestræbelig GenAI-magi.

Opinion Siden jeg sidst gik i dybden med emnet for fem år siden, har problemet med konceptuel sammenfletning i trænede AI-systemer udvidet sig til en langt bredere gruppe af brugere, uden at det rigtigt er blevet forstået på sine egne præmisser.

Dengang var autoencoder deepfake-systemer (dvs. den nu defunktionelle DeepFaceLab og den mindre pornografiske FaceSwap, der begge stammer fra den skandaliserede og næsten umiddelbart forbudte 2017 Reddit kodeudgivelse) de eneste i byen, når det kom til at skabe relativt fotorealistiske deepfakes af mennesker.

Disse systemer afhang af omfattende ansigts-træningsdata, der var tiltænkt at give AI-modellen information om A) hvordan personen så ud i ro (en kanonisk reference-embedding) og B) hvordan de så ud under de forskellige situationer, som et ansigt kan reflektere, fra søvn til grin, rædsel, kedsomhed, cynisme, sorg, osv.

Identitet kommer ikke alene, men sammen med ansigtsudtryk. Desuden kan visse emotioner kun have tilgængelig ansigtsdata fra bestemte, ekstreme vinkler, hvilket vil associerer vinklen med emotion og vice versa.

Problemet var, at den kanoniske identitet ofte måtte udledes fra ansigtsfotografier, der ikke i sig selv var ‘neutrale’, således at fordelingen af ansigtsudtryk ville skubbe fordelingen mod en ‘smilende standard’. Dette skyldtes den store mængde af røde tæppe-paparazzi-fotografier i de web-skrapede træningsdata, der typisk informerer disse modeller, samt enhver anden lige så tvivlsom grund til, at en dataset kan være forvrænget mod en bestemt type billede.

Med andre ord ville autoencoder-systemet være nødt til at forsøge at udtrække en ‘neutral’ identitetskoncept fra tusinder af billeder, hvor ansigtsudtrykkene var forvredne af normale ansigtsudtryk.

Det skulle også forsøge at adskille semantiske ansigtskoncepter for forskellige emotioner fra vinklerne, som ansigterne blev taget fra. Dette betød, at hvis de eneste ‘terrificerede’ ansigtsudtryk, der var tilgængelige, var taget fra en profil-vinkel, ville det trænede system kun være i stand til at genskabe denne emotion optimalt fra denne vinkel.

Fremadrettet

Da difusionsbaserede tilgange overtog gen AI-billed- (og senere video-) scenen fra 2022, blev generative systemer langt bedre til at ekstrapolere præcise ansigtsudtryk, når de blev forsynet med begrænsede ansigtsdata.

Endda den meget tornefulde udfordring at skabe overbevisende profil-vinkel-billeder er næsten overvundet i den nuværende tilstand af kunst, mens udtryksdata har været ret effektivt adskilt fra identitet – i den udstrækning, at den type live deepfake-puppettering, der blev banebrydende af den autoencoder-drevne DeepFaceLive streaming-system, har mange effektive offline-difusionsapplikationer, med realtids-udførelse som en sandsynlig fremtidig udvikling:

Klik for at afspille. Fra ‘FlashPortrait’-projektet, diverse eksempler på at styre avatarer gennem kildevideoer. I dette tilfælde er det ligegyldigt, hvilken side den ‘realistiske’ domæne sidder på, hvis nogen. Kilde 

Men da genAI-kanvas er blevet bredere og output er blevet mere sofistikeret, har problemet med sammenfletning blot spredt sig til mange andre områder – og bliver i øjeblikket ‘fikset’ med nogle ret billige og ret gamle tricks. Hvis du ikke ved, hvad disse tricks er, kan du have en mere positiv opfattelse af, hvor hurtigt video- og billed-AI udvikler sig og overvinder sine gamle fejl.

Snakkende katte

Det er håbet, at det er klart, hvorfor identitet og emotion viste sig at være svære at adskille for de gamle 2017-æra autoencoder-systemer. Det var, fordi a) Der var for meget data af en type, eller for specifik en version af en vigtig datatype, hvilket ville føre til en fordelingsforvrængning; og/eller B) modellens arkitektur ikke var opgaven at adskille disse kvaliteter, og havde en tendens til at ‘limme dem sammen’ ved inference-tidspunktet, medmindre brugeren tog en ekstraordinær mængde omhyggelighed for at sikre balance i deres dataset.

For nøjagtig samme grund er lignende problemer opstået i en række åbne kilde- og proprietære video-modeller over de seneste par år, selvom de er blevet over skygget af større niveauer af kritik omkring hallucination, manglende censur, og diverse andre emner.

For eksempel har mange brugere i Wan2.+ systemet fundet, at det er meget svært at stoppe deres genererede karakterer fra at tale uafbrudt, og ofte også svært at stoppe dem fra at se på kameraet.

Det sidstnævnte problem (at se på kameraet eller bryde den fjerde væg) forudgår opfindelsen af video-syntese-systemer, da det opstod i diverse billed-baserede difusions-systemer på grund af forekomsten af ‘at se på kameraet’-fotografier i web-skrapede datasets som LAION.

Problemet omkring ‘garrulous’ karakterer stammer fra den lette overflod af ‘influencer’-videoer på YouTube, der naturligt tilbyder tusinder af timer med direkte-til-linsen-discurs, ofte kurateret til datasets, hvor forskningsvidenskabsmænd kan lave web-skrapningen ren ved at give en akademisk kontekst.

Men medmindre de oprindelige eller efterfølgende kuratorer tager sig af at begrænse antallet af videoer af denne type og balancere dem mod andre typer optagelser, udvikler der sig en alvorlig forvrængning i video-modellen, som vil kræve løsninger baseret på prompt og diverse tredjeparts-tilføjelsessystemer.

Faced with Wan’s ‘chattiness’-problem, fik Reddit-brugeren u/Several-Estimate-681 en workaround, der udnytter en indstilling i Wan 2.1 Infinite Talk V2V system – et framework designet til at opmuntre influencer-lignende løsagtighed – der tillader brugeren at lukke af for den renderede karakter:

Klik for at afspille: Lige lyt – en workaround til at opnå karakter-opsagt i Wan2.+. Kilde 

Det er tydeligt, at denne type af shortcuts ikke repræsenterer lav-niveau-arkitektoniske løsninger, og at, i mangelen på sande løsninger, der er fundet og implementeret af skaberen af grundlæggende modeller (fordi hobbyister ikke som regel har millioner af dollars til at genskabe eller finjustere sådant arbejde), dette betyder, at spillet om sammenfletning ‘whack a mole’ sandsynligvis vil blive nulstillet ved den næste version.

Billig og skrøbelig

Der er intet i difusionsarkitekturen selv, der gør disse problemer uundgåelige; faktisk, hvis der var en måde at anvende rigtig effektiv kuratering, triage og høj-kvalitets underskrift og annotation til hyperskala-datasets med datapunkter, der tæller i millioner, ville næsten alle disse problemer sandsynligvis forsvinde.

Men en sådan niveau af opmærksomhed på detaljer ville være lig med Manhattan-projektet i forhold til logistik, omfang, nødvendige ressourcer og ren langvarig indsats. I en klima, hvor en ny arkitektur eller endda en ny arkitektur version kunne omgøre det fulde omfang af en sådan indsats, er der ingen nuværende vilje til at lave en sådan forpligtelse.

Følgelig, i det omfang, der er i overensstemmelse med at opnå brugbare modeller, forbliver de billigste tilgange at foretrække. Et sådant eksempel på ‘sparsommelighed’ er data-augmentation, der, når den anvendes illiberalt og til de forkerte typer af dataset-videoklip, kan have komiske resultater:

Fordi data-augmentation ofte omvender retningen af kildevideoer i datasettet, kan AI-modellen undertiden lære nogle ‘umulige’ bevægelser. – Kilde

Men i det store og hele tenderer sten, der ruller op ad bakke, og mennesker, der bryder karakter ved at aktivere ‘influencer-modus’, at blive betragtet som eksempler på collaterale skader i generative systemer, der kan, på trods af sådanne bestående fejl og Achilles-hæle, blive manipuleret til at producere imponerende resultater og tilstrækkeligt imponerende overskrifter.

Kedelplads-løsninger

I den nuværende periode nyder hundredvis af generative video-domæner, næsten alle af dem på en eller anden måde bryder den nye række love og modreaktioner mod GenAI, deres tid ved spisebordet, før loven, blocklister eller andre former for deplatforming fjerner disse kommercielle tjenester.

De større og bedre kendte hjemmesider af denne art, som Kling og Grok, tenderer enten til at overholde en form for selv-censur (ventelig), eller til at reagere på kritik ved at ændre de typer af indhold, deres platforme faciliterer for brugere.

Men bag disse store navne er hundredvis af andre fly-by-night-operationer, der konstant tilbyder nye (og ofte mere ekstreme) typer af indhold.

Denne type lav-indsatstjeneste udelukker den ekstremt høje omkostning og indsats, der kræves for at træne grundlæggende modeller fra scratch. Meget ofte er endda finjustering, der koster betydeligt mindre, udelukket.

Derfor tilbyder disse hjemmesider ‘skabeloner’, der opfører sig 100% identisk i praksis som brugerdefinerede LoRAs, der er blevet brugt af AI-hobbyister i mere end fire år nu, til at træne enhver ønsket identitet, stil, objekt og (i tilfældet af video-LoRAs) bevægelse eller handling ind i en dedikeret LoRA-tilføjelse.

Med LoRA placeret mellem brugeren og grundlæggende modellen vil resultaterne være meget specifikke for, hvad LoRA blev trænet på, og vil normalt undergrave den bredere ydelse af modellen på grund af LoRAs vægt-bøjende indflydelse, der vil genskabe sit eget emne meget godt, men også vil indsætte dette materiale i enhver anmodning hvad som helst (hvis fly-by-night GenAI-videohjemmesider tillod denne niveau af kontrol – de gør ikke; de tilbyder bare en [HANDLING AF DIN VALG] skabelon og fortolker din tekst/billeder/videoer på den måde, der er mest sandsynlig at resultere i en succesfuld anvendelse af skabelonen).

For åbenlyse grunde kan jeg ikke indsætte webstedseksempler i denne artikel; men forskningslitteraturen har nylig tilbudt nogle tilsvarende eksempler. Her, for eksempel, viser EffectMaker-projektet principperne i aktion, hvor en specifik handling anvendes på en bruger-tilført billedfil:

Klik for at afspille. I EffectMaker kan finjusterede specifikke effekter anvendes på brugerdefineret input. Kilde 

Endda i disse højt kuraterede og målrettede omstændigheder klager brugere ofte over, at multiple, token-forbrugende forsøg skal gøres for at opnå et godt resultat, og vi bør ikke måske tilskrive udbyder-øjerie eller skarpe praksis, hvad der mere sandsynligt er fejlen i congenitally ‘hit-and-miss’ DiT GenAI-rammer.

Den bredere offentlighed kan det siges, får sin opfattelse af GenAIs evner fra cherry-picked eksempler, der ikke er repræsentative for, hvad en tilfældig, nybegynder-bruger ville være sandsynlig at opnå.  Hvis en bruger brænder gennem seks forsøg på en skabelon (dvs. en LoRA leveret af AI-webstedet), vil de tendere til at offentliggøre og rose det bedste af disse, og overføre indtrykket af, at man kunne opnå sådanne resultater ved at forespørge grundlæggende modellen – og overføre indtrykket af, at generative grundlæggende modeller er langt mere adskilte, end de virkelig er.

Konklusion

Litteraturen fortsætter med at undersøge problemet med sammenfletning, der først blev alvorligt synligt omkring 2020, i Max Planck/Google samarbejdet En besindig kig på den usupervisede læring af adskilte repræsentationer og deres evaluering.

Desuden opstår forskellige efterfølgere til Adskillelse via kontrast (DisCo) periodisk, og scenen forbliver livlig med en bevidsthed om problemet, der langt overgår offentlig bevidsthed om, hvad AI ikke kan gøre i denne henseende.

En kinesisk studie fra 2024 foreslår, at en løsning på sammenfletning måske ikke er nødvendig for at løse de problemer, det medfører. Historisk set er dette sandt, da mange uovervindelige problemer i computer-vision blev overvundet ikke ved at blive løst, men ved at blive overgået gennem helt nye teknikker og tilgange.

Indtil en sådan diskret konkurrent opstår, synes det, at vi vil fortsætte med at anvende hurtige løsninger og forbindinger til GenAIs mangler og begrænsninger, og udholde offentlig overvurdering af fleksibiliteten og ductiliteten af grundlæggende modeller.

Først udgivet mandag, 23. marts 2026