Varför konceptuell sammanflätning innebär att du inte kan ha AI-video “på ditt sätt”

AI-videoverktyg lovar total kontroll, men dold “konceptuell sammanflätning” limmar ihop identiteter, uttryck och beteenden, vilket tvingar fram hack och malltrick som krossar myten om ansträngningslös GenAI-magi.

Åsikt Sedan jag senast gick in på ämnet för fem år sedan har problemet med konceptuell sammanflätning i tränade AI-system utvidgats till en mycket bredare användargrupp, utan att förstås bättre på sina egna villkor.

Då var autoencoder deepfake-systemer (dvs. den numera defunktionella DeepFaceLab och den mindre porrcentriska FaceSwap, båda härstammande från den vanärade och nästan omedelbart förbjudna 2017 års Reddit kodsläpp) de enda spelarna i stan för att skapa relativt fotorealistiska deepfakes av människor.

De här systemen byggde på omfattande ansiktsutbildningsdata som avsågs ge AI-modellen information om A) hur personen såg ut i vila (en kanonisk referensinbäddning) och B) hur de såg ut under de olika situationer som ett ansikte kan återspegla, från sömn till skratt, skräck, tråkighet, cynism, sorg, etc.

Identitet kommer inte ensam, utan tillsammans med ansiktsuttryck. Dessutom kan vissa känslor endast ha tillgänglig ansiktsdata från särskilda, extrema vinklar, vilket tenderar att associera vinkeln med känslan och vice versa.

Problemet var att den kanoniska identiteten vanligtvis måste härledas från ansiktsfotografier som inte i sig var “neutrala”, så att förekomsten av leenden och skratt i webbskrapade träningsdata skulle förskjuta fördelningen mot en “leende standard”. Detta berodde på den stora mängden röd matta-paparazzifoton i webbskrapade träningsdata som vanligtvis informerar dessa modeller, samt alla andra lika tvivelaktiga skäl till varför en datamängd kan vara biased mot en viss typ av bild.

Med andra ord måste autoencodersystemet försöka extrahera en “neutral” identitetskoncept från tusentals bilder där ansiktsdragen var förvridna av normala ansiktsuttryck.

Det måste också försöka separera semantiska ansiktskoncept för olika känslor från vinklarna som ansiktena togs på. Detta innebar att om de enda “förskräckta” ansiktsuttrycken som fanns tillgängliga togs från en profilvinkel, kunde det tränade systemet endast reproducera den känslan optimalt från den vinkeln.

Framåt

När diffusionsbaserade tillvägagångssätt tog över gen AI-bild- (och senare video-) scenen från 2022, blev generativa system betydligt bättre på att extrapolera precisa ansiktsuttryck när de fick begränsad ansiktsdata.

Även den mycket besvärliga utmaningen att skapa övertygande profilvyer har nästan övervunnits, i den nuvarande tillståndskonsten, medan uttrycksdata har slipats bort från identitet – i den utsträckning att den typ av live deepfake-puppettering som banades av autoencodern DeepFaceLive streaming-systemet har många effektiva offline-diffusionsapplikationer, med realtidsutförande som en sannolik framtida utveckling:

Klicka för att spela. Från ‘FlashPortrait’-projektet, diverse exempel på att styra avatarer genom källvideor. I det här fallet spelar det ingen roll vilken sida den “realistiska” domänen sitter på, om någon. Källa 

Men trots att genAI-kanvasen har vidgats och utdata har blivit mer sofistikerad, har problemet med sammanflätning enbart spridit sig till flera andra områden – och åtgärdas för närvarande med ganska billiga och gamla tricks. Om du inte vet vad de här trickarna är, kan du ha en mer positiv syn på hur snabbt video- och bild-AI utvecklas och övervinner sina gamla problem.

Pratiga katter

Hoppas det är tydligt varför identitet och känsla visade sig svåra att separera för de gamla 2017-års autoencodersystemen. Det var för att a) Det fanns för mycket data av en sorts, eller för specifik en version av en viktig datatyp, vilket skulle orsaka en fördelningsbias; och/eller B) modellarkitekturen inte var tillräckligt bra för att separera ut dessa kvaliteter, och tenderade att “limma ihop dem” vid inferenstid, såvida inte användaren tog ovanliga mått för att säkerställa balans i sin datamängd.

För exakt samma anledning har liknande problem uppstått i ett antal öppen källkod och proprietära videomodeller under de senaste åren, även om de har överträffats av större nivåer av kritik kring hallucinationer, brist på censur och diverse andra ämnen.

Till exempel har många användare i Wan2.+ systemet funnit att det är mycket svårt att hindra deras genererade karaktärer från att prata oupphörligt, och ofta också svårt att hindra dem från att titta på kameran.

Det senare problemet (att titta på kameran eller bryta den fjärde väggen) föregick uppkomsten av videosyntessystem, eftersom det uppstod i diverse bildendast diffusionssystem, på grund av förekomsten av “titta på kameran”-fotografier i webbskrapade datamängder som LAION.

Problemets kring “pratiga” karaktärer kommer från den lätta överflödet av “influencer”-videor på YouTube, som naturligt erbjuder tusentals timmar av rakt-til-linsen-discussion, ofta kuraterade till datamängder där forskningsvetenskapsmän kan tvätta webbskrapet genom att tillhandahålla en akademisk kontext.

Men såvida inte de ursprungliga eller efterföljande kuratorerna tar hand om att begränsa antalet videor av den här typen, och balansera dem mot fler olika typer av film, utvecklas en allvarlig bias i videomodellen, som kommer att behöva åtgärdas genom promptbaserade lösningar och diverse tredjepartsadjunktsystem.

För Wan:s “pratighet”-problem kom Reddit-användaren u/Several-Estimate-681 med en workaround som utnyttjar en inställning i Wan 2.1 Infinite Talk V2V system – ett ramverk utformat för att uppmuntra influencer-liknande pratighet – som tillåter användaren att tysta den renderade karaktären:

Klicka för att spela: Bara lyssna – en workaround för att uppnå karaktärstillgivenhet i Wan2.+. Källa 

Tydligt nog representerar inte genvägar av det här slaget lågnivåarkitektoniska lösningar, och, frånvarande sanna lösningar som implementeras av skaparna av grundmodeller (eftersom tillfälliga hobbyister vanligtvis inte har miljoner dollar för att återskapa eller finjustera sådant arbete), detta innebär att spelet med sammanflätning “whack a mole” sannolikt kommer att återställas till noll vid nästa versionssläpp.

Billigt och skört

Det finns ingenting i diffusionsarkitekturen som gör dessa problem oundvikliga; faktiskt, om det fanns något sätt att tillämpa riktigt effektiv curation, triage och högkvalitativ textning och annotering till hyperskaledata med datapunkter som nummererar i miljontals, skulle nästan alla dessa problem försvinna.

Men den nivån av uppmärksamhet på detaljer skulle vara liknande Manhattanprojektet i termer av logistik, omfattning, behövda resurser och ren långsiktig ansträngning. I en klimat där en ny arkitektur, eller till och med en ny arkitektur version kunde ogöra den rena omfattningen av en sådan ansträngning, finns det ingen nuvarande vilja att göra den här typen av åtagande.

Följaktligen, så länge det är förenligt med att erhålla användbara modeller, förblir de billigaste tillvägagångssätten föredragna. Ett sådant exempel på “snålhet” är dataförstärkning, som, när den tillämpas illiberalt och på fel typer av datamängds videoklipp, kan ha roliga resultat:

Eftersom dataförstärkning ofta vänder riktningen på källvideor i datamängden, kan AI-modellen ibland lära sig några “omöjliga” rörelser. – Källa

Men i det stora hela tenderar stenar som rullar uppför och människor som bryter karaktär genom att växla till “influencer-läge” att betraktas som skador i generativa system som ändå kan, trots sådana ihållande fel och akilleshälar, cochas till att producera imponerande resultat och tillräckligt imponerande rubriker.

Standardlösningar

Under den nuvarande perioden njuter hundratals generativa videodomäner, nästan alla av vilka på något sätt bryter mot den nya skaran lagar och motstånd mot GenAI, mot sin tid vid krubban innan lagföring, blocklistor eller andra typer av avplattning avlägsnar dessa kommersiella tjänster.

De större och mer kända webbplatserna av det här slaget, som Kling och Grok, tenderar antingen att följa någon form av självcensur (till slut), eller att svara på kritik genom att ändra de typer av innehåll deras plattformar möjliggör för användare.

Men bakom de stora namnen finns hundratals andra fly-by-night-operationer som ständigt tillgodoser efterfrågan på nya (och ofta mer extrema) typer av innehåll.

Denna typ av låginsatsprovision förhindrar den extremt höga kostnaden och ansträngningen att träna grundmodeller från scratch. Mycket ofta är till och med finjustering, som kostar avsevärt mindre, utesluten.

Därför erbjuder dessa webbplatser “mallar”, som beter sig 100% identiskt i praktiken som anpassat tränade LoRAs, som har använts av AI-hobbyister i mer än fyra år nu, för att träna vilken önskad identitet, stil, objekt och (i fallet med video LoRAs) rörelse eller handling som helst i en dedikerad LoRA-adjunkt.

Med LoRA placerad mellan användaren och grundmodellen kommer resultaten att vara mycket specifika för vad LoRA tränades på, och vanligtvis kommer den bredare prestationen hos modellen att undermineras av LoRA:s viktiga inflytande, som kommer att reproducera sitt eget ämne mycket bra, men också kommer att lägga till det materialet i vilken begäran som helst (om fly-by-night GenAI-videowebbplatser tillåter den här nivån av kontroll – de gör det inte; de erbjuder bara en [ÅTGÄRD AV DITT VAL] mall, och tolkar din inmatningstext/bild/video på det sätt som sannolikt resulterar i en lyckad tillämpning av mallen).

För uppenbara skäl kan jag inte bädda in webbplatsprover i den här artikeln; men forskningslitteraturen har nyligen erbjudit några analogiska exempel. Här, till exempel, visar EffectMaker-projektet principen i handling, där en specifik effekt appliceras på en användarspecifik bild:

Klicka för att spela. I EffectMaker kan finjusterade specifika effekter appliceras på anpassad inmatning. Källa 

Även i dessa högt kuraterade och riktade omständigheter klagar användare ofta över att flera, token-brännande försök måste göras för att erhålla ett bra resultat, och vi bör inte kanske tillskriva leverantörernas snålhet eller skarpt praktik vad som är mer troligt felet på congenitally “hit-and-miss” DiT GenAI-ramverk.

Den breda allmänheten får sin uppfattning om GenAI:s förmågor från cherry-picked exempel som inte är representativa för vad en tillfällig, nybörjanvändare sannolikt skulle få.  Om en användare bränner genom sex försök på en mall (dvs. en LoRA som tillhandahålls av AI-webbplatsen), tenderar de att publicera och berömma det bästa av dessa, vilket ger intrycket att man kunde erhålla sådana resultat genom att fråga grundmodellen – och ger intrycket att generativa grundmodeller är mycket mer disentangled än de verkligen är.

Slutsats

Litteraturen fortsätter att undersöka problemet med sammanflätning, som först såg allvarligt ut runt 2020, i Max Planck/Google samarbete En sansad titt på den oövervakade inlärningen av disentangled representationer och deras utvärdering.

Ytterligare diverse efterföljare till Disentanglement via Contrast (DisCo) dyker upp periodvis, och scenen förblir livlig med en medvetenhet om problemet som vida överträffar allmänhetens medvetenhet om vad AI inte kan göra i det här avseendet.

En kinesisk studie från 2024 föreslår att en lösning på sammanflätning kanske inte är nödvändig alls för att lösa de problem som det medför. Historiskt sett stämmer detta, eftersom många olösliga problem i datorseende övervanns inte genom att lösas, utan genom att överträffas genom helt nya tekniker och tillvägagångssätt.

Tills ett sådant distinkt kontenderare dyker upp, verkar det som om vi kommer att fortsätta att behöva applicera snabbfixar och lappor på GenAI:s brister och begränsningar, och uthärda allmänhetens överskattning av flexibiliteten och formbarheten hos grundmodellerna.

Publicerad första gången måndagen den 23 mars 2026