Waarom Concept Entanglement Betekent dat U geen AI-Video ‘Uw Manier’ Kunt Hebben

AI-videohulpmiddelen beloven totale controle, maar verborgen ‘conceptentanglement’ hecht identiteiten, expressies en gedragingen samen, waardoor hacks en sjablonen nodig zijn die de mythe van moeiteloze GenAI-magie verbreken.

Opinie Sinds ik het onderwerp voor het laatst uitgebreid behandelde vijf jaar geleden, is het probleem van conceptentanglement in getrainde AI-systemen uitgebreid naar een veel bredere gebruikersgroep, zonder dat het echt beter wordt begrepen op zijn eigen voorwaarden.

Destijds waren autoencoder deepfake-systemen (d.w.z. de inmiddels verouderde DeepFaceLab en de minder pornografische FaceSwap, die beide zijn afgeleid van de in diskrediet geraakte en vrijwel meteen verboden 2017 Reddit code-release) de enige spelers in de stad voor het maken van redelijk fotorealistische deepfakes van mensen.

Deze systemen waren afhankelijk van uitgebreide gezichtstrainingsets die bedoeld waren om de AI-modellen informatie te geven over A) hoe de persoon eruitzag in rust (een canoniek referentie-embedding) en B) hoe ze eruitzagen in de diverse situaties die een gezicht kan weerspiegelen, van slaap tot lachen, horror, verveling, cynisme, verdriet, enz.

Identiteit komt niet alleen, maar samen met gezichtsuitdrukkingen. Bovendien kunnen bepaalde emoties alleen beschikbare gezichtsgegevens hebben vanuit bepaalde, extreme hoeken, waardoor de hoek wordt geassocieerd met emotie en vice versa.

Het probleem was dat canonieke identiteit meestal moest worden afgeleid van gezichtscaptures die niet op zichzelf ‘neutraal’ waren, zodat de prevalentie van glimlachen en grijnzen die werden verkregen bij het schrapen van stockdatasets de verdeling zou verschuiven naar een ‘glimlach-standaard’. Dit kwam doordat de grote hoeveelheid rode loper-paparazzifoto’s in de web-geëxtraheerde trainingsdata die deze modellen meestal informeren, evenals om andere even specieuze redenen waarom een dataset kan worden bevooroordeeld naar een bepaald soort beeld.

Met andere woorden, het autoencoder-systeem zou hebben moeten proberen een ‘neutrale’ identiteitsconcept te extraheren uit duizenden afbeeldingen waarbij de gezichtstrekken werden vertekend door normale gezichtsuitdrukkingen.

Het moest ook proberen semantische gezichtsconcepten van verschillende emoties van de hoeken waaruit de gezichten werden genomen te ontwarren. Dit betekende dat als de enige ‘geërfde’ gezichtsuitdrukkingen beschikbaar waren vanuit een profielfoto, het getrainde systeem alleen in staat zou zijn om die emotie optimaal te reproduceren vanuit die hoek.

Naar Voren Kijken

Toen diffusiebenaderingen de gen AI-afbeelding (en later, video) scène overnamen van 2022, werden generatieve systemen veel beter in het extrapoleren van nauwkeurige gezichtsuitdrukkingen wanneer ze beperkte gezichtsgegevens kregen.

Selfs de zeer moeilijke uitdaging van het creëren van overtuigende profielfoto’s is nagenoeg overwonnen, op het huidige state-of-the-art, terwijl expressiegegevens effectief zijn losgekoppeld van identiteit – tot het punt waarop het soort live deepfake-poppenspel dat werd gepionierd door het autoencoder-gedreven DeepFaceLive streaming-systeem veel effectieve offline diffusie-toepassingen heeft, met real-time-uitvoering een waarschijnlijke toekomstige ontwikkeling:

Klik om af te spelen. Van het ‘FlashPortrait’-project, diverse voorbeelden van het besturen van avatars via bronvideo’s. In dit geval maakt het niet uit aan welke kant het ‘realistische’ domein zit, als dat al het geval is. Bron 

Toch, terwijl het canvas van genAI zich heeft verbreed en de output meer geavanceerd is geworden, is het probleem van entanglement eenvoudigweg uitgebreid naar meerdere andere gebieden – en wordt momenteel ‘opgelost’ met enkele vrij goedkope en oude trucs. Als je niet weet wat die trucs zijn, kun je een meer positieve kijk hebben op hoe snel video- en afbeeldings-AI evolueert en zijn oude problemen overwint.

Kletsende Katten

Hopelijk is het duidelijk waarom identiteit en emotie moeilijk te scheiden waren voor die oude autoencoder-systemen van 2017. Het was omdat a) Er te veel gegevens van een bepaald type waren, OF te specifiek een versie van een belangrijk gegevenstype, wat een distributieve bias zou veroorzaken; en/of B) het modelarchitectuur niet in staat was om deze kwaliteiten te scheiden, en de neiging had om ze ‘samen te plakken’ bij inferentietijd, tenzij de gebruiker buitengewone zorg nam om de balans in hun dataset te waarborgen.

Om precies dezelfde reden zijn soortgelijke problemen opgedoken in een aantal open-source- en propriëtaire videomodellen in de afgelopen jaren, hoewel ze zijn overschaduwd door grotere niveaus van kritiek rond hallucinaties, gebrek aan censuur, en diverse andere onderwerpen.

Om bijvoorbeeld te noemen, in het Wan2.+ systeem hebben veel gebruikers ontdekt dat het erg moeilijk is om hun gegenereerde personages te stoppen van voortdurend praten, en vaak ook moeilijk om ze naar de camera te laten kijken.

Het laatste probleem (naar de camera kijken, of de vierde wand breken) dateert van voor de komst van videosynthesesystemen, aangezien het opdook in diverse beeld-only diffusiesystemen, vanwege de prevalentie van ‘naar de camera kijken’-foto’s in web-geëxtraheerde datasets zoals LAION.

Het probleem rond ‘kletsende’ personages komt voort uit de gemakkelijke overvloed aan ‘influencer’-video’s op YouTube, die natuurlijk duizenden uren van rechtstreeks-naar-de-lens-discours bieden, vaak gecurateerd in datasets waar onderzoeks wetenschappers wassen de web-schraap door een academische context te bieden.

Maar tenzij de oorspronkelijke of latere curators zorg dragen voor het beperken van het aantal video’s van dit type, en ze in evenwicht brengen met meer verschillende soorten beeldmateriaal, ontwikkelt zich een ernstige bias in het videomodel, die moet worden aangepakt met prompt-gebaseerde remedies en diverse derde-partij-aanvullende systemen.

Wan’s ‘kletsende’ probleem tegenovergesteld, kwam Reddit-gebruiker u/Several-Estimate-681 met een workaround dat een instelling in het Wan 2.1 Infinite Talk V2V systeem gebruikt – een kader ontworpen om influencer-achtige spraakzaamheid aan te moedigen – dat de gebruiker in staat stelt om het gegenereerde personage te laten zwijgen:

Klik om af te spelen: Gewoon luister – een workaround om personage-attentiviteit in Wan2.+ te bereiken. Bron 

Het is duidelijk dat dit soort shortcuts geen laag-niveau-architectonische oplossingen vertegenwoordigen, en, afwezig van echte oplossingen die worden gevonden en geïmplementeerd door de makers van foundation-modellen (omdat casual hobbyisten meestal geen miljoenen dollars hebben om dergelijk werk te recreëren of fine-tunen), dit betekent dat het spel van entanglement ‘whack a mole’ waarschijnlijk opnieuw wordt ingesteld bij de volgende versie-release.

Goedkoop en Breekbaar

Er is niets in de diffusiearchitectuur zelf dat deze problemen onvermijdelijk maakt; inderdaad, als er een manier was om echt effectieve curatie, triage en hoge-kwaliteit onderschriften en annotaties toe te passen op hyperschaal-datasets met datapunten in de miljoenen, zouden bijna al deze problemen waarschijnlijk verdwijnen.

Maar dat niveau van aandacht voor detail zou vergelijkbaar zijn met het Manhattan-project in termen van logistiek, omvang, benodigde middelen en zuivere langetermijnsinspanning. In een klimaat waar een nieuwe architectuur, of zelfs een nieuwe architectuur versie de omvang van zo’n inspanning zou kunnen tenietdoen, is er momenteel geen wil om dit soort toezegging te doen.

Derhalve blijven de goedkoopste benaderingen de voorkeur. Een voorbeeld van ‘zuinigheid’ is data-augmentatie, die, wanneer deze onbeperkt en op de verkeerde soort dataset-videoclips wordt toegepast, vermakelijke resultaten kan hebben:

Omdat data-augmentatie vaak de richting van de bronvideo’s in de dataset omkeert, kan het AI-model soms ‘onmogelijke’ bewegingen leren. – Bron

Toch worden in het algemeen stenen die bergopwaarts rollen en personages die de karakterbreuk door ‘influencer-modus’ in te schakelen, beschouwd als voorbeelden van collaterale schade in generatieve systemen die, ondanks dergelijke aanhoudende blunders en achilleshielen, kunnen worden overgehaald om indrukwekkende resultaten te produceren en voldoende geïmponerde koppen.

Standaardoplossingen

In de huidige periode genieten honderden generatieve video-domeinen, vrijwel allemaal in strijd met de nieuwe reeks wetten en tegenreacties tegen GenAI, van hun tijd aan de trog voordat wetshandhaving, blocklists of andere vormen van deplatforming deze commerciële diensten verwijderen.

De grotere en bekendere sites van deze aard, zoals Kling en Grok, hebben de neiging om ofwel enige vorm van zelfcensuur te hanteren (uiteindelijk), of om op kritiek te reageren door het soort inhoud dat hun platforms voor gebruikers faciliteren te veranderen.

Maar achter die grote namen zitten honderden andere vlieg-by-night-operaties, die constant voldoen aan de vraag naar nieuwe (en vaak extremere) soorten inhoud.

Dit soort lage-inspanning-voorziening sluit de extreem hoge kosten en inspanning van het trainen van foundation-modellen van scratch uit. Zelfs fine-tunen, dat aanzienlijk minder kost, wordt vaak uitgesloten.

Derhalve bieden deze sites ‘sjablonen’ aan, die 100% identiek zijn in de praktijk aan aangepaste LoRAs, die door AI-hobbyisten al meer dan vier jaar worden gebruikt om elke gewenste identiteit, stijl, object en (in het geval van video-LoRAs) beweging of actie in een toegewijd LoRA-hulpmiddel te trainen.

Met de LoRA tussen de gebruiker en het foundation-model, zullen de resultaten die worden behaald, zeer specifiek zijn voor wat de LoRA is getraind, en zal de bredere prestatie van het model meestal worden ondermijnd door de gewichtsverandering van de LoRA, die zijn eigen onderwerp zeer goed zal reproduceren, maar ook dat materiaal in elk verzoek zal interpoleren (als de vlieg-by-night GenAI-video-sites deze niveau van controle zouden toestaan – ze doen het niet; ze bieden alleen een [ACTIE VAN UW KEUZE] sjabloon aan en interpreteren uw invoer tekst/afbeeldingen/video’s op een manier die het meest waarschijnlijk resulteert in een succesvolle toepassing van de sjabloon).

Om voor de hand liggende redenen kan ik geen website-voorbeelden in dit artikel embedden; maar de onderzoeks literatuur heeft onlangs enkele analoge voorbeelden aangeboden. Hier, bijvoorbeeld, toont het EffectMaker-project het principe in actie, waarbij een specifieke actie wordt toegepast op een door de gebruiker geleverde afbeelding:

Klik om af te spelen. In EffectMaker kunnen fijngestemde specifieke effecten worden toegepast op aangepaste invoer. Bron 

Evenzeer klagen gebruikers vaak dat meerdere, token-verbrandende pogingen nodig zijn om een goed resultaat te behalen, en we zouden niet moeten toeschrijven aan provider-gierigheid of scherpe praktijken wat meer waarschijnlijk het gevolg is van congenitaal ‘hit-and-miss’ DiT GenAI-kaders.

De bredere publieke opinie, kan men betogen, krijgt zijn indruk van de capaciteiten van GenAI van voorbeelden die zijn geselecteerd en niet representatief zijn voor wat een occasionele, onervaren gebruiker waarschijnlijk zou krijgen. Als een gebruiker door zes pogingen heen gaat om een sjabloon (d.w.z. een LoRA die door de AI-website wordt geleverd), zal hij de beste daarvan publiceren en prijzen, waardoor de indruk wordt gewekt dat men dergelijke resultaten kan behalen door het basismodel aan te roepen – en waardoor de indruk wordt gewekt dat generatieve foundation-modellen veel meer ontward zijn dan ze in werkelijkheid zijn.

Conclusie

De literatuur blijft het probleem van entanglement onderzoeken, dat voor het eerst serieus in zicht kwam rond 2020, in de Max Planck/Google samenwerking Een nuchtere kijk op het onbegeleide leren van ontwarde voorstellingen en hun evaluatie.

Daarnaast verschijnen diverse opvolgers van Disentanglement via Contrast (DisCo) periodiek, en de scène blijft levendig met een bewustzijn van het probleem dat de openbare bewustzijn van wat AI niet kan doen in deze opzichten ver overstijgt.

Een Chinees onderzoek uit 2024 suggereert dat een oplossing voor entanglement niet nodig is om de problemen die het met zich meebrengt op te lossen. Historisch gezien klopt dit, aangezien veel onoplosbare problemen in computer visie werden overwonnen, niet door ze op te lossen, maar door ze te overtreffen met geheel nieuwe technieken en benaderingen.

totdat een dergelijke discrete tegenkandidaat opduikt, lijkt het erop dat we blijven moeten doen alsof we hotfixes en pleisters toepassen op de tekortkomingen en beperkingen van GenAI, en het publieke overschatten van de flexibiliteit en ductiliteit van foundation-modellen.

Voor het eerst gepubliceerd op maandag 23 maart 2026