Proč konceptuální spletenost znamená, že nemůžete mít AI video „po svém“

Nástroje pro AI video slibují absolutní kontrolu, ale skrytá “konceptuální spletenost” spojuje identity, výrazy a chování, což nutí k hackům a trikům se šablonami, které rozbití mýtus o bezúsilné magii GenAI.

Názor Od posledního rozsáhlého příspěvku k tomuto tématu před pěti lety se problém konceptuální spletenosti v trénovaných systémech AI rozšířil na mnohem širší okruh uživatelů, aniž by byl sám o sobě lépe pochopen.

V té době byly autoencoderové systémy deepfake (tj. již zaniklé DeepFaceLab a méně pornograficky zaměřené FaceSwap, obě odvozené z haněného a téměř okamžitě zákázaného kódu zveřejněného na Redditu) jedinými možnostmi pro vytváření relativně fotorealistických deepfake lidí.

Tyto systémy se spoléhaly na rozsáhlé trénovací datové sady, které měly poskytnout modelu AI informace o A) tom, jak vypadá osoba v klidu (kanonické referenční vložené), a B) o tom, jak vypadá v různých situacích, které může tvář reflektovat, od spánku až po smích, hrůzu, nenávist, smutek atd.

Identita nepřichází sama o sobě, ale spolu s výrazem obličeje. Kromě toho mohou některé emoce mít dostupná data pouze z určitých, extrémních úhlů, které budou spojovat úhel s emocí a naopak.

Problém spočíval v tom, že kanonická identita obvykle musela být odvozena z tváří, které samy o sobě nebyly “neutrální”, takže převaha úsměvů a grimas získaných při procházení stock datových sad by posunula distribuci směrem k “úsměvnému výchozímu”. To bylo způsobeno vysokým objemem paparazzi snímků na červeném koberci v webových trénovacích datech, které tyto modely obvykle informují, stejně jako jakýkoli jiný stejně pochybný důvod, proč by datová sada mohla být zkreslena směrem k jednomu typu obrazu.

Jinými slovy, autoencoderový systém musel pokusit se extrahovat “neutrální” koncept identity z tisíců obrazů, kde byly obličejové rysy zkrouceny normálními obličejovými výrazy.

Musel se také pokusit rozlišit semantické obličejové koncepty různých emocí z úhlů, z nichž byly obličeje pořízeny. To znamenalo, že pokud byly jediné “vyděšené” obličejové výrazy pořízeny z profilového pohledu, trénovaný systém by mohl reprodukovat tuto emoci optimálně pouze z tohoto pohledu.

Směřování vpřed

Jak difúzní přístupy převzaly generativní obraz a (později) video scénu od roku 2022, generativní systémy se staly mnohem lepšími v extrapolaci přesných obličejových výrazů při omezených datech o obličeji.

Even velmi obtížná výzva vytvářet přesvědčivé profilové pohledy byla téměř překonána, v současném stavu techniky, zatímco expresivní data byla poměrně účinně oddělena od identity – do té míry, že typ živého deepfake loutkářství, který byl průkopnicky použit v DeepFaceLive streamovacím systému, má mnoho účinných offline difúzních aplikací, s reálným provedením jako pravděpodobným budoucím vývojem:

Kliknutím se přehraje. Z projektu ‘FlashPortrait’, různé příklady řízení avatarů prostřednictvím zdrojových videí. V tomto případě nezáleží na tom, na které straně ‘realistická’ doména leží, pokud tam nějaká leží. Zdroj 

Přesto, jak se plátno GenAI rozšířilo a výstup se stal sofistikovanějším, problém spletenosti se jednoduše rozšířil do mnoha dalších oblastí – a je目前 řešen pomocí poměrně levných a starých triků. Pokud nevíte, co tyto triky jsou, můžete mít pozitivnější názor na to, jak rychle se AI video a obrazová technologie vyvíjí a překonává své staré problémy.

Řečitelné kočky

Doufám, že je jasné, proč identita a emoce se pro staré autoencoderové systémy z roku 2017 ukázaly jako obtížně rozlišitelné. Bylo to proto, že a) Existovalo příliš mnoho dat jednoho typu, nebo příliš specifické verze jednoho typu důležitých dat, což by způsobilo distribuční zkreslení; a/nebo B) architektura modelu nebyla dostatečně dobrá na to, aby tyto kvality rozlišila, a tendenci “přilepit je вместе” během inferenční doby, pokud uživatel neučinil mimořádné množství péče, aby zajistil rovnováhu ve své datové sadě.

Stejný důvod vedl k podobným problémům v mnoha otevřených zdrojových a proprietárních video modelech v posledních letech, i když byly tyto problémy zastíněny většími úrovněmi kritiky kolem halucinací, nedostatečné cenzury a různých dalších témat.

Například v systému Wan2.+ mnozí uživatelé zjistili, že je velmi obtížné zabránit tomu, aby jejich vygenerované postavy neustále mluvily, a často také obtížné zabránit tomu, aby hleděly do kamery.

Poslední problém (hledění do kamery nebo rozbití čtvrté zdi) předdává vzniku video syntetizačních systémů, protože se objevil v různých systémech difúze pouze pro obrázky, v důsledku prevalence “hledění do kamery” fotografií ve webových datech, jako je LAION.

Problém kolem “řečité” postav pochází z easy dostupnosti “influencer” videí na YouTube, které přirozeně nabízejí tisíce hodin přímé diskuse, často kurátorské do datových sad, kde výzkumní vědci mohou vyprat webový scrape tím, že poskytují akademický kontext.

Ale pokud původní nebo následné kurátoři nebudou dbát na to, aby omezili počet videí tohoto typu a vyvážili je proti jiným typům záběrů, vyvine se vážný bias v video modelu, který bude vyžadovat nápravu prostřednictvím promptů a různých třetích stran.

Čelíce problému “řečité” postavy, uživatel Redditu u/Several-Estimate-681 přišel s pracovníkem, který využívá nastavení v Infinite Talk V2V systému – frameworku navrženém pro povzbuzení influencer-stylu rozvláčnosti – který umožňuje uživateli umlčet vykreslenou postavu:

Kliknutím se přehraje. Jen poslechněte – workaround pro dosažení pozornosti postavy v Wan2.+. Zdroj 

Zjevně, zkratky tohoto typu nepředstavují nízkoúrovňová architektonická řešení, a vzhledem k tomu, že neformální koníčkáři obvykle nemají miliony dolarů na to, aby rekreovali nebo jemně ladili takovou práci, to znamená, že hra “spletenosti whack a mole” je pravděpodobně resetována na nulu při vydání další verze.

Laciné a křehké

Neexistuje nic v difúzní architektuře, co by tyto problémy činilo nevyhnutelnými; ve skutečnosti, kdyby existoval způsob, jak aplikovat skutečně efektivní kuraci, triáž a vysoce kvalitní popisky a anotace na hyperscale datové sady s miliony datových bodů, téměř všechny tyto problémy by pravděpodobně zmizely.

Jenomže taková úroveň pozornosti k detailu by byla podobná projektu Manhattan v oblasti logistiky, rozsahu, potřebných zdrojů a dlouhodobého úsilí. V klimatu, kde nová architektura nebo dokonce nová verze architektury by mohla zrušit rozsah takového úsilí, neexistuje současná vůle k takovému závazku.

V důsledku toho, pokud je to slučitelné s dosažením použitelných modelů, levné přístupy zůstávají preferovány. Jedním z takových příkladů “šetrnosti” je data augmentation, které, pokud je aplikováno nešetrně a na špatné typy videoklipů v datové sadě, může mít sмешné výsledky:

Protože data augmentation často mění směr zdrojových videí v datové sadě, model AI může občas naučit některé “nemožné” pohyby. – Zdroj

Nicméně v souhrnu se skály, které se valí do kopce, a lidé, kteří rozbití charakter, když se přepnou do “influencer módu”, považují za příklady kolaterálního poškození v generativních systémech, které lze, navzdory takovým trvalým chybám a achillovým patám, donutit k produkci působivých výsledků a dostatečně ohromených titulků.

Šablonová řešení

V současné době stovky generativních video domén, téměř všechny z nich nějakým způsobem porušují novou vlnu zákonů a zpětné vazby proti GenAI, si užívají svůj čas u koryta, než je zákon, blocklisty nebo jiné druhy deplatformizace odstraní tyto komerční služby.

Větší a lépe známé stránky tohoto typu, jako Kling a Grok, mají tendenci buď dodržovat some formu autocenzury (nakonec), nebo reagovat na kritiku tím, že mění typy obsahu, které jejich platformy uživatelům umožňují.

Ale za těmito velkými jmény jsou stovky dalších fly-by-night operací, které neustále uspokojují poptávku po nových (a často extrémnějších) typech obsahu.

Tento typ nízko-nákladového zajištění vylučuje extrémně vysokou cenu a úsilí spojené s trénováním základních modelů od začátku. Velmi často je dokonce i jemné ladění, které stojí podstatně méně, vyloučeno.

Takže tyto stránky nabízejí “šablony”, které se v praxi chovají 100% identicky jako vlastně trénované LoRAs, které AI koníčkáři používají déle než čtyři roky, aby trénovali jakoukoli požadovanou identitu, styl, objekt nebo (v případě video LoRAs) pohyb nebo akci do vyhrazeného LoRA doplňku.

S LoRA umístěným mezi uživatelem a základním modelem budou výsledky získané velmi specifické pro to, na co byl LoRA trénován, a obvykle bude výkon modelu podkopán váhou LoRA, který bude reprodukovat svůj vlastní předmět velmi dobře, ale také ho vloží do jakéhokoli požadavku (pokud by fly-by-night GenAI video stránky umožňovaly tuto úroveň kontroly – neumožňují; nabízejí pouze [AKCE VAŠE VOLBY] šablonu a interpretují váš vstupní text/obrázky/videa způsobem, který je nejpravděpodobněji výsledkem úspěšného použití šablony).

Pro zřejmé důvody nemohu vložit ukázky webových stránek do tohoto článku; ale výzkumná literatura nedávno nabídla některé analogické příklady. Zde, například, projekt EffectMaker ukazuje princip v akci, kdy je specifická akce aplikována na uživatelem dodaný obrázek:

Kliknutím se přehraje. V EffectMakeru lze aplikovat jemně vyladěné specifické efekty na vlastní vstup. Zdroj 

Even v těchto vysoce kurátorovaných a cílených okolnostech si uživatelé často stěžují, že je třeba udělat několik pokusů, které spálí tokeny, aby se získaly dobré výsledky, a neměli bychom perhaps přisuzovat poskytovateli lakotu nebo ostré praktiky, co je více pravděpodobně chyba congenitálně “hit-and-miss” DiT GenAI rámců.

Širší veřejnost by mohla mít dojem o schopnostech GenAI z cherry-picked příkladů, které nejsou reprezentativní pro to, co by mohl získat běžný, začínající uživatel.  Pokud uživatel projde šest pokusů o šablonu (tj. LoRA dodanou AI webovou stránkou), bude tendenci publikovat a chválit nejlepší z nich, čímž se vytváří dojem, že by se daly získat takové výsledky dotazem na základní model – a vytváří se dojem, že generativní základní modely jsou mnohem více disentangled, než ve skutečnosti jsou.

Závěr

Literatura pokračuje v zkoumání problému spletenosti, který se poprvé vážně objevil kolem roku 2020, v rámci spolupráce Max Planck/Google A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation.

Další nástupci Disentanglement via Contrast (DisCo) pravidelně vznikají, a scéna zůstává živá se vědomím problému, které daleko přesahuje veřejné povědomí o tom, co AI není schopné dělat, v tomto ohledu.

Jedna čínská studie z roku 2024 naznačuje, že řešení spletenosti nemusí být nutné pro řešení problémů, které přináší. Historicky to platí, protože mnoho neřešitelných problémů v počítačovém vidění bylo překonáno ne tím, že by byly vyřešeny, ale tím, že byly překonány zcela novými technikami a přístupy.

Dokud nevyvstane takový samostatný uchazeč, zdá se, že budeme muset pokračovat v aplikaci náplastí a obvazů na nedostatky a omezení GenAI, a snášet veřejné přehánění flexibility a ohebnosti základních modelů.

Poprvé zveřejněno v pondělí, 23. března 2026