Dlaczego splątanie pojęć oznacza, że nie możesz mieć filmu AI “po swojemu”

Narzędzia wideo AI obiecują całkowitą kontrolę, ale ukryte “splątanie pojęć” łączy tożsamości, wyrażenia i zachowania, zmuszając do hakowania i sztuczek z szablonami, które rozbijają mit łatwej magii GenAI.

Opinia Od czasu, gdy ostatni raz zajmowałem się tym tematem pięć lat temu, problem splątania pojęć w systemach szkoleniowych AI rozprzestrzenił się na znacznie szerszy krąg użytkowników, bez prawdziwego zrozumienia go w swoich własnych kategoriach.

Wtedy systemy autoencoderów deepfake (tj. już nieistniejące DeepFaceLab i mniej skłonne do pornografii FaceSwap, oba pochodzące z dyskredytowanego i niemal natychmiast wykluczonego kodu Reddit z 2017 roku) były jedyną opcją dla tworzenia względnie fotorealistycznych deepfake’ów ludzi.

Te systemy opierały się na obszernych zestawach danych szkoleniowych twarzy, które miały dostarczyć modelowi AI informacji o tym, A) jak wygląda osoba w spoczynku (kanoniczne odniesienie) i B) jak wygląda pod różnymi sytuacjami, od snu do śmiechu, przerażenia, nudów, cynizmu, smutku itd.

Tożsamość nie występuje pojedynczo, lecz razem z wyrażeniami twarzy. Ponadto pewne emocje mogą mieć dostępne tylko z pewnych, ekstremalnych kątów, co będzie skojarzone z kątem i emocją.

Problem polegał na tym, że kanoniczna tożsamość musiała być wywnioskowana z ujęć twarzy, które same w sobie nie były “neutralne”, więc przewaga uśmiechów i grymasów w danych szkoleniowych przesunęłaby dystrybucję w kierunku “uśmiechniętego domyślnego”. Wynikało to z dużej ilości zdjęć z czerwonego dywanu w danych szkoleniowych, które zwykle informują te modele, a także z innych równie wątpliwych powodów, dla których zestaw danych mógł być ukierunkowany na jeden rodzaj obrazu.

Innymi słowy, system autoencoder musiał próbować wyodrębnić “neutralną” koncepcję tożsamości z tysiąca obrazów, na których cechy twarzy były zniekształcone przez normalne wyrażenia twarzy.

Musiał również próbować rozłączyć semantyczne koncepcje twarzy różnych emocji od kątów, z których zostały wykonane. Oznaczało to, że jeśli jedynie “przerażone” wyrażenia twarzy były dostępne z profilu, wytrenowany system mógł odtworzyć tę emocję optymalnie tylko z tego widoku.

Kierunek do przodu

Gdy podejścia oparte na dyfuzji przejęły scenę GenAI obrazu (i później wideo) od 2022 roku, systemy generatywne stały się znacznie lepsze w ekstrapolowaniu dokładnych wyrażeń twarzy przy ograniczonych danych twarzy.

Nawet wyjątkowo trudne wyzwania tworzenia przekonywujących widoków z profilu zostały niemal pokonane, biorąc pod uwagę obecny stan sztuki, podczas gdy dane wyrażeń zostały skutecznie oddzielone od tożsamości – do tego stopnia, że rodzaj puppeteeringu deepfake na żywo, pionierski w systemie DeepFaceLive, ma wiele skutecznych zastosowań offline, a realizacja w czasie rzeczywistym jest prawdopodobnym rozwojem przyszłym:

Kliknij, aby odtworzyć. Z projektu ‘FlashPortrait’, różne przykłady prowadzenia awatarów przez źródłowe filmy wideo. W tym przypadku nie ma znaczenia, po której stronie znajduje się “realistyczna” domena, jeśli w ogóle. Źródło 

Jednak w miarę jak kanwa GenAI się rozszerzała i wyniki stawały się bardziej zaawansowane, problem splątania po prostu rozprzestrzenił się na wiele innych obszarów – i obecnie jest “naprawiany” przez dość tanie i stare sztuczki. Jeśli nie wiesz, jakie to sztuczki, możesz mieć bardziej pozytywny pogląd na to, jak szybko ewoluuje AI wideo i image, pokonując swoje stare błędy.

Rozmowne koty

Mam nadzieję, że jest jasne, dlaczego tożsamość i emocje okazały się trudne do rozdzielenia dla starych systemów autoencoder z 2017 roku. Było to spowodowane tym, że a) Było zbyt wiele danych jednego rodzaju, LUB zbyt specyficzna wersja ważnych danych, co powodowałoby dystrybucyjną stronniczość; i/lub B) architektura modelu nie była w stanie oddzielić tych jakości, a tendencja do “przyklejania” ich razem podczas inferencji, chyba że użytkownik podjął nadzwyczajne środki, aby zapewnić równowagę w swoim zestawie danych.

Właśnie z tego samego powodu podobne problemy pojawiły się w wielu otwartych i własnych modelach wideo w ciągu ostatnich kilku lat, choć zostały one zdominowane przez większe poziomy krytyki wokół halucynacji, braku cenzury i innych tematów.

Na przykład w systemie Wan2.+ wiele użytkowników stwierdziło, że jest to bardzo trudne, aby powstrzymać wygenerowane postacie od ciągłego mówienia, a często również trudne, aby powstrzymać je od patrzenia na kamerę.

Ostatni problem (patrzenie na kamerę lub łamanie czwartej ściany) poprzedzał pojawienie się systemów syntezy wideo, ponieważ pojawił się w różnych systemach dyfuzji tylko dla obrazów, ze względu na powszechność zdjęć “patrzących na kamerę” w danych zebranych z sieci, takich jak LAION.

Problem z “rozmownymi” postaciami wynika z łatwego dostępu do “influencer” filmów wideo na YouTube, które naturalnie oferują tysiące godzin dyskursu prosto do obiektywu, często przetwarzane w zestawy danych, w których naukowcy mogą prania web-scraping, zapewniając kontekst akademicki.

Ale chyba, że oryginalni lub późniejsi kuratorzy zadbają o to, aby ograniczyć liczbę filmów tego rodzaju i zrównoważyć je z innymi rodzajami filmów, powstaje poważana stronniczość w modelu wideo, którą trzeba będzie rozwiązać za pomocą środków opartych na podpowiedziach i różnych systemów trzecich.

Faced with Wan’s ‘chattiness’ issue, Reddit user u/Several-Estimate-681 came up with a workaround that leverages a setting in the Wan 2.1 Infinite Talk V2V system – a framework designed to encourage influencer-style loquaciousness – that allows the user to silence the rendered character:

Click to play: Just listen – a workaround to achieve character attentiveness in Wan2.+. Source 

Jasne, że takie skróty nie reprezentują niskopoziomowych rozwiązań architektonicznych, a brak prawdziwych rozwiązań, które zostałyby znalezione i wdrożone przez twórców modeli podstawowych (ponieważ amatorzy nie mają zwykle milionów dolarów, aby odtworzyć lub dokształcić takie prace), oznacza to, że gra w “whack a mole” związana ze splątaniem jest prawdopodobnie zresetowana do zera przy następnej wersji.

Tani i kruchy

Nie ma nic w architekturze dyfuzji, co czyni te problemy nieuniknione; w rzeczywistości, gdyby było możliwe zastosowanie naprawdę skutecznej kuracji, triażu i wysokiej jakości podpisywania i adnotowania do zestawów danych o milionach punktów danych, prawie wszystkie te problemy zniknęłyby.

Jednakże taki poziom uwagi do szczegółów byłby porównywalny z projektem Manhattan w kwestii logistyki, zakresu, potrzebnych zasobów i ogromnego długoterminowego wysiłku. W klimacie, w którym nowa architektura lub nawet nowa wersja architektury mogłaby unicestwić takiego rodzaju wysiłek, nie ma obecnie woli, aby złożyć taki rodzaj zobowiązania.

W związku z tym, o ile jest to zgodne z uzyskaniem użytecznych modeli, najtańsze podejścia pozostają preferowane. Jednym z przykładów “skąpieństwa” jest rozszerzenie danych, które, gdy jest stosowane w sposób niewolny i do niewłaściwych rodzajów klipów wideo w zestawie danych, może mieć śmieszne wyniki:

Ponieważ rozszerzenie danych często odwraca kierunek filmów źródłowych w zestawie danych, model AI może czasem nauczyć się “niemożliwych” ruchów. – Źródło

Jednak w sumie, kamienie toczące się pod górę i ludzie łamiący charakter, przechodząc w tryb “influencera”, są uważane za przypadki szkód ubocznych w systemach generatywnych, które mogą, pomimo takich uporczywych błędów i słabych stron, być nakłaniane do produkcji imponujących wyników i wystarczająco zadowalających nagłówków.

Rozwiązania gotowe

W obecnym okresie setki generatywnych domen wideo, prawie wszystkie z nich w jakiś sposób łamią nową falę przepisów i sprzeciwu wobec GenAI, cieszą się swoim czasem przy stole, zanim egzekwowanie prawa, listy blokowania lub inne rodzaje deplatformingu usuną te komercyjne usługi.

Większe i bardziej znane strony tego rodzaju, takie jak Kling i Grok, tendencję mają albo przestrzegać pewnej formy autocenzury (ostatecznie), albo reagować na krytykę, zmieniając rodzaj treści, których użytkownicy ich platformy dokonują.

Ale za tymi dużymi nazwami kryją się setki innych, ulotnych operacji, które nieustannie zaspokajają popyt na nowe (i często bardziej ekstremalne) rodzaje treści.

Ten rodzaj niskiego wysiłku uniemożliwia bardzo wysoki koszt i wysiłek szkolenia modeli podstawowych od podstaw. Często nawet dokształcanie, które kosztuje znacznie mniej, jest wykluczone.

Dlatego te strony oferują “szablony”, które zachowują się 100% identycznie w praktyce jak niestandardowo wytrenowane LoRAs, które są używane przez hobbystów AI od ponad czterech lat, aby wytrenować dowolną tożsamość, styl, obiekt i (w przypadku wideo LoRAs) ruch lub akcję do dedykowanego dodatku LoRA.

Z LoRA umieszczonym między użytkownikiem a modelem podstawowym wyniki uzyskane będą bardzo specyficzne dla tego, na czym LoRA został wytrenowany, a zwykle szersze działanie modelu jest podważane przez wpływ LoRA, który odtworzy swoją własną treść bardzo dobrze, ale również wstawi tę treść do każdego wniosku, o ile strony GenAI wideo nie zezwalają na taki poziom kontroli – po prostu oferują [AKCJA WYBRANA PRZEZ CIEBIE] szablon i interpretują wprowadzony tekst/obrazy/filmy wideo w sposób najbardziej prawdopodobny, aby osiągnąć pomyślną aplikację szablonu.

Jeśli chodzi o przykłady z literatury, projekt EffectMaker pokazuje zasadę w działaniu, gdzie określona akcja jest stosowana do obrazu dostarczonego przez użytkownika:

Kliknij, aby odtworzyć. W EffectMaker, można zastosować wyrafinowane efekty do niestandardowych danych wejściowych. Źródło 

Nawet w tych wysoko wyselekcjonowanych i ukierunkowanych okolicznościach użytkownicy często skarżą się, że wielokrotne, spalające tokeny próby muszą być wykonane, aby uzyskać dobry wynik, i nie powinniśmy może przypisywać dostawcy chciwości lub nieuczciwych praktyk, co jest bardziej prawdopodobne wina “trafionych i przegapionych” DiT ram GenAI.

Szeroka publiczność, można powiedzieć, ma wrażenie o możliwościach GenAI z wyselekcjonowanych przykładów, które nie są reprezentatywne dla tego, co zwykły, początkujący użytkownik mógłby uzyskać.  Jeśli użytkownik spali przez sześć prób szablonu (tj. LoRA dostarczonego przez stronę AI), opublikuje i wychwali najlepszy z nich, dając wrażenie, że można uzyskać takie wyniki, zapytując podstawowy model – i dając wrażenie, że model podstawowy jest znacznie bardziej rozłączony, niż jest w rzeczywistości.

Podsumowanie

Literatura nadal bada problem splątania, który pojawił się poważnie około 2020 roku w współpracy Max Planck/Google A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation.

Ponadto różne następcy Disentanglement via Contrast (DisCo) periodycznie pojawiają się, a scena pozostaje żywa ze świadomością problemu, która znacznie przewyższa publiczną świadomość tego, co AI nie może zrobić.

Jeden chiński raport z 2024 roku sugeruje, że rozwiązanie problemu splątania może nie być konieczne, aby rozwiązać problemy, które ono powoduje. Historycznie to brzmi prawdziwie, ponieważ wiele nierozwiązywalnych problemów w widzeniu komputerowym zostało pokonanych nie przez rozwiązanie, ale przez przekroczenie ich przez całkowicie nowe techniki i podejścia.

Aż do momentu, gdy taki dyskretny kandydat się pojawi, wydaje się, że będziemy musieli nadal stosować łatki i plastry na braki i ograniczenia GenAI, oraz znosić publiczne przecenianie giętkości i elastyczności modeli podstawowych.

Pierwotnie opublikowane w poniedziałek, 23 marca 2026