De ce Împletirea Conceptelor Înseamnă Că Nu Puteți Avea Videouri „La Fel Cum Vreți”

Uneltele de videouri cu inteligență artificială promit control total, dar „împletirea conceptelor” ascunsă leagă identitățile, expresiile și comportamentele împreună, forțând soluții și trucuri de template care sparg mitul magic al GenAI fără efort.

Opinie De când am abordat ultima dată subiectul în detaliu acum cinci ani, problema „împletirii conceptelor” în sistemele de inteligență artificială antrenate s-a extins la un spectru mult mai larg de utilizatori, fără a fi înțeleasă mai bine pe cont propriu.

Atunci, sistemele de autoencoder de deepfake (adică, acum defunctul DeepFaceLab și FaceSwap, ambele derivate din codul lansat pe Reddit în 2017) erau singurele opțiuni pentru crearea de deepfake-uri relativ fotorealiste ale oamenilor.

Aceste sisteme se bazau pe seturi de date extinse de antrenare facială care urmau să furnizeze modelului de inteligență artificială informații despre A) cum arăta persoana în repaus (o înregistrare de referință canonică) și B) cum arăta sub diverse situații pe care un chip le poate reflecta, de la somn până la veselie, groază, plictiseală, cynism, tristețe, etc.

Identitatea vine nu singură, ci împreună cu expresiile faciale. În plus, anumite emoții pot avea disponibile doar date de la unghiuri extreme, care vor tenda să asocieze unghiul cu emoția și viceversa.

Problema era că identitatea canonică trebuia adesea dedusă din capturi faciale care nu erau în sine „neutre”, astfel încât preponderența zâmbetelor și a râsului obținute prin extragerea datelor din seturile de antrenare ar fi deplasat distribuția spre un „zâmbet implicit”. Acest lucru se datora volumului mare de fotografii de pe covorul roșu din datele de antrenare web-extrase care informau aceste modele, precum și oricărui alt motiv specios pentru care un set de date ar fi putut fi biasat spre un anumit tip de imagine.

În alte cuvinte, sistemul de autoencoder trebuia să încerce să extragă un concept de identitate „neutru” din mii de imagini în care trăsăturile faciale erau contorsionate de expresii faciale normale.

De asemenea, trebuia să încerce să desprindă conceptele semantice faciale ale diferitelor emoții de la unghiurile de la care erau luate fețele. Acest lucru însemna că, dacă singurele expresii faciale „înfricoșătoare” disponibile erau luate dintr-o vedere de profil, sistemul antrenat ar fi putut reproduce acea emoție optim doar din acea vedere.

Mergând Înainte

Pe măsură ce abordările bazate pe difuzie au preluat scena gen AI imagine (și, mai târziu, video) din 2022, sistemele generative au devenit mult mai bune la extrapolarea expresiilor faciale precise atunci când li s-au furnizat date faciale limitate.

Chiar și provocarea de a crea vederi de profil convingătoare a fost aproape învinsă, la stadiul actual al tehnologiei, în timp ce datele de expresie au fost destul de eficient separate de identitate – în măsura în care tipul de puppetărie de deepfake în timp real inițiat de sistemul de streaming DeepFaceLive are multe aplicații offline eficiente, cu punerea în scenă în timp real ca o posibilă dezvoltare viitoare:

Faceți clic pentru a reda. Din proiectul ‘FlashPortrait’, exemple diverse de condus avatare prin videouri sursă. În acest caz, nu contează care parte a domeniului „realist” stă, dacă există. Sursă 

Cu toate acestea, pe măsură ce paleta gen AI s-a lărgit și ieșirile au devenit mai sofisticate, problema împletirii s-a răspândit pur și simplu la multe alte domenii – și este în prezent „rezolvată” prin unele trucuri ieftine și vechi. Dacă nu știți ce sunt aceste trucuri, puteți avea o perspectivă mai pozitivă asupra vitezei cu care video și imaginea cu inteligență artificială evoluează și depășesc vechile lor probleme.

Pisici Vorbitoare

Sper că este clar de ce identitatea și emoția s-au dovedit a fi greu de separat pentru vechile sisteme de autoencoder din 2017. Acest lucru se datora faptului că a) Existau prea multe date de un anumit tip, SAU o versiune prea specifică a unui tip important de date, oricare dintre acestea va cauza o biasare distributivă; și/sau B) arhitectura modelului nu era capabilă să despartă aceste calități și tendea să le „lipească” împreună la momentul inferenței, cu excepția cazului în care utilizatorul lua o cantitate extraordinară de grijă pentru a asigura echilibrul în setul de date.

Pentru exact același motiv, probleme similare au apărut într-un număr de modele de video deschise și proprietare în ultimii ani, deși au fost umbrite de niveluri mai mari de critică în jurul halucinațiilor, lipsei de cenzură și diverse alte subiecte.

De exemplu, în sistemul Wan2.+, mulți utilizatori au găsit că este foarte dificil să împiedice personajele generate să vorbescă în mod constant și, adesea, este dificil să le împiedice să se uite la cameră.

Problema cu personajele care se uită la cameră (sau care sparg al patrulea perete) precede apariția sistemelor de sinteză de video, deoarece a apărut în diverse sisteme de difuzie numai pentru imagini, datorită prevalenței fotografiilor „privind către cameră” în seturile de date extrase din web, cum ar fi LAION.

Problema cu personaje „vorbitoare” provine din abundența ușoară a videourilor „influencer” de pe YouTube, care oferă în mod natural mii de ore de discurs direct către obiectiv, adesea curate în seturi de date în care oamenii de știință pot spăla extragerea din web prin furnizarea unui context academic.

Dar, cu excepția cazului în care curatorii originali sau cei ulterioari iau măsuri pentru a limita numărul de videoclipuri de acest tip și pentru a le echilibra împotriva altor tipuri de filmări, se dezvoltă o biasare severă în modelul de video, care va necesita abordări bazate pe remedii și sisteme auxiliare terțe.

Confruntat cu problema de „vorbărie” a lui Wan, utilizatorul Reddit u/Several-Estimate-681 a găsit o soluție care folosește o setare din sistemul Infinite Talk V2V al lui Wan 2.1 – un cadru proiectat pentru a încuraja vorbăria de tip influencer – care permite utilizatorului să tacă personajul generat:

Faceți clic pentru a reda. Doar ascultați – o soluție pentru a obține atenția personajului în Wan2.+. Sursă 

Este evident că scurtăturile de acest fel nu reprezintă soluții arhitecturale de nivel scăzut și, în absența unor soluții adevărate implementate de creatorii modelelor de bază (deoarece hobbyiștii ocazionali nu au, de obicei, milioane de dolari pentru a recrea sau a a ajusta astfel de lucrări), acest lucru înseamnă că jocul de „împletire a conceptelor” este probabil să fie resetat la zero la următoarea lansare de versiune.

Ieftin și Fragil

Nu există nimic în arhitectura de difuzie care să facă aceste probleme inevitabile; într-adevăr, dacă ar exista o modalitate de a aplica o curățenie, o triaj și o anotare de înaltă calitate a datelor hiperscale cu puncte de date care numără milioane, aproape toate aceste probleme ar dispărea.

Cu toate acestea, acel nivel de atenție la detalii ar fi similar cu Proiectul Manhattan în ceea ce privește logistica, sfera, resursele necesare și efortul pe termen lung. Într-un climat în care o nouă arhitectură, sau chiar o nouă versiune de arhitectură, ar putea anula întinderea unui astfel de efort, nu există o voință actuală de a face un astfel de angajament.

Prin urmare, în măsura în care se obțin modele utilizabile, abordările cele mai ieftine rămân preferate. Un exemplu de „lăcomie” este augmentarea datelor, care, atunci când se aplică în mod neliber și la tipurile greșite de clipuri video din seturile de date, poate avea rezultate amuzante:

Deoarece augmentarea datelor inversează adesea direcția videourilor sursă din setul de date, modelul de inteligență artificială poate învăța unele „mișcări imposibile”. – Sursă

Cu toate acestea, în ansamblu, pietrele care se rostogolesc în sus și oamenii care își întrerup personajul, trecând în „modul influencer”, tind să fie considerate exemple de daune colaterale în sisteme generative care, în ciuda unor astfel de greșeli persistente și a unor puncte slabe ale achilelor, pot fi îndemnate să producă rezultate impresionante și să provoace titluri suficient de uluitoare.

Soluții Standard

În perioada actuală, sute de domenii generative de video, aproape toate într-un fel sau altul încălcând noua serie de legi și reacții negative împotriva GenAI, se bucură de timpul lor la hrana înainte ca aplicarea legii, listele de blocaj sau alte tipuri de deplatformare să elimine aceste servicii comerciale.

Siturile mai mari și mai cunoscute de acest fel, cum ar fi Kling și Grok, tind să respecte o formă de autocenzură (în cele din urmă), sau să răspundă la critică prin schimbarea tipului de conținut pe care îl facilitează pentru utilizatori.

Însă, în spatele acestor nume mari, există sute de alte operațiuni de ocazie, care se adaptează constant la cererea de conținut nou (și adesea mai extrem) de tipuri.

Acest tip de furnizare cu efort redus exclude costul și efortul extrem de ridicat de a antrena modele de bază de la zero. Chiar și ajustarea, care costă considerabil mai puțin, este adesea exclusă.

Prin urmare, aceste site-uri oferă „șabloane”, care se comportă 100% identic în practică cu LoRAs personalizate, care au fost utilizate de hobbyiștii de inteligență artificială de peste patru ani pentru a antrena orice identitate, stil, obiect și (în cazul videourilor LoRA) mișcare sau acțiune într-un adjunct LoRA dedicat.

Cu LoRA interpus între utilizator și modelul de bază, rezultatele obținute vor fi foarte specifice ceea ce a fost antrenat LoRA și, de obicei, performanța generală a modelului este subminată de influența de îndoire a greutății a LoRA, care va reproduce materialul său în mod foarte bun, dar va interpune acel material în orice solicitare, dacă site-urile de video GenAI ar permite acest nivel de control – nu o fac; ei oferă doar un [ACȚIUNE DE ALEGERE] șablon și interpretează inputul dvs. de text/imagini/videouri în modul cel mai probabil de a obține o aplicare de succes a șablonului.

Pentru motive evidente, nu pot încorpora mostre de site-uri web în acest articol; dar literatura de cercetare a oferit recent exemple analoge. Aici, de exemplu, proiectul EffectMaker arată principiul în acțiune, prin care o acțiune specifică este aplicată unei imagini furnizate de utilizator:

Faceți clic pentru a reda. În EffectMaker, efecte specifice pot fi aplicate intrărilor personalizate. Sursă 

Chiar și în aceste circumstanțe extrem de curate și țintite, utilizatorii se plâng adesea că trebuie să facă multiple încercări care consumă jetoni pentru a obține un rezultat bun, și nu ar trebui să atribuim furnizorilor lăcomie sau practici dure ceea ce este mai probabil vina congenitală a cadrului GenAI „încercare și eroare” DiT.

Publicul larg, se poate argumenta, își formează impresia despre capacitățile GenAI din exemple selectate, care nu sunt reprezentative pentru ceea ce un utilizator ocazional ar putea obține.  Dacă un utilizator arde prin șase încercări la un șablon (adică, un LoRA furnizat de site-ul de inteligență artificială), ei tind să publice și să laude cea mai bună dintre acestea, dând impresia că așa ceva s-ar putea obține prin consultarea modelului de bază – și dând impresia că modelele de bază generative sunt mult mai separate decât sunt în realitate.

Concluzie

Literatura continuă să examineze problema împletirii, care a apărut serios în jurul anului 2020, în colaborarea Max Planck/Google O privire sobră asupra învățării nesupravegheate a reprezentărilor separate și evaluarea lor.

În plus, diverse succesoare ale Desprinderea prin contrast (DisCo) apar periodic, și scena rămâne animată, cu o conștientizare a problemei care depășește cu mult conștientizarea publică a ceea ce nu poate face inteligența artificială în acest sens.

O studiu chinez din 2024 sugerează că o rezolvare a împletirii nu ar fi necesară pentru a rezolva problemele pe care le aduce. În mod istoric, acest lucru sună adevărat, deoarece multe probleme intractabile din vedere au fost depășite nu prin rezolvarea lor, ci prin depășirea lor prin tehnici și abordări complet noi.

Până la apariția unui concurent discret, pare că vom continua să aplicăm soluții provizorii și pansamente pentru lipsurile și limitările GenAI, și să suportăm supralicitarea publică a flexibilității și ductilității modelelor de bază.

Publicat luni, 23 martie 2026