Generarea video perfectă cu ajutorul inteligenței artificiale

Generatorii de video cu inteligență artificială adesea oferă rezultate care sunt aproape, dar nu exact ceea ce doriți, în ceea ce privește îndeplinirea cerințelor textului-prompt. Dar o nouă soluție la nivel înalt face toată diferența.

Sistemele generative de video au adesea dificultăți în a crea videoclipuri care sunt cu adevărat creative sau sălbatice și adesea nu reușesc să îndeplinească așteptările utilizatorilor cu privire la textul-prompt.

Una dintre cauzele acestui fapt este încurcătura – faptul că modelele de viziune/limbaj trebuie să facă compromisuri cu privire la durata de antrenament a datelor sursă. Prea puțin antrenament, și conceptele sunt flexibile, dar nu pe deplin formate – prea mult, și conceptele sunt exacte, dar nu mai sunt suficient de flexibile pentru a fi integrate în combinații noi.

Puteți obține o idee despre acest lucru din videoclipul încorporat mai jos. Pe partea stângă se află felul de compromis pe jumătate pe care îl oferă multe sisteme de inteligență artificială în răspuns la un prompt exigent (promptul este afișat în partea superioară a videoclipului în toate cele patru exemple) care cere o juxtapunere a elementelor care este prea fantastică pentru a fi fost un exemplu real de antrenament. Pe partea dreaptă, se află un output al inteligenței artificiale care respectă promptul mult mai bine:

Faceți clic pentru a juca (fără sunet). Pe partea dreaptă, vedem ‘factorizarea’ WAN 2.2, care oferă cu adevărat ceea ce cere promptul, în comparație cu interpretările vagi ale ‘Wan 2.2’ standard, pe partea stângă. Vă rugăm să consultați fișierele video sursă pentru o rezoluție mai bună și multe alte exemple, deși versiunile curate prezentate aici nu există pe site-ul proiectului și au fost asamblate pentru acest articol. Sursă

Bine, deși trebuie să iertăm mâinile umane ale raței care aplaudă (!), este clar că exemplele de pe partea dreaptă respectă promptul original mult mai bine decât cele de pe partea stângă.

În mod interesant, ambele arhitecturi prezentate sunt esențialmente aceeași arhitectură – populara și foarte capabilă Wan 2.2, o lansare chineză care a câștigat teren semnificativ în comunitățile deschise și hobbyist în acest an.

Diferența constă în faptul că a doua conductă generativă este factorizată, ceea ce înseamnă că un model de limbaj mare (LLM) a fost utilizat pentru a reinterpreta primul cadru (seed) al videoclipului, astfel încât să fie mult mai ușor pentru sistem să ofere ceea ce cere utilizatorul.

Acest “ancorare vizuală” implică injectarea unei imagini create din acest prompt LLM îmbunătățit în conducta generativă ca “cadru de start” și utilizarea unui model interpretativ LoRA pentru a ajuta la integrarea “intrusului” în procesul de creare a videoclipului.

Rezultatele, în ceea ce privește fidelitatea promptului, sunt destul de remarcabile, în special pentru o soluție care pare destul de elegantă:

Faceți clic pentru a juca (fără sunet). Mai multe exemple de generări de videoclipuri “factorizate” care respectă cu adevărat scenariul. Vă rugăm să consultați fișierele video sursă pentru o rezoluție mai bună și multe alte exemple, deși versiunile curate prezentate aici nu există pe site-ul proiectului și au fost asamblate pentru acest articol.

Această soluție vine sub forma unui nou articol Generarea de videoclipuri factorizate: Descompunerea construcției scenei și a sintezei temporale în modelele de difuzie text-imagini, și site-ul proiectului însoțitor.

În timp ce multe sisteme actuale încearcă să îmbunătățească acuratețea promptului prin utilizarea modelelor de limbaj pentru a rescrie textul vag sau subspecificat, noul articol susține că această strategie duce încă la eșec atunci când reprezentarea internă a scenei a modelului este defectuoasă.

Chiar și cu un prompt rescris detaliat, modelele text-imagini adesea miscompun elemente cheie sau generează stări inițiale incompatibile care încalcă logica animației. Atâta timp cât primul cadru nu reflectă ceea ce descrie promptul, videoclipul rezultat nu poate recupera, indiferent de cât de bun este modelul de mișcare.

Articolul afirmă*:

‘[Modelele] text-imagini adesea produc cadre distribuite, dar obțin [evaluări] comparabile cu modelele I2V, indicând faptul că modelarea mișcării rămâne rezonabil de naturală, chiar și atunci când fidelitatea scenei este relativ slabă.

‘Modelele imagini-imagini prezintă un comportament complementar, obținând [evaluări] puternice din scene inițiale precise și o coerență temporală mai slabă, în timp ce I2V+text echilibrează ambele aspecte.

‘Acest contrast sugerează o nesiguranță structurală în modelele actuale T2V: ancorarea scenei și sinteza temporală beneficiază de prejudecăți inductive distincte, dar arhitecturile existente încearcă să învețe ambele simultan într-un singur model.’

O comparație diagnostică a modurilor de generare a arătat că modelele fără ancorare explicită au obținut punctaje bune pentru mișcare, dar adesea au compromis layout-ul scenei, în timp ce abordările condiționate de imagine au prezentat un model opus:

Comparație a modurilor de generare de videoclipuri pe două seturi de date, arătând că I2V+text obține cea mai bună calitate a cadrului (FID) și coerență temporală (FVD), subliniind beneficiul separării construcției scenei de mișcare. Sursă

Aceste constatări indică o eroare structurală în care modelele actuale încearcă să învețe atât layout-ul scenei, cât și animația, deși cele două sarcini necesită tipuri diferite de prejudecăți inductive și sunt gestionate mai bine separat.

Poate cel mai interesant este faptul că această “truc” poate fi aplicată la instalații locale ale unor modele precum Wan 2.1 și 2.2, și alte modele de difuzie de videoclipuri, cum ar fi Hunyuan Video. Din punct de vedere anecdotic, comparând calitatea ieșirilor hobbyiștilor cu cea a portalurilor generative comerciale, cum ar fi Kling și Runway, majoritatea furnizorilor de API încearcă să îmbunătățească ofertele lor deschise cu LoRAs și, pare-se, cu trucuri de acest fel. Prin urmare, această abordare particulară ar putea reprezenta o oportunitate pentru contingentul FOSS.

Testele efectuate pentru această metodă indică faptul că această abordare simplă și modulară oferă un nou standard de referință pe T2V-CompBench, îmbunătățind semnificativ toate modelele testate. Autorii menționează în concluzie că, deși sistemul lor îmbunătățește radical fidelitatea, nu abordează (și nici nu este destinat să abordeze) deriva identității, care este în prezent o problemă majoră în cercetarea inteligenței artificiale generative.

Noul articol provine de la patru cercetători de la Ecole Polytechnique Fédérale de Lausanne (EPFL) din Elveția.

Metodă și date

Propunerea centrală a noii tehnici constă în faptul că modelele de difuzie text-imagini necesită a fi “ancorate” în cadre inițiale care să se potrivească cu adevărat promptului text.

Pentru a asigura ca modelul să respecte cadrul inițial, noua metodă perturbă procesul standard de difuzie prin injectarea unui latent curat din imaginea-ancoră la timpul zero, înlocuind una dintre intrările zgomotoase obișnuite. Această intrare neobișnuită confuză modelul la început, dar cu o reglare fină minimă LoRA, acesta învață să trateze cadrul injectat ca o ancoră vizuală fixă, mai degrabă decât ca parte a traiectoriei zgomotoase:

Metodă în două etape pentru ancorarea generării de videoclipuri text-imagini cu o ancoră vizuală: Stânga, modelul este reglat fin cu o LoRA ușoară pentru a trata un latent curat injectat ca o constrângere de scenă fixă. Dreapta, promptul este divizat într-un cadru de caption, care este utilizat pentru a genera imaginea-ancoră care conduce videoclipul.

La inferență, metoda rescrie promptul pentru a descrie numai primul cadru, utilizând un LLM pentru a extrage o stare de scenă inițială plauzibilă, concentrată pe layout și aspect.

Acest prompt rescris este transmis unui generator de imagini pentru a produce un cadru-ancoră candidat (care poate fi refăcut opțional de utilizator). Cadrul selectat este codat într-un latent și injectat în procesul de difuzie prin înlocuirea primului timp, permițând modelului să genereze restul videoclipului în timp ce rămâne ancorat în scena inițială – un proces care funcționează fără a necesita modificări ale arhitecturii subiacente.

Procesul a fost testat prin crearea de LoRAs pentru Wan2.2-14B, Wan2.1-1B și CogVideo1.5-5B. Antrenamentul LoRA a fost efectuat la un rang de 256, pe 5000 de clipuri aleatoriu selectate din colecția UltraVideo.

Antrenamentul a durat 6000 de pași și a necesitat 48 de ore de procesor GPU^† pentru Wan-1B și CogVideo-5B și 96 de ore de procesor GPU pentru Wan-14B. Autorii menționează că Wan-5B suportă în mod nativ condiționarea text-numai și text-imagini (care sunt în acest caz impuse asupra cadrului mai vechi), și prin urmare nu a necesitat niciun antrenament suplimentar.

Teste

În experimentele efectuate pentru această metodă, fiecare prompt text a fost inițial rafinat utilizând Qwen2.5-7B-Instruct, care a utilizat rezultatul pentru a genera o “captură de cadru” detaliată conținând o descriere a întregii scene. Acesta a fost apoi transmis QwenImage, care a fost însărcinat cu generarea “cadrului magic” care urma să fie interpus în procesul de difuzie.

Benchmark-urile utilizate pentru a evalua sistemul au inclus T2V-CompBench, pentru testarea înțelegerii compoziționale prin evaluarea modului în care modelele păstrează obiecte, atribute și acțiuni într-o scenă coerentă; și VBench 2.0, pentru evaluarea raționamentului mai larg și a coerenței pe 18 metrii, grupate în creativitate, raționament comun, controlabilitate, fidelitate umană și fizică:

Pe toate cele șapte categorii de evaluare ale T2V-CompBench, metoda T2V factorizată a depășit atât modelele standard, cât și cele upsampled, pentru toate modelele testate, cu câștiguri care ajung până la 53,25%. Variantele cu cel mai ridicat punctaj au obținut adesea punctaje egale sau mai mari decât benchmark-ul PixVerse-V3 proprietar.

În ceea ce privește această primă rundă de teste, autorii afirmă*:

‘[Pentru] toate modelele, adăugarea unei imagini-ancoră îmbunătățește în mod constant performanțele compoziționale. Toate modelele Factorizate mai mici (CogVideo 5B, Wan 5B și Wan 1B) depășesc modelul T2V Wan 14B mai mare.

‘Modelul nostru Factorizat Wan 5B depășește și benchmark-ul comercial PixVerse-V3, care este cel mai bun model raportat pe benchmark. Aceasta demonstrează că ancorarea vizuală îmbunătățește semnificativ înțelegerea scenei și a acțiunii, chiar și în modele cu capacități mai mici.

‘În cadrul fiecărei familii de modele, varianta factorizată depășește modelul original. Notabil, LoRA noastră ușoară ancorată pe WAN 14B atinge o performanță comparabilă cu varianta sa preantrenată I2V 14B (0,661 vs. 0,666), în ciuda faptului că nu a necesitat antrenament complet.’

Următoarea a fost runda VBench2.0:

Abordarea T2V factorizată a îmbunătățit în mod constant performanța VBench 2.0 pe compoziție, raționament comun, controlabilitate și fizică, cu câștiguri care depășesc 60% – deși fidelitatea umană a rămas sub benchmark-ul Veo 3 proprietar.

Pe toate arhitecturile, abordarea factorizată a îmbunătățit punctajele în toate categoriile VBench, cu excepția fidelității umane, care a scăzut ușor, chiar și cu prompturi upsampled. WAN 5B a depășit modelul Wan 14B mai mare, consolidând rezultatele anterioare T2V-CompBench care au arătat că ancorarea vizuală a contribuit mai mult decât scalarea.

Deși câștigurile pe VBench au fost constante, acestea au fost mai mici decât cele observate pe T2V-CompBench, și autorii atribuie acest lucru regimului de evaluare mai strict al VBench.

Pentru testele calitative, articolul oferă imagini statice, dar ne referim cititorul la videoclipurile compozite încorporate în acest articol, pentru o idee mai clară, cu rezerva că videoclipurile sursă sunt mai numeroase și diverse, precum și cu o rezoluție și detalii mai mari. Găsiți-le aici. În ceea ce privește rezultatele calitative, articolul afirmă:

‘Videoclipurile ancorate prezintă în mod constant o compoziție de scenă mai precisă, o legătură mai puternică obiect-atribut și o progresie temporală mai clară.’

Metoda factorizată a rămas stabilă chiar și atunci când numărul de pași de difuzie a fost redus de la 50 la 15, arătând o pierdere de performanță aproape inexistentă pe T2V-CompBench. În schimb, atât variantele text-numai, cât și cele upsampled, s-au deteriorat puternic în aceleași condiții.

Deși reducerea numărului de pași ar fi putut teoretic tripla viteza, pipeline-ul de generare complet a devenit doar 2,1x mai rapid în practică, din cauza costurilor fixe asociate cu generarea imaginii-ancoră. Cu toate acestea, rezultatele au indicat că ancorarea nu numai că a îmbunătățit calitatea mostrelor, dar a ajutat și la stabilizarea procesului de difuzie, permițând o generare mai rapidă și mai eficientă fără pierderi de acuratețe.

Site-ul proiectului oferă exemple de generații upsampled versus noua metodă, dintre care oferim câteva (cu rezoluție mai mică) exemple editate aici:

Faceți clic pentru a juca (fără sunet). Surse de pornire upsampled versus abordarea factorizată a autorilor.

Autorii conchid:

‘Rezultatele noastre sugerează că o ancorare îmbunătățită, mai degrabă decât o capacitate crescută, poate fi la fel de importantă. Progresele recente în difuzia T2V s-au bazat puternic pe creșterea dimensiunii modelului și a datelor de antrenament, dar chiar și modelele mari adesea luptă pentru a infera o scenă inițială coerentă din textul singur.

‘Acest lucru se deosebește de difuzia de imagini, unde scalarea este relativ ușoară; în modelele de videoclipuri, fiecare îmbunătățire arhitecturală trebuie să funcționeze pe o dimensiune temporală suplimentară, făcând scalarea mult mai intensivă din punct de vedere al resurselor.

‘Rezultatele noastre indică faptul că o ancorare îmbunătățită poate completa scalarea prin abordarea unei alte limitări: stabilirea scenei corecte înainte de începerea sintezei temporale.

‘Prin factorizarea generării de videoclipuri în compoziție de scenă și modelare temporală, mitigăm mai multe moduri de eșec comun fără a necesita modele semnificativ mai mari. Considerăm acest principiu de proiectare ca unul complementar care poate ghida arhitecturile viitoare către o sinteză de videoclipuri mai fiabilă și mai structurată.’

Concluzie

Deși problemele de încurcătură sunt foarte reale și pot necesita soluții dedicate (cum ar fi îmbunătățirea curățeniei și evaluării distribuirii înainte de antrenament), a fost o revelație să vedem cum factorizarea “dezlipire” a mai multe orchestrații de concepte “încurcate” în reprezentări mult mai precise – cu doar un strat moderat de condiționare LoRA și intervenția unei imagini de pornire îmbunătățite în mod semnificativ.

Prăpastia de resurse dintre inferența hobbyiștilor și soluțiile comerciale nu poate fi atât de enormă, cum se presupune, având în vedere că majoritatea furnizorilor de API încearcă să raționalizeze cheltuielile lor semnificative de resurse GPU pentru consumatori.

Anecdotic, un număr foarte mare de furnizorii actuali de videoclipuri generative par să utilizeze versiuni “îmbunătățite” și “branduite” ale modelelor deschise chineze. Principalul “șanț” pe care par să-l aibă aceste sisteme “intermediare” este că au luat timpul de a antrena LoRAs sau, la un cost și o recompensă mai mare, au efectuat o reglare completă a greutăților modelului^††.

Insights de acest fel ar putea ajuta la închiderea acestei lacune, în contextul unei scene de lansare în care chinezii par hotărâți (nu neapărat din motive altruiste sau idealiste) să democratizeze inteligența artificială generativă, în timp ce interesele de afaceri occidentale ar prefera ca dimensiunea modelului în creștere și reglementările să izoleze în cele din urmă modelele bune în spatele API-urilor și al multiplelor straturi de filtre de conținut.

* Accentuările autorilor, nu ale mele.

^† Articolul nu specifică care GPU a fost ales sau câte au fost utilizate.

^†† Deși calea LoRA este mai probabilă, atât din punct de vedere al ușurinței economice de utilizare, cât și pentru că greutățile complete, și nu greutățile cuantificate, nu sunt întotdeauna puse la dispoziție.

Publicat pentru prima dată vineri, 19 decembrie 2025