Unghiul lui Anderson
Ștergerea obiectelor și a persoanelor din videoclipuri cu ajutorul inteligenței artificiale

Puncte cheieEffectErase introduce un set de date și o metodă inovatoare pentru eliminarea…
Vezi mai mult
- EffectErase introduce un set de date și o metodă inovatoare pentru eliminarea obiectelor și a efectelor lor secundare, cum ar fi umbrele, din videoclipuri.
- Sistemul antrenează simultan sarcini de eliminare și inserare pentru a se concentra pe aceleași regiuni afectate, asigurând consistență.
- EffectErase depășește metodele anterioare prin modelarea explicită a legăturilor spațio-temporale dintre obiecte și efectele lor vizuale secundare.
Nu, copilul nu rămâne în fotografie dacă inteligența artificială are un cuvânt de spus.
Eliminarea persoanelor și a obiectelor din imagini și videoclipuri este o direcție populară în cercetarea AI dedicată efectelor vizuale. Tot mai multe seturi de date și cadre specializate abordează această provocare. Cel mai nou exemplu, de la Institutul pentru Big Data al Universității Fudan din China, este EffectErase, un sistem de eliminare a obiectelor din videoclipuri care ține cont și de efectele acestora asupra scenei. Potrivit autorilor, în teste acesta depășește semnificativ cele mai bune metode existente:
Exemple ale metodei EffectErase, reunite din materialele de pe site-ul proiectului. Atenție: site-ul către care oferim un link conține multe videoclipuri de înaltă rezoluție, neoptimizate și cu redare automată, care pot afecta stabilitatea browserului. Videoclipul YouTube încorporat la finalul articolului oferă o prezentare mai accesibilă și mai completă. Sursă
Lucrarea a presupus crearea și organizarea unui set de date parțial nou, cu aproape 350 de scene originale reale și sintetice. Acestea au fost fie filmate cu echipamente dedicate, fie obținute și reutilizate într-un flux de lucru construit în jurul platformei Blender 3D cu sursă deschisă, folosind depozite publice*.
Setul de date hibrid Video Object Removal (VOR) stă la baza aplicației EffectErase, construită pe sistemul de generare video Wan2.1. Lucrarea definește și două noi repere de evaluare asociate: VOR Eval și VOR Wild – pentru exemple cu, respectiv fără date de referință corecte.
(Deși lucrarea are un site de proiect asociat, acesta este supraîncărcat cu videoclipuri de înaltă rezoluție și se încarcă greu. Dacă întâmpinați dificultăți, puteți consulta fragmentele pe care le-am reunit în videoclipul încorporat mai sus.)

Comparație între dimensiunile noului set de date și cele ale unor seturi anterioare similare. Sursă
Cercetătorii susțin că abordarea lor obține rezultate de vârf atât potrivit măsurătorilor cantitative, cât și la evaluarea calitativă realizată de oameni.
Ei arată că metodele anterioare nu au eliminat întotdeauna efectele asociate obiectelor, precum umbrele și reflexiile. Setul lor de date a fost creat cu atenție pentru a remedia această lacună:

Exemple în care metodele anterioare se concentrează doar asupra obiectului de eliminat și ratează indicii indirecte, precum reflexiile și umbrele.
Noua lucrare se intitulează EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing și a fost realizată de patru cercetători de la Facultatea de Informatică și Inteligență Artificială a Universității Fudan.
Metodă
Setul de date hibrid VOR a fost conceput pentru a acoperi o gamă suficient de largă de situații încât să includă toate consecințele eliminării unei persoane sau a unui obiect dintr-un videoclip:

Perechile de cadre din VOR arată că eliminarea unui obiect trebuie să includă și efectele sale, nu doar subiectul vizibil. Exemplele prezintă ocluziunea, umbrele, schimbările de iluminare, reflexiile și deformarea fizică. Fiecare imagine de intrare, cu obiectul prezent, este afișată alături de fundalul curat corespunzător după eliminare. Alte exemple se găsesc în videoclipul YouTube încorporat la finalul articolului.
Autorii definesc cinci tipuri reprezentative de interferențe care trebuie tratate: ocluziunea, inclusiv diferite forme de obturare prin sticlă și fum; umbrele; iluminarea (de exemplu, când obiectul de eliminat creează sau modifică traseul luminii); reflexiile; și deformarea (de exemplu, adâncitura lăsată de o persoană într-o pernă, care nu ar trebui să rămână după eliminarea persoanei).

Procesul de construire a VOR combină scene sintetice generate în Blender cu filmări reale. Datele sintetice folosesc medii 3D, obiecte și traiectorii de cameră selectate, iar filmările reale sunt înregistrate în scene diverse și completate cu mișcare de tip Ken Burns. Segmentarea SAM2 și ajustarea manuală produc apoi triplete aliniate de videoclipuri cu prim-planul, fundalul și măștile corespunzătoare.
Pentru datele reale originale, cercetătorii au folosit camere fixe pentru a filma aceleași scene cu și fără obiect, în medii diverse, la ore diferite și în condiții meteorologice variate.
Pentru datele sintetice s-au randat mai multe perspective și s-au creat scenarii cu mai multe obiecte, incluzând intenționat mișcări de cameră complexe și dificile, care pot apărea în filmările reale. Cercetătorii consideră această abordare mai sofisticată și mai laborioasă decât cea folosită pentru setul de date, în rest similar, Remove Objects with Side Effects in Videos (ROSE).
Pentru a crește diversitatea mișcării, efectul Ken Burns a fost aplicat perechilor de filmări. S-au adăugat panoramări și zoomuri controlate, precum și mici mișcări care imită filmarea din mână, conform a 14 reguli prestabilite. Pentru fiecare pereche s-au ales cinci tipare de mișcare, menținând decupajul în interiorul cadrului original.
Amploarea și diversitatea au fost extinse prin combinarea obiectelor sintetice cu mai multe configurații ale camerei. Măștile au fost create prin plasarea manuală a unor puncte de ghidare pe cadre-cheie, propagarea segmentării cu Segment Anything 2 (SAM2), curățarea și rafinarea rezultatelor și asamblarea unor triplete validate de prim-plan, fundal și mască pentru antrenare.
Colecția finală cuprinde 145 de ore de video real și sintetic în 60.000 de perechi de videoclipuri, acoperind 366 de clase de obiecte în 443 de scene.
Rețeaua EffectErase preia materialul printr-un autoencoder variațional (VAE†), iar Wan2.1 se ocupă de eliminarea zgomotului din reprezentarea latentă. Peste această structură de bază, EffectErase adaugă trei componente: învățarea comună pentru eliminare și inserare, care antrenează împreună cele două sarcini pe aceleași regiuni; ghidarea regiunilor în funcție de sarcină (TARG), care combină tokenuri pentru obiect și sarcină cu atenția încrucișată pentru a modela legăturile spațiale și temporale dintre obiecte și efectele lor și a permite schimbarea sarcinii; și funcția de pierdere pentru coerența efectelor, care aliniază regiunile afectate între eliminare și inserare:

Schema cadrului EffectErase. În timpul antrenării, perechile de videoclipuri sunt codificate într-un spațiu latent comun, combinate cu zgomot și procesate de un Transformer de difuzie ghidat de atenție încrucișată adaptată sarcinii. Funcția de pierdere pentru coerența efectelor aliniază regiunile de eliminare și inserare, astfel încât ambele sarcini să se concentreze asupra aceleiași zone.
Eliminarea și inserarea se antrenează împreună pe o structură de difuzie comună, astfel încât modelul să învețe să urmărească aceleași regiuni afectate și indicii structurale.
Videoclipurile cu obiectul, cele doar cu fundalul și măștile sunt codificate mai întâi într-un spațiu latent. Se adaugă apoi zgomot pentru antrenarea prin difuzie, iar modelul învață să restabilească reprezentările curate sub îndrumare specifică sarcinii. Un adaptor simplu combină caracteristicile zgomotoase cu condițiile de eliminare sau inserare. Astfel, ambele sarcini pot împărți semnalele de supervizare, rămânând controlabile separat.
Ghidarea regiunilor în funcție de sarcină creează un semnal specific sarcinii prin combinarea tokenurilor lingvistice cu trăsături vizuale extrase din obiectul din prim-plan folosind CLIP. Un token generic pentru obiect este înlocuit cu o reprezentare vectorială derivată din conținutul real al imaginii. Reprezentarea combinată este introdusă în structura de bază prin atenție încrucișată. Modelul poate astfel urmări evoluția obiectului și a efectelor sale vizuale în spațiu și timp, alternând flexibil între eliminare și inserare.
Funcția de pierdere pentru coerența efectelor obligă procesele de eliminare și inserare să se concentreze pe aceleași zone modificate, deoarece ambele sarcini tratează același obiect și efectele sale vizuale. Hărțile de atenție din fiecare ramură sunt combinate în hărți de regiuni cu valori continue și aliniate cu o hartă a diferențelor calculată din videoclipurile cu obiectul și cu fundalul. Astfel sunt surprinse și schimbările subtile, precum iluminarea și umbrele. Această funcție de pierdere suplimentară ajută inserarea să ghideze eliminarea și păstrează coerența dintre sarcini.
Date și teste
Cercetătorii și-au comparat abordarea cu diferite metode de completare a imaginilor, completare a videoclipurilor și eliminare a obiectelor: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; și MiniMax-Remover.
Wan2.1 a fost ajustat fin cu LoRA†† folosind VOR la o rezoluție de 832×480 pixeli. Pentru antrenare au fost extrase aleatoriu secvențe de 81 de cadre consecutive ( limita practică pentru WAN, dincolo de care tind să apară erori). Antrenarea a durat 129.000 de iterații, cu o dimensiune a lotului de 8, pe opt GPU-uri H100, fiecare cu 80 GB de memorie VRAM. Rata de învățare a fost stabilită la 1×102, iar rangul LoRA la 256.
Colecția sintetică ROSE-Benchmark a fost singurul set de date extern testat. Celelalte două au fost VOR-Eval, partea setului de date VOR rezervată testării; și VOR-Wild, un set de testare cu 195 de videoclipuri reale colectate de pe internet, care prezintă obiecte în mișcare.
S-au folosit următoarele metrici: raportul de vârf semnal-zgomot (PSNR); indicele de similaritate structurală (SSIM); similaritatea perceptuală învățată a fragmentelor de imagine (LPIPS); și distanța video Fréchet (FVD). A fost realizat și un studiu cu utilizatori pentru 195 de videoclipuri generate din VOR-Wild, luându-se în considerare mediile evaluărilor oferite de 20 de voluntari.
În plus, autorii au conceput QScore, o metrică ce folosește modelul multimodal Qwen-VL pentru a evalua calitatea videoclipurilor după eliminarea obiectelor, prin prisma artefactelor rămase sau a efectelor asupra mediului care nu au fost eliminate, precum umbrele și efectele de iluminare:

Comparație cantitativă pe reperele ROSE și VOR. Cele mai bune rezultate sunt îngroșate, iar cele de pe locul al doilea sunt subliniate.
Referitor la aceste rezultate, autorii notează:
„Metodele [actuale] de completare a imaginilor lucrează pe cadre individuale cu modele 2D, fără modelare temporală, și de aceea nu pot menține coerența temporală în videoclipuri.
[Metodele] recente de completare a videoclipurilor nu modelează explicit efectele asociate obiectelor, ceea ce produce rezultate nenaturale ale eliminării. [Metodele] existente de eliminare a obiectelor din videoclipuri nu modelează corelațiile spațiale și temporale dintre obiect și efectele sale și produc adesea artefacte și urme reziduale ale obiectelor eliminate.
„În ansamblu, EffectErase obține rezultate de vârf pe toate seturile de date și metricile de evaluare. Are cele mai bune scoruri la metrica de calitate video FVD, ceea ce arată fluiditatea și coerența temporală superioare ale videoclipurilor generate.
„Metoda noastră obține și cel mai mare QScore și cele mai bune evaluări din partea utilizatorilor, demonstrând încă o dată eficacitatea sa în producerea unor rezultate de eliminare convingătoare vizual.”
Pentru evaluarea calitativă, lucrarea prezintă rezultate statice, reproduse imediat mai jos. Rezultatele în mișcare sunt disponibile pe site-ul proiectului și în prezentarea video de pe YouTube:

Comparație calitativă pe VOR-Eval pentru ocluziune, umbre, iluminare, reflexii și deformare. Metodele de completare au dificultăți în eliminarea efectelor din afara măștii, iar modelele de eliminare lasă adesea artefacte vizibile. EffectErase elimină mai curat atât obiectele-țintă, cât și efectele lor. Pentru rezoluție mai bună consultați lucrarea originală, iar pentru exemple video, site-ul proiectului.
Îndrumăm cititorul și către exemplele variate de pe site-ul proiectului, cu o previzualizare mai jos, precum și către videoclipul oficial YouTube încorporat la finalul articolului:
Faceți clic pentru redare. Un exemplu de comparație de pe site-ul proiectului EffectErase. Pentru rezoluție mai bună (cu rezervele menționate anterior) și alte exemple, consultați site-ul.
Autorii comentează:
„[Metodele] de completare a videoclipurilor produc adesea artefacte în regiunile mascate și nu elimină complet efectele provocate de obiectele eliminate. Abordările anterioare de eliminare a obiectelor, precum [ROSE] și [MinMax-Remover], elimină bine obiectele-țintă, dar încă au dificultăți cu efectele acestora, mai ales în situații cu ocluziune, umbre, iluminare, reflexii și deformare.
„În schimb, EffectErase elimină eficient atât obiectele-țintă, cât și efectele asociate, obținând rezultate curate, coerente și de înaltă calitate.”
În încheiere, cercetătorii observă că metoda poate fi adaptată și pentru inserare în loc de eliminare, fără antrenare suplimentară:

Rezultate ale inserării obiectelor în videoclipuri. EffectErase inserează obiecte păstrând fundalul și generând consecvent între cadre efecte provocate de obiecte, precum umbre și reflexii.
Rezultatele video ale sarcinii de inserare pot fi văzute în exemplele din videoclipul YouTube cu momentul de pornire specificat. Același videoclip este încorporat și la finalul articolului, fără marcaj temporal.
Concluzie
O trecere în revistă a proiectelor similare din literatura de specialitate arată că mulți încă speră ca modelele VFX generale să poată integra, în cele din urmă, această funcționalitate într-un model general de tip „trusă de instrumente”, conceput pentru o gamă de efecte, nu doar pentru această sarcină.
Totuși, pornind de la ideea că versatilitatea poate veni în detrimentul specializării, pare rezonabil să presupunem că sistemele dedicate, precum EffectErase, vor păstra un avantaj față de abordările generale. Rezerva este că diferența s-ar putea micșora suficient de mult încât să nu mai justifice efortul suplimentar de a antrena un model separat.
* Având în vedere preocupările tot mai mari privind proveniența materialelor și drepturile de proprietate intelectuală, ar fi de dorit ca toate aceste surse să fie citate. Dar dacă materialele disponibile ale noii lucrări precizează sursa modelelor 3D, nu am reușit să găsesc acea referință.
† Referința oferită pare să fie un text explicativ general din 2013, fără să fie precizat modelul VAE utilizat.
†† Această descriere este preluată din lucrare și are un înțeles neclar, deoarece ajustarea fină și LoRA sunt procese diferite, cu cerințe foarte diferite.
Publicat prima dată sâmbătă, 21 martie 2026












