În căutarea unui AI care poate urmări un întreg film

Modelele de inteligență artificială încă pierd urma cui este cine și ce se întâmplă într-un film. Un nou sistem orchestrează recunoașterea feței și rezumarea etapizată, ținând personajele drepte și intrigile coerente de-a lungul filmelor cu lungmetraj.

Obținerea inteligenței artificiale pentru a urmări și a înțelege filmele de tip Hollywood poate părea o îndeletnicire marginală sau periferică; dar un sistem care poate urmări un film cu lungmetraj de la început până la sfârșit, urmărind progresul tuturor personajelor și rămânând la curent cu intriga, a făcut posibilă o serie de aplicații directe care ar putea beneficia de astfel de capacități, precum și o serie de provocări periferice sau nelegate, din diferite domenii.

Fructul cel mai ușor de atins pentru modelele de inteligență artificială care urmăresc filme este sistemul de recomandare, în platforme de streaming precum Netflix, Amazon Prime și HBO Max. O înțelegere granulară a dezvoltărilor de intrigă și a acțiunilor personajelor permite o potrivire mai strânsă cu (adesea specioasele) preferințe și entuziasme ale spectatorilor.

În plus, o înțelegere mai profundă a unui film permite generarea de cuvinte cheie și o categorizare mai precisă, în loc de a perpetua descrieri de film adesea copiate, care ar fi putut fi scrise cu zeci de ani în urmă. Astfel de informații ar putea scoate la iveală prezența unor “teme pentru adulți” într-un film, care nu ar fi evidentă din dialog sau din imagini.

De asemenea, filmele mai vechi dintr-un catalog ar putea avea evaluări și descrieri învechite; de exemplu, limbajul și idiomurile care erau normale într-un film din anii 1950 ar merita mult mai multă atenție în prezent. Dar fără o înțelegere generală a contextului, obținută din urmărirea cu adevărat a unei narațiuni lungi, astfel de incidente ar putea fi supra- sau subevaluate.

Mai larg, abordările îmbunătățite de analiză a filmelor ar putea contribui mult la problema mult mai largă a recunoașterii evenimentelor, care este vital necesară pentru inovațiile în monitorizarea securității, comentariile sportive automate și rezumatele de toate felurile, dintr-o gamă uriașă de medii.

Prin urmare, “urmărirea filmelor cu ajutorul inteligenței artificiale” este un gen surprinzător de bine susținut în literatura de specialitate a viziunii calculate.

Viziunea de ansamblu

Ultimul intrat în scenă se numește MovieTeller – o colaborare academică și industrială din China, care face progrese noi prin divizarea sarcinilor sub forma unor aplicații de inteligență artificială care se potrivesc cu aceste provocări, în loc de a încerca să antreneze modele discrete și închise care pot efectua toate sarcinile necesare dintr-un singur spațiu latent.

Autorii observă că modelele anterioare de viziune și limbaj (VLM) care au fost confruntate cu aceeași sarcină nu au putut progresa mult dincolo de analiza cadrelor individuale; și că lipsa de context face dificilă pentru astfel de modele să identifice în mod persistent personajele – poate cea mai esențială caracteristică a unui astfel de sistem:

Noul sistem, MovieTeller, poate identifica în mod persistent oameni în scene, datorită utilizării unui sistem de reconoaștere a feței dedicat; dar este dedicarea mai cuprinzătoare față de context care permite cadrului să rămână la curent cu dezvoltarea intrigii. Sursă

Autorii afirmă:

‘Modelele de viziune și limbaj generale au dificultăți în a recunoaște și a urmări în mod constant personaje specifice pe tot parcursul unei narațiuni lungi. Ele pot descrie un protagonist cheie ca “un bărbat” într-o scenă și “o persoană” în alta, fără a lega reprezentarea vizuală de o identitate consistentă.’

Autorii notează că, deoarece Transformatorii utilizează un mecanism de auto-atentie care face uz de complexitate cuadratică, prelucrarea fiecărui cadru al unui film cu lungmetraj deodată devine prea costisitoare din punct de vedere computațional. Prin urmare, abordările care se bazează pe mostre de cadre uniforme sau pe concatenarea simplă tind să fragmenteze fluxul poveștii, producând rezumate fragmentate în loc de o narațiune coerentă.

În schimb, noul sistem cuprinde o conductă de antrenament fără pierderi, cu unelte dedicate pentru a aborda recunoașterea feței și persistența memoriei (pe măsură ce personajele părăsesc și reintră în narațiunea filmului).

MovieTeller a fost testat împotriva abordărilor anterioare, utilizând 60 de filme cu lungmetraj, echivalente cu 10.000 de minute de film. În testele cantitative de ablație și în studiile pe bază de umani, autorii raportează că abordarea lor a putut îmbunătăți în mod semnificativ mediile și ipotezele utilizate de sistemele anterioare.

Articolul nou se numește MovieTeller: Rezumat de film îmbunătățit cu abstracție progresivă și identificare consistentă, și provine de la cinci autori din universități și instituții din China.

Metoda

Schema MovieTeller cuprinde trei etape: segmentarea scenei și extragerea cadrelor cheie, care sunt gestionate prin proiectul PySceneDetect; generarea descrierii scenei bazate pe fapte, prin personalizarea modelului Qwen2.5-VL-7B-Instruct; și abstracția progresivă, care condensează descrierile detaliate ale scenei în rezumate de capitole și apoi într-un rezumat coerent final – și acesta este realizat de modelul Qwen2.5:

Prezentarea generală a cadrului MovieTeller: un film cu lungmetraj este mai întâi segmentat în scene și distilat în cadre cheie de înaltă calitate; apoi, un instrument de recunoaștere a feței extern injectează fapte, legând numele de personaje de cutii delimitatoare, care ghidează un model de viziune și limbaj în producerea descrierilor de scene consistente cu identitatea.

Prima etapă utilizează PySceneDetect pentru a diviza filmul în scene discrete, pe baza schimbărilor vizuale clare, cu fiecare scenă reprezentată de un singur cadru cheie.

Cu toate acestea, nu fiecare cadru face o imagine de rezumat bun, deoarece momentele tranzitorii, fade-out-urile și cadrele întunecate pot confunda analiza ulterioară. Prin urmare, o verificare simplă a calității efectuează o cursă de filtrare pe cadrele candidate, prin măsurarea luminozității și a variației vizuale, asigurându-se că numai imaginile bogate în informații sunt selectate pentru descriere.

Punerea feței

O bază de date a feței a fost creată din informații publice despre distribuție^†, stocând numele fiecărui personaj principal alături de o încorporare numerică a feței încorporare. Când o față apare într-un cadru cheie, încorporarea sa este comparată cu baza de date, iar cel mai bun rezultat este acceptat dacă depășește un prag de încredere. Acest lucru creează “fapte”, legând numele de cutii delimitatoare specifice.

Pentru aceste scopuri, InsightFace este utilizat, folosind o capacitate de recunoaștere a feței bazată pe ArcFace:

Două fețe familiare bine reținute de inițiativa Additive Angular Margin Loss (ArcFace), utilizată într-un mod foarte asemănător pentru proiectul MovieTeller. Sursă

Cadrele cheie annotate sunt apoi transmise modelului Qwen, împreună cu un prompt care listează personajele detectate și pozițiile lor:

Deoarece modelele de viziune și limbaj nu pot absorbi un film cu lungmetraj într-o singură trecere, MovieTeller îl descompune inițial în descrieri de scene. Acestea sunt grupate în blocuri consecutive, care sunt ulterior transmise modelului Qwen2.5, care rezumă fiecare capitol, comprimând dezvoltările intrigii, acțiunile personajelor și punctele de cotitură, păstrând totodată numele de personaje verificate anterior.

Rezumatele comprimate ale capitolului sunt apoi concatenate și returnate modelului, împreună cu un nou prompt care solicită un rezumat complet:

Un șablon de prompt de exemplu utilizat pentru a genera descrieri de cadre, injectând în mod explicit numele de personaje verificate și cutii delimitatoare pentru a constrânge modelul de viziune și limbaj și a impune o narațiune consistentă cu identitatea.

Presupunând că procesul a reușit, rezultatul final ar trebui să reflecte în mod coerent arcul narativ al filmului. Acesta este un obiectiv deosebit de dificil în învățarea automată, deoarece varietatea posibilă de rezumate de intrigă și stilul în care ar putea fi prezentate, împreună cu lungimea necesară a acestor puncte de date, face imposibilă adoptarea abordărilor obișnuite bazate pe adevărul de bază.

Date și teste

Pentru a testa sistemul, autorii au creat o bază de date specială, neatribuită, de 100 de filme cu lungmetraj, echivalente cu aproximativ 166 de ore de film. Filmele incluse Omul de fier 3, Adio, concubină, Mănâncă, bea, om, femeie și Cronici ale Narniei. Cercetătorii au cerut ca toate filmele incluse să aibă o evaluare mai mare de 5,0 pe IMDB:

Compoziția bazei de date de filme, arătând o acoperire temporală echilibrată de la 1992 la 2025, o ușoară majoritate de titluri non-engleze și o distribuție largă de genuri, condusă de dramă și acțiune, cu reprezentare în domeniul științifico-fantastic, horror, comedie, romantic și istorie.

Gama largă de genuri abordate (a se vedea graficul de mai sus) a fost concepută pentru a preveni orice bias către un anumit gen.

Baza de date a feței pentru fiecare film a cuprins două fotografii ale actorilor principali – una dintr-o fotografie de film și una dintr-o fotografie de publicitate legată.

Implementat în Python, testele au fost efectuate pe patru procesoare grafice NVIDIA A40, fiecare cu 48 GB de VRAM, și cu varianta Qwen2.5 menționată anterior ca model central de viziune și limbaj. De asemenea, au fost efectuate studii de ablație^†† cu alte modele de ultimă generație InternVL3-8B și WeThink-Qwen2.5VL-7B.

Noul cadru a fost testat împotriva a două variante de ablație^††: o bază Fără indiciu, în care modelul de viziune și limbaj a generat descrieri de scene din cadru cheie singur, fără niciun indiciu textual despre identitatea personajelor; și o setare Indiciu doar cu nume, în care modelul a primit numele de personaje detectate, dar nu și cutiile delimitatoare, permițând autorilor să izoleze contribuția specifică a ancorării spațiale la coerența identității și a narațiunii.

În ceea ce privește metricile, având în vedere dificultatea de a aplica metodele de adevăr de bază la rezumate lungi de intrigă, metricile standard de suprapunere n-gram, cum ar fi ROUGE și BLEU, au fost evitate în favoarea BERTScore cu F1 scor, pentru a măsura similaritatea semantică față de un rezumat de referință extras dintr-o “enciclopedie publică”.

De asemenea, a fost utilizat Gemini 2.5 Flash pentru a evalua fiecare rezumat în ceea ce privește fidelitatea factuală; consistența și completețea identității; coerența și fluxul narațiunii; și concizia, cu scoruri medii pe dimensiuni.

În cele din urmă, a fost efectuată o evaluare umană a 50 de rezumate selectate aleator, utilizând comparația pereche, oferind o verificare practică a evaluărilor automate.

Mai jos se pot vedea rezultatele BERTScore (F1) pentru cele trei modele de bază: Qwen2.5-VL, InternVL3 și WeThink. Fiecare a fost testat în trei configurații: Fără indiciu, Indiciu doar cu nume și sistemul complet MovieTeller:

Comparația BERTScore (F1) între cele trei modele de viziune și limbaj de bază și cele trei setări experimentale, arătând câștiguri consistente din adăugarea de nume de personaje și îmbunătățiri suplimentare atunci când se adaugă ancorarea spațială, cu MovieTeller obținând cele mai bune scoruri în toate cazurile.

Autorii notează că modelul este consistent pe toate cele trei modele de bază: utilizarea doar a cadrului cheie oferă cea mai slabă performanță; adăugarea de nume de personaje produce o îmbunătățire modestă; și combinarea numelor cu cutii delimitatoare oferă cele mai bune rezultate. Deși câștigurile sunt incrementale și nu dramatice, configurația complet ancorată obține cea mai bună aliniere semantică cu rezumatul de referință, în toate setările.

În ceea ce privește evaluarea calității narațiunii pe baza modelului de limbaj:

Evaluarea modelului de limbaj (scor 1–5) între cele trei modele de bază, arătând că adăugarea de nume de personaje îmbunătățește consistența identității și calitatea generală, în timp ce cadrul MovieTeller complet obține cele mai bune scoruri pe toate dimensiunile.

Câștigurile cele mai mari apar în consistența identității și în scorul final mediat, sugerând că ancorarea spațială ajută modelul să rămână clar despre cine face ce pe măsură ce intriga se desfășoară.

În evaluarea umană a 50 de rezumate selectate aleator, participanții au fost arătați trei rezumate deodată și li s-a cerut să selecteze cel mai bun:

Rata de preferință umană într-o evaluare cu alegere forțată, arătând că rezumatele MovieTeller complete sunt selectate cel mai des pe toate cele trei modele de bază, depășind semnificativ variantele Fără indiciu și Indiciu doar cu nume.

În cele din urmă, a fost efectuat un test calitativ pe filmul Glonțul dispărut (2012):

Nu putem reproduce întreaga figură din articolul original, deoarece este foarte înaltă și densă cu text. Vă rugăm să consultați articolul sursă.

Aici, baza Fără indiciu produce un rezumat vag care se referă la personaje în termeni generici și încurcă rolurile, făcând lanțul de evenimente mai greu de urmărit. Adăugarea de nume de personaje îmbunătățește amintirea de suprafață, dar narațiunea încă se împrăștie, cu relații și motivații de personaje descrise într-un mod “plat”.

Pe de altă parte, versiunea MovieTeller complet ancorată păstrează identitățile stabile pe tot parcursul rezumatului și leagă acțiunile de personajele corecte, permițând investigației să se desfășoare cu o structură cauzală mai clară. Tensiunile și dinamica rolurilor specifice sunt păstrate, în loc de a fi abstractizate, rezultând un rezumat care citește mai mult ca o narațiune coerentă a arcului central al filmului:

Partea finală a comparației, pe care nu o putem reproduce în întregime aici, arătând un rezumat ablat și unul MovieTeller complet. Vă rugăm să consultați articolul sursă.

Concluzie

Deși majoritatea proiectelor noi de acest fel se termină în literatura de specialitate a viziunii calculate, rezumarea filmelor generate de inteligența artificială cuprinde multe alte discipline și domenii de cercetare în învățarea automată – și este greu de spus care dintre acestea va contribui, fără să știe, la găsirea piesei lipsă a puzzle-ului; deși MovieTeller face un pas în direcția corectă, prin divizarea sarcinilor în module potrivite, în loc de a încerca să rezolve totul în spațiul latent, el păstrează sentimentul “dezasamblat” care precede adesea o soluție mai elegantă ulterioară.

* Nu pot identifica această instituție, chiar și după o căutare.

^† Ar trebui să fie ceva de genul IMDB sau OMDB, dar sursa nu este specificată.

^†† Vă rugăm să consultați articolul sursă pentru o ablație cuprinzătoare, deoarece acoperim doar ablația completă în cazuri excepționale. Voi nota că studiile de ablație netratate menționate aici nu subminează în general constatările articolului.

Publicat pentru prima dată vineri, 27 februarie 2026