Inteligența artificială preferă să citească cartea decât să vadă filmul

Este surprinzător de greu să determini modelele de inteligență artificială să vadă și să comenteze conținutul video, chiar dacă sunt create pentru această sarcină. Ele sunt mai interesate de cuvântul scris.

Dacă ai încercat vreodată să încarci un clip video mic în ChatGPT sau într-un model de viziune/limbaj popular, ai putea fi surprins să realizezi că acestea nu pot analiza de fapt conținutul video. În timp ce modele precum ChatGPT-4o+ sunt capabile să analizeze cadre individuale – sub formă de imagini, cum ar fi JPEG și PNG – ele preferă ca utilizatorul să extragă cadrele și să le încarce ca imagini (pe care sunt pregătite să le comenteze).

În cazul seriei OpenAI GPT, se poate, destul de laborios, extrage un set complet de cadre dintr-un clip video și să le furnizeze ChatGPT, în scopul, de exemplu, generării unei pistă narative create de inteligență artificială pentru videoclip:

Imagini și cod dintr-un tutorial OpenAI despre analiza mai multor cadre extrase pentru dezvoltarea unui comentariu generat de inteligență artificială pentru un clip video. Sursă

Însă utilizatorul trebuie să facă conversia de la video la cadre, fie prin apelarea funcțiilor într-o rutină mai mare, așa cum se arată în exemplul de mai sus, fie prin extragerea cadrelor cu FFMPEG sau diverse soluții de editare video gratuite sau plătite.

Într-o anumită măsură, poate chiar într-o măsură mare, limitările analizei video în produse de scară largă, cum ar fi ChatGPT, se datorează utilizării resurselor: dotarea unei singure instanțe de inteligență artificială cu o selecție a celor mai populare codificări video și alocarea resurselor de calcul pentru procesul de extragere, care este greoi și consumator de resurse, nu este o problemă minoră, în special dacă sute de milioane de utilizatori decid să înceapă să folosească aceste facilități în fiecare zi.

În plus, analiza temporală poate prezenta o imagine foarte diferită decât un singur cadru (imaginați-vă pe cineva care intră într-o casă într-o dispoziție veselă și apoi descoperă un cadavru); prin urmare, luarea în considerare a întregului “checksum” temporal al unui clip video scurt este o sarcină solicitantă și consumatoare de resurse – precum și o zonă specializată a literaturii de cercetare, de exemplu, cu dezvoltarea continuă a cadrului Optical Flow – care “desfășoară” o porțiune de video, astfel încât să poată fi privită și tratată ca și cum ar fi un document static:

Diagramele de flux optic arată cum se urmărește mișcarea în cadrele unui clip video, cu vectori verzi care indică direcția și intensitatea mișcării. Aceste hărți oferă continuitatea temporală necesară pentru VLM și pot servi, de asemenea, ca ghiduri structurale în fluxurile de lucru VFX. Sursă

Settling for the Cliff’s Notes

Cu toate acestea, deoarece modele precum Notebook LM de la Google și noile intrări ChatGPT pot citi metadate asociate (adică conținut de text încorporat care contextualizează videoclipul într-un anumit fel), ele nu interzic încărcarea fișierelor video; și, uneori, vor încerca chiar să interpreteze un videoclip care nu are astfel de date.

În următorul caz, am încărcat un clip de 6 secunde, aleator, din filmul italian Mâna lui Dumnezeu (2021) în NotebookLM, asigurându-mă că clipul nu conținea niciun text util, nici în metadate, nici în numele fișierului.

NotebookLM a procedat apoi să fabuleze materialul într-un mod elaborat, total nelegat de videoclip*, complet cu un podcast de cinci minute, față în față, fără sens și nelegat:

Un moment obișnuit dintr-un clip de șase secunde dintr-un film italian este interpretat în mod sălbatic de către NotebookLM. Sursă: Google NotebookLM

Deși Notebook, la fel ca ChatGPT, acceptă un videoclip de pe YouTube ca intrare, o va face doar dacă videoclipul are o strat de text interpretabil și/sau subtitrări (nu subtitrări rasterizate care sunt arse în videoclip).

În acest fel, munca grea de a privi și asculta conținutul videoclipului și de a efectua o interpretare semantică a acestuia (o necesitate legală pentru YouTube, din cauza măsurilor de protecție a drepturilor de autor, și a sistemului de detecție a asemănării care urmează să fie implementat), a fost făcută la îndemână, după încărcarea utilizatorului, atunci când clipul putea fi alocat resurselor de procesare necesare.

Interpretarea reală a videoclipului este scumpă și epuizantă, și, se pare, chiar și modelele care au fost antrenate în mod special pentru a efectua această sarcină preferă să citească textul decât să privească videoclipul.

TL;DW

Acesta, conform unui nou articol de la Universitatea din Bristol, din Regatul Unit, intitulat Un videoclip nu este egal cu o mie de cuvinte, în care cei doi autori concluzionează că modelele actuale de vârf ale limbajului vizual (VLM) – modele destinate să poată analiza videoclipuri într-un mod mai efortat și să participe la răspunsuri la întrebări despre videoclipuri (VQA) – se bazează, de asemenea, pe informațiile textuale atunci când este posibil.

Când li s-au oferit atât imagini în mișcare, cât și întrebări și răspunsuri cu multiple variante, autorii articolului au constatat că modelele și-au bazat, de obicei, alegerile pe modele din text, mai degrabă decât pe ceea ce se întâmplă pe ecran – în multe cazuri, realizând performanțe la fel de bune, chiar și atunci când întrebarea era eliminată complet.

În ceea ce pare a fi o formă obișnuită de scurtătură sau înșelăciune, ceea ce conta mai mult pentru majoritatea modelelor era capacitatea de a detecta modele în răspunsurile posibile; doar atunci când sarcina a fost făcută mai grea, prin adăugarea de opțiuni de răspuns suplimentare, au început inteligențele artificiale să acorde mai multă atenție videoclipului.

Autorii au efectuat teste de VQA în diferite condiții pentru șase modele VLM cu lungimi de context diverse, pe patru seturi de date adecvate; și au constatat că rezultatele indicau dependența modelelor de textul în detrimentul conținutului video.

Exemplu din studiul care arată cum un model de analiză a videoclipului cântărește ceea ce vede versus ceea ce citește. Clipul arată o persoană care împleteste bambus, dar modelul atribuie mult mai multă importanță textului întrebării și răspunsului decât cadrelor videoclipului în sine. Vocabularele albastre marchează elemente care susțin răspunsul ales, în timp ce vocabularele roșii marchează cele care îl atrag în direcția opusă, ilustrând modul în care raționamentul modelului se concentrează pe formularea textului, mai degrabă decât pe imaginile în mișcare. Sursă

Metodă

Pentru a înțelege cât contribuie fiecare intrare la decizia modelului, noua lucrare utilizează o metodă din teoria jocurilor numită Valori Shapley. Inițial concepută pentru a împărți în mod corect o plată între jucători într-o coaliție, Valorile Shapley atribuie credit fiecărui “jucător” în funcție de impactul său individual.

În esență, jucătorii din această scenă sunt fie cadrele videoclipului, fie componentele textuale (annotări, subtitrări, titluri etc.) ale unei sarcini VQA; și “plata” este răspunsul final al modelului. Prin testarea sistematică a ceea ce se întâmplă atunci când fiecare parte este adăugată sau eliminată, tehnica dezvăluie cât de importantă a fost acea componentă pentru a ajunge la răspunsul ales.

În cazul proiectului nou, pentru a extinde metoda la multiple tipuri de date, Valorile Shapley au fost adaptate pentru a gestiona modalități mixte, cu componente video și text tratate în mod discret, și influența lor variabilă asupra ieșirilor modelului măsurată, dezvăluind dacă conținutul videoclipului era interpretat cu adevărat sau dacă indicii textuale erau folosiți ca scurtături.

Metrice

Au fost definite două metrice simple pentru a compara cât contribuie fiecare modalitate (adică video, întrebare sau răspuns) la decizia modelului: Contribuția modalității măsoară cât din explicația totală provine din fiecare tip de intrare; aici, toate valorile Shapley disponibile sunt însumate, iar cota parte a fiecărei modalități calculată ca procent din total.

În al doilea rând, Contribuția pe caracteristică corectează faptul că unele modalități, cum ar fi videoclipul, conțin mult mai multe caracteristici decât altele. În schimb, valoarea Shapley medie este calculată pentru fiecare caracteristică, iar aceste medii comparate pentru a determina care modalitate are o influență dominantă.

Date și teste

Autorii au testat abordarea pe șase modele VLM cu caracteristici diverse, concepute pentru a asigura că principiile testelor sunt aplicabile și generalizabile. Prin urmare, modelele au fost selectate pentru lungimi de context diferite, vârste diferite (adică cât timp de la lansarea cadrului) și configurații de arhitectură diferite.

Concurenții au fost FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (care utilizează Qwen2); și LongVA (de asemenea, utilizând Qwen2).

Cu același scop de a asigura o varietate diversă, cele patru seturi de date țintă selectate au fost EgoSchema, un set de date VQA conceput pentru a fi imposibil de completat fără vizionarea completă a videoclipurilor asociate; HD-EPIC, un set de date axat pe bucătărie, cu videoclipuri neobișnuit de lungi; MVBench, o colecție curatoriată de contribuții din alte seturi de date; și LVBench, care pune întrebări VQA pentru videoclipuri foarte lungi.

Din acestea, autorii au conceput 60 de întrebări – zece din fiecare tip de întrebare.

Metricile de contribuție au arătat clar că majoritatea modelelor se bazau mai puțin pe videoclip decât pe text, mai ales atunci când au fost evaluate cadru cu cadru. Chiar și acolo unde videoclipul a avut o prezență rezonabilă în contribuția generală, influența sa pe caracteristică a fost adesea minimală, sugerând că, deși modelul ar fi putut utiliza videoclipul în ansamblu, a acordat puțină atenție cadrelor individuale. VideoLLaMA3 a fost principala excepție, cu o dependență vizuală mai puternică, mai ales în secvențele mai lungi din LVBench:

Scoruri de contribuție a modalității (MC) și contribuție pe caracteristică (PFC) pe modele și seturi de date, arătând ponderea relativă a intrărilor video (V), întrebare (Q) și răspuns (A). Culorile mai reci indică contribuții mai puternice; culorile mai calde indică influențe mai slabe sau neglijabile. În majoritatea configurațiilor, limbajul este clar dominant, iar videoclipul este adesea marginalizat – mai ales în influența pe cadru.

În ceea ce privește textul, întrebarea a avut tendința de a conta mai mult decât răspunsul, mai ales în modelele mai puternice. Acest lucru a fost cel mai evident în seturi de date precum EgoSchema, unde întrebările erau mai lungi și mai naturalistice, în timp ce răspunsurile erau scurte și, uneori, schematice. MVBench a inversat acest lucru într-o oarecare măsură, deoarece structura sa de răspuns binar a inflamat aparent importanța tokenilor de răspuns.

Pe toate modelele și seturile de date, însă, viziunea a fost în mod constant marginalizată, iar limbajul a făcut cea mai mare parte a muncii.

Articolul afirmă:

‘[Pentru] modelele cu context lung, videoclipul arată contribuții puternic reduse, ceea ce înseamnă că valorile Shapley pe cadru sunt mult mai mici decât cele ale caracteristicilor textuale.

‘Videoclipul, ca modalitate în ansamblu, este încă foarte relevant, dar acest lucru este o dovadă că valorile Shapley ale cadrelor sale individuale sunt mai concentrate în jurul zero, și că atenția modelului asupra lor este mult mai puțin ghidată decât pentru text.’

Pentru a testa cât contribuie fiecare parte a intrării (videoclip, text etc.) la acuratețea modelului, cercetătorii au efectuat teste suplimentare utilizând mascare – ascunzând intenționat una sau mai multe părți ale intrării și urmărind cât de mult se schimbă acuratețea modelului ca urmare.

Dacă performanța scade brusc atunci când o anumită intrare este eliminată, acea intrare este probabil importantă; dacă modelul funcționează aproximativ la fel, sugerează că piesa lipsă nu a fost utilizată intens.

Impactul performanței masării videoclipului, întrebării sau răspunsului pe patru benchmark-uri VQA. Scorurile arată schimbarea față de linia de bază nemascată. Roșu înseamnă acuratețe mai scăzută, verde înseamnă acuratețe mai ridicată. Modelele au păstrat adesea scoruri ridicate fără videoclip, dar au pierdut mai mult atunci când răspunsul (text) a fost eliminat. Întrebarea putea de obicei fi mascată cu efect minim.

Rezultatele (vizualizate mai sus) indică faptul că răspunsurile (răspunsurile text în datele cu multiple variante) au cea mai mare greutate în general. Masarea răspunsului a cauzat de obicei cea mai mare scădere a acurateței, reducând adesea modelele la o performanță aproape aleatorie.

În schimb, masarea întrebării a avut de obicei un efect mult mai mic, ceea ce susține constatarea anterioară că modelele subestimează adesea întrebarea.

În unele cazuri, acuratețea a fost chiar îmbunătățită când întrebarea a fost eliminată, ceea ce sugerează că modelele se bazau uneori doar pe potrivirea răspunsurilor cu indicii textuale sau vizuale, mai degrabă decât evaluând cu adevărat întrebarea.

Modelele au variat în dependența lor de videoclip: unele au menținut o acuratețe rezonabilă fără acesta, confirmând în continuare contribuția limitată a caracteristicilor videoclipului în multe configurații actuale.

Ulterior, autorii au testat dacă modelele pot fi forțate să se bazeze pe videoclip prin adăugarea de răspunsuri greșite suplimentare la opțiunile cu multiple variante.

Când distractorii au fost ușor de recunoscut și reciclați din alte întrebări, performanța a fost îmbunătățită, deoarece modelele au potrivit modele textuale fără prea multă gândire. Dar cu zece sau mai multe răspunsuri nelegate, au început să se bazeze mai mult pe videoclip și pe întrebare:

Contribuție pe caracteristică și acuratețe pentru videoclip, întrebare și răspuns, pe măsură ce se adaugă răspunsuri greșite suplimentare la fiecare test VQA, arătând că creșterea numărului de distractori reduce dominanța textului și crește influența relativă a caracteristicilor vizuale și a întrebărilor.

Pentru VideoLLaMA3, masarea videoclipului a redus acuratețea cu 40% pe EgoSchema și 15% pe LVBench, indicând faptul că o simplă creștere a numărului de răspunsuri poate muta modelele de la scurtături de text către o gândire multimodală autentică.

Cercetătorii au explorat, de asemenea, modul în care atributele sunt distribuite pe intrări, și mai jos putem vedea hărți de căldură ale valorilor Shapley pentru fiecare intrare a modelului:

Hărți de căldură ale valorilor Shapley pentru patru seturi de date, unde fiecare rând arată o pereche VQA, și fiecare coloană o caracteristică. Caracteristicile videoclipului apar în partea stângă, urmate de text. Valorile mult mai puternice în regiunile (roșii) textului confirmă că modelele se bazează mult mai mult pe limbaj decât pe videoclip.

Comentând asupra rezultatelor de mai sus, autorii afirmă:

‘Mărimea valorilor Shapley este mult mai mare spre partea dreaptă a fiecărei hărți de căldură, reprezentând atributele întrebării și răspunsului. Această graniță evidentă este unde se termină cadrele videoclipului și încep caracteristicile textuale, demonstrând că contribuția modalității videoclipului este mult mai mică decât cea a întrebării/răspunsului. ‘

În rezumat, pe toate seturile de date, valorile sunt mult mai puternice spre partea textului spectrului, indicând puternic că modelele se bazează mult mai mult pe limbaj decât pe indicii vizuali. Chiar și atunci când videoclipul este utilizat, contribuția este răspândită subțire pe multe cadre, adesea fără niciun model consistent.

Mai jos, putem vedea un exemplu annotat din EgoSchema. Cele 16 cadre “cele mai importante” au fost selectate utilizând valorile Shapley și colorate în funcție de influența lor, cu albastru care indică o contribuție pozitivă și roșu o contribuție negativă:

Atribute Shapley pentru un exemplu din EgoSchema, arătând cele 16 cadre “cele mai importante” și toate intrările textuale. Contribuțiile videoclipului sunt minime în comparație cu textul, care domină raționamentul modelului. Albastru și roșu indică influență pozitivă și negativă asupra răspunsului selectat.

Rezultatul este că aproape fiecare cadru are o influență slabă în comparație cu cuvintele din întrebare și răspuns. Indicii vizuale sunt rare și inconsistente, în timp ce substantive precum “scaun” și “gard” direcționează modelul spre alegerea corectă – sau departe de ea, în funcție de context.

Concluzie

Oricine a lucrat cu editare de videoclipuri sau analiză de videoclipuri știe deja cât de solicitantă este această procesare și înțelege de ce companiile care procesează milioane de solicitări bazate pe inteligență artificială în fiecare zi nu pot permite să se execute procese de editare și interpretare video în mod arbitrar și la nivel de utilizator.

Un lucru de reținut în acest sens este că aproape fiecare interfață API de inteligență artificială pe care o veți încerca (cu excepția, poate, a unui demo nou și de scurtă durată, în sprijinul unor noi cercetări științifice) își propune să îndeplinească dorințele utilizatorilor la nivelul minim posibil de cheltuieli cu resursele.

Acest lucru înseamnă a se baza pe metadatele existente din datele furnizate de utilizator sau recuperări RAG, dacă este posibil; și extragerea, dacă este absolut necesar, a metadatelor pentru formate mai ușor de parcurs, cum ar fi PDF, documente și imagini individuale.

Ce nu este pe masă este rularea videoclipului dvs. încărcat prin CLIP sau prin ultima versiune YOLO, sau prin orice model VLM care poate consuma multă putere și timp și care poate identifica cu adevărat ceea ce este în cadre și înțelege ceea ce se întâmplă în videoclipul furnizat, ținând cont de temporalitate.

Însă, acest lucru nu înseamnă că fenomenele documentate în articolul actual provin neapărat din abordări arhitecturale parcimonioase. Autorii observă că textul domină paradigmele actuale de antrenament multimodal, ceea ce sugerează că “limbajul vizual” este fie mai puțin dezvoltat, mai puțin important sau informativ într-un context multimodal, sau (cel puțin pentru moment) mai puțin înțeles.

* Interesant, materialul pe care NotebookLM l-a creat pare a fi fie complet original, fie total neindexat de Google, deoarece nu pot găsi niciun rezultat care ar fi putut pătrunde în datele de antrenament și a declanșat această ieșire.

Publicat pentru prima dată vineri, 31 octombrie 2025; editat 14:20 pentru formatare