AI ville hellere læse bogen end se filmen

Det er overraskende svært at få AI-modeller til at se og kommentere på faktisk videoindhold, selv om de er designed til dette formål. De er mere interesseret i den skrevne tekst.

Hvis du nogensinde har prøvet at uploade en lille video-klip til ChatGPT eller en lignende populær vision/sprog-model, kan du have været overrasket over, at de ikke kan parse video. Mens modeller som ChatGPT-4o+ er i stand til at analysere enkelt billeder – i form af billeder, såsom JPEG og PNG – foretrer de, at brugeren selv skal trække billeder ud og uploade dem som billeder (hvortil de er parat til at kommentere).

I tilfælde af OpenAI GPT-serien kan man, ret besværligt, trække en komplet række af billeder ud fra en video-klip og føde dem til ChatGPT, for eksempel for at generere en AI-udarbejdet narrativ spor til videoen:

Billeder og kode fra en OpenAI-tutorial om at parse multiple udtrukne billeder for at udvikle en AI-genereret kommentar til en video-klip. Kilde

Men det er op til brugeren at lave omvandlingen fra video til billeder, enten ved at kalde funktioner i en større rutine, som i ovenstående eksempel, eller ved at trække billederne ud med FFMPEG eller forskellige gratis og betalte video-redigeringsløsninger.

I en vis udstrækning, måske endda en stor udstrækning, hænger begrænsningerne på video-analyse i store produkter som ChatGPT sammen med ressourceforbrug: blot at udstyre én AI-eksemplar med et udvalg af de mest populære video-kodecer, og at tildele beregningsressourcer til den disk-tunge og CPU-belastende proces med udtrækning, er ingen lille sag, hvis hundredvis af millioner af brugere beslutter sig for at starte med at bruge disse faciliteter hver dag.

Dertil kommer, at temporal analyse kan give et helt andet billede end et enkelt billede (forestil dig, at nogen går ind i et hus i en glad stemning og derefter opdager en død person); derfor er det at overveje hele den temporale ‘checksum’ af selv en kort video-klip en krævende og ressourcekrævende opgave – samt et specialiseret område inden for forskningslitteraturen, for eksempel med den fortsatte udvikling af rammer som Optical Flow – som grundlæggende ‘folder’ en længde video ud, så den kan betragtes og håndteres som en statisk dokument:

Optical flow-diagrammer viser, hvordan bevægelse spores over billeder i en video-sekvens, med grønne vektorer, der viser retning og intensitet. Disse kort viser den temporale kontinuitet, der er nødvendig for VLM’er, og kan også fungere som strukturelle vejledninger i VFX-workflows. Kilde

At nøjes med Cliff’s Notes

Alligevel, da modeller som Google’s Notebook LM og de seneste ChatGPT-udgaver kan læse associerede metadata (dvs. indlejret tekstindhold, der kontekstualiserer videoen på en eller anden måde), tillader de ikke video-fil upload; og nogle gange vil de endda forsøge at fortolke en video, der ikke har nogen sådan data.

I følgende tilfælde uploadede jeg en 6-sekunders tilfældig klip fra den italienske film Guds hånd (2021) til NotebookLM, og sikrede, at klippen ikke indeholdt nogen nyttig tekst, hverken i metadata eller i filnavnet.

NotebookLM gik derefter i gang med at hallucinere materiale, der ikke havde noget at gøre med videoen*, sammen med en meningsløs og ikke-relateret fem-minutters podcast:

En hverdagsoplevelse i en 6-sekunders klip fra en italiensk film bliver vildt misfortolket af NotebookLM. Kilde: Google NotebookLM

Selv om Notebook, som ChatGPT, kan acceptere en YouTube-video som input, vil den kun gøre det, hvis videoen har en fortolkelig tekstlag-annotation og/eller undertekster (ikke rasteriserede undertekster, der er brændt ind i videoen).

På denne måde er det hårdt arbejde med at faktisk kigge på og lytte til videoindholdet og udføre semantisk fortolkning af det (en juridisk nødvendighed for YouTube, på grund af dets copyright-beskyttelsesforanstaltninger, og dets kommende identitetsbeskyttelsessystem), er blevet udført efterhånden, når klippen kunne allokeres de nødvendige processressourcer.

Rigtig videofortolkning er dyrt og udmattende, og det viser sig, at selv modeller, der er specielt designed til at udføre denne opgave, hellere læser tekst end faktisk kigger på video.

TL;DW

Dette ifølge en ny artikel fra Storbritanniens University of Bristol, med titlen En video er ikke værd en tusind ord, hvor de to forfattere konkluderer, at nuværende state-of-the-art vision-sprog-modeller (VLM’er) – modeller, der er designet til at kunne analysere video på en mere indsatsfuld måde, og til at deltage i video-spørgsmål-svar (VQA) – også falder tilbage til tekstbaseret information, når de kan.

Når de får både bevægelige billeder og skrevne spørgsmål og multiple-choice-svar, fandt artiklens forfattere, at modellerne normalt baserede deres valg på mønstre i teksten, snarere end noget, der sker på skærmen – i mange tilfælde udførte de lige så godt, selv når spørgsmålet var taget væk helt.

I hvad der synes at være en vanlig form for genvej eller snyd, hvad der betød mest for de fleste modeller, var at kunne spotte mønstre i de mulige svar; kun når opgaven blev gjort sværere, ved at tilføje flere svarmuligheder, begyndte AI’er at være mere opmærksomme på videoen.

Forfatterne gav VQA-tests under en række betingelser til seks VLM-modeller med forskellige kontekstlængder, på fire passende datasets; og fandt, at resultaterne viste modellernes afhængighed af tekst over videoindhold.

Eksempel fra studiet, der viser, hvordan en video-analysemodel væger, hvad den ser, mod hvad den læser. Klippen viser en person, der væver bambus, men modellen tildeler langt mere vægt til den skrevne tekst og svar end til video-rammene selv. Blå højdepunkter markerer elementer, der støtter det valgte svar, mens røde markerer dem, der trækker det i den modsatte retning, og viser, hvordan modellens argumentation centrerer sig omkring ordlyden snarere end om de bevægelige billeder. Kilde

Metode

For at forstå, hvor meget hver input bidrager til en modells beslutning, bruger det nye arbejde en metode fra spilteori kaldet Shapley-værdier. Oprindeligt designet til at dele en gevinst retfærdigt blandt spillere i en koalition, tildeler Shapley-værdierne kredit til hver ‘spiller’ baseret på deres individuelle indvirkning.

Effektivt set er ‘spillerne’ i denne situation enten video-rammene eller tekstkomponenterne (annotationer, undertekster, overskrifter osv.) af en VQA-opgave; og ‘gevinsten’ er modellens endelige svar. Ved systematisk at teste, hvad der sker, når hver del tilføjes eller fjernes, afslører teknikken, hvor vigtig hver komponent var for at nå det valgte svar.

I tilfælde af det nye projekt blev Shapley-værdierne tilpasset til at håndtere blandede modaliteter, med video- og tekstkomponenter behandlet separat, og deres varierende indvirkning på modellernes output målt, og afslørede, om videoindholdet blev sandt fortolket, eller om skrevne hints blev brugt som genveje.

Metrikker

To simple metrikker blev defineret til at sammenligne, hvor meget hver modalitet (dvs. video, spørgsmål eller svar) bidrager til modellens beslutning: Modalitetsbidrag måler, hvor meget af den totale forklaring, der kommer fra hver type input; her summeres alle tilgængelige Shapley-værdier op, og andelen, der tilhører hver modalitet, beregnes som en procentdel af det totale.

For det andet korregerer Bidrag pr. funktion for det faktum, at nogle modaliteter, som video, indeholder langt flere funktioner end andre. I stedet beregnes den gennemsnitlige Shapley-værdi for hver funktion, og disse gennemsnit sammenlignes for at bestemme, hvilken modalitets indvirkning er dominerende.

Data og tests

Forfatterne testede tilgangen på seks VLM-modeller med forskellige karakteristika designet til at sikre, at testernes principper var bredt anvendelige og generelle. Derfor blev modellerne valgt for forskellige kontekstlængder, forskellige aldre (dvs. hvor længe siden rammeværket blev frigivet) og forskellige arkitekturkonfigurationer.

De medvirkende var FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (som udnytter Qwen2); og LongVA (som også bruger Qwen2).

Med det samme formål om at have en divers variation blev de fire mål-datasets valgt til EgoSchema, en VQA-dataset designet til at være umulig at fuldføre uden fuld visning af de associerede videoer; HD-EPIC, et køkkenfokuseret dataset med nogle usædvanligt lange videoer; MVBench, en kurateret samling af bidrag fra andre datasets; og LVBench, som stiller VQA-spørgsmål for meget lange videoer.

Herfra udviklede forfatterne 60 spørgsmål – ti fra hvert spørgsmålstype.

Bidragsmetrikkerne gjorde det klart, at de fleste modeller afhængigt mindre af videoen end af teksten, især når dømt ramme for ramme. Selv hvor videoen gjorde en rimelig indsats i den samlede bidrag, var dens bidrag pr. funktion ofte minimalt, hvilket tydede på, at selvom modellen brugte videoen samlet, betalte den kun lidt opmærksomhed til enkelt-rammene. VideoLLaMA3 var den primære outlier her, med en større visuel afhængighed, især på de længere sekvenser i LVBench:

Modalitetsbidrag (MC) og bidrag pr. funktion (PFC) scoringer på tværs af modeller og datasets, der viser den relative vægt af video (V), spørgsmål (Q) og svar (A) input. Køligere farver indikerer stærkere bidrag; varmere farver indikerer svagere eller ubetydelig indvirkning. På tværs af de fleste indstillinger er sprog tydeligt dominerende, med video ofte sat til side – især i per-ramme-indvirkning.

For teksten tenderede spørgsmålet til at betyde mere end svaret, især i stærkere modeller. Dette var mest åbenbart i datasets som EgoSchema, hvor spørgsmålene var længere og mere naturalistiske, mens svarene var korte og nogle gange skematisk. MVBench omvendte dette noget, da dens binær-svar-struktur øgede den tilsyneladende vigtighed af svartoken.

På tværs af alle modeller og datasets var vision konsekvent sat til side, med sprog, der udførte det meste af arbejdet.

Artiklen fastslår:

‘[For] lange kontekstmodeller viser video en kraftigt reduceret bidrag, hvilket betyder, at Shapley-værdierne pr. ramme er langt mindre end deres tekstfunktionsmodstykker.

‘Video som en hel modalitet er stadig tydeligt meget relevant, men dette er bevis for, at Shapley-værdierne for dens enkelte rammes center er mere omkring nul, og at modellens opmærksomhed på dem er langt mindre rettet end for teksten.’

For at teste, hvor meget hver del af input (video, tekst osv.) bidrager til modellens nøjagtighed, udførte forskerne yderligere tests ved hjælp af maskering – bevidst skjulte en eller flere dele af input og så, hvor meget modellens nøjagtighed ændrede sig herefter.

Hvis performance falder kraftigt, når en bestemt input fjernes, er denne input sandsynligvis vigtig; hvis modellen udfører omtrent det samme, tyder det på, at den manglende del ikke blev stærkt afhængigt af. I denne forstand er maskeringstests en slags iterativ ablationsstudie.

Performance-impact af at maskere video-, spørgsmål- eller svar-input på tværs af fire VQA-benchmark. Scorer viser ændring fra den umaskerede baseline. Rød betyder lavere nøjagtighed, grøn højere. Modellerne beholdt ofte høje score uden video, men tabte mere, når (tekst) svaret blev fjernet. Spørgsmålet kunne normalt maskeres med minimal effekt.

Resultaterne (visualiseret ovenfor) indikerer, at svarene (tekstsvarene i multiple-choice-data) bærer den største vægt på tværs af brættet. At maskere svaret medførte typisk den største nedgang i nøjagtighed, ofte reducerer modellerne til næsten tilfældig præstation.

Maskering af spørgsmålet havde normalt langt mindre effekt, hvilket understøtter den tidligere fund, at modellerne ofte undervurderer spørgsmålet.

I nogle tilfælde forbedredes nøjagtigheden, selv når spørgsmålet blev fjernet, hvilket antyder, at modellerne nogle gange bare matchede svar til visuelle eller tekstbaserede hints snarere end at evaluere spørgsmålet ordentligt.

Modellerne varierede i deres afhængighed af video: nogle opretholdt en rimelig nøjagtighed uden det, hvilket yderligere bekræftede den begrænsede bidrag fra video-funktioner i mange nuværende opsætninger.

Forfatterne testede herefter, om modellerne kunne tvinges til at afhænge af video ved at tilføje ekstra forkerte svar til multiple-choice-mulighederne.

Når distraktorerne var lette og genbrugt fra andre spørgsmål, forbedredes performance, da modellerne matchede tekstmønstre uden megen begrundelse. Men med ti eller flere ikke-relaterede svar begyndte de at afhænge mere af videoen og spørgsmålet:

Bidrag pr. funktion og nøjagtighed for video-, spørgsmål- og svar-input, når yderligere forkerte svar tilføjes til hver VQA-test, viser, at øget antal distraktorer reducerer tekst-dominans og øger den relative indvirkning af visuelle og spørgsmålsfunktioner.

For VideoLLaMA3 reducerede maskering af videoen nøjagtigheden med 40% på EgoSchema og 15% på LVBench, hvilket indikerer, at en simpel øgning i antallet af svar kan flytte modellerne væk fra tekst-genveje og mod ægte multimodal begrundelse.

Forskere udforskede også, hvordan tilskrivning er fordelt på tværs af input, og nedenfor ser vi varme-kort over Shapley-værdier for hver model-input:

Shapley-værdi-varme-kort for fire datasets, hvor hver række viser en VQA-tuple, og hver kolonne en enkelt funktion. Video-funktioner vises til venstre, efterfulgt af tekst. De langt stærkere værdier i (rød) tekstområderne bekræfter, at modellerne afhænger langt mere af sprog end video.

I kommentar til resultaterne ovenfor fastslår forfatterne:

‘Størrelsen af Shapley-værdierne er langt større mod højre side af hver varme-kort, der repræsenterer spørgsmål- og svar-attributter. Denne skarpe grænse er, hvor video-rammene slutter, og tekstfunktionerne begynder, og viser, at video-modalitetsbidraget er langt mindre end spørgsmål/svar. ‘

Samlet set er værdierne langt stærkere mod tekstenden af spektret, hvilket stærkt indikerer, at modellerne afhænger langt mere af sprog end visuelle hints. Selv hvor videoen bruges, er bidraget fordelt tyndt over mange rammes, ofte uden nogen konsistent mønster.

Nedenfor ser vi et annoteret eksempel fra EgoSchema. De 16 mest ‘vigtige’ rammes blev valgt ved hjælp af Shapley-værdier og farvet efter deres indvirkning, med blå angivende en positiv bidrag og rød en negativ:

Shapley-attributter for en enkelt EgoSchema-eksempel, der viser de 16 mest indflydelsesrige rammes og alle tekst-input. Video-bidrag er minimale i forhold til tekst, der dominerer modellens begrundelse. Blå og rød angiver positiv og negativ indvirkning på det valgte svar.

Resultatet er, at næsten hver enkelt ramme har kun en svag indvirkning i forhold til ordene i spørgsmålet og svarene. Visuelle hints er sparsomme og inkonsistente, mens navneord som ‘stol’ og ‘hegn’ styrer modellen mod det korrekte valg – eller væk fra det, afhængigt af kontekst.

Konklusion

Enhver, der nogensinde har dabbet i video-redigering eller video-analyse, ved allerede, hvor ressourcekrævende disse processer er, og forstår, hvorfor virksomheder, der parser millioner af AI-baserede anmodninger om dagen, ikke kan tillade, at brugerne udfører ad hoc video-redigering og fortolkning.

En ting at huske i denne forbindelse er, at næsten hver API-AI-grænseflade, du nogensinde vil prøve (med den mulige undtagelse af en brandny og kortlivet demo til støtte for nyt videnskabeligt forskning), søger at opfylde brugernes ønsker på det laveste mulige niveau af ressourceforbrug.

Det betyder at afhænge af eksisterende metadata fra brugerleveret data eller RAG-hentninger, hvis det er muligt; og at trække metadata ud (hvis absolut nødvendigt) til mere parsebare formater som PDF, dokumenter og enkeltbilleder.

Hvad der ikke er på bordet, er at køre din uploaded video gennem CLIP eller den seneste YOLO-udgave, eller gennem nogen ressourcekrævende og tidskrævende VLM, der kan identificere, hvad der er i rammerne, og forstå, hvad der sker i den leverede video, og tage højde for temporalitet.

Det betyder dog ikke, at fænomenet, som den nuværende artikel dokumenterer, nødvendigvis skyldes en besparelse på arkitektonisk niveau. Forfatterne bemærker, at tekst dominerer state-of-the-art multimodale træningsparadigmer i alle tilfælde, hvilket indikerer, at ‘visuelt sprog’ enten er mindre udviklet, mindre vigtigt eller informativt inden for en multimodal kontekst, eller (i det mindste for øjeblikket) mindre forstået,

* Interessant nok synes det materiale, NotebookLM kom op med, at være enten helt originalt eller helt ikke-indeks af Google, da jeg ikke kan finde nogen søgeresultater, der kunne have snuppet ind i træningsdata og udløst denne output.

Først udgivet fredag, 31. oktober 2025; redigeret 14:20 til formatering