AI ville heller lese boken enn se filmen

Det er overraskende vanskelig å få AI-modeller til å se og kommentere på faktisk videoinnhold, selv om de er laget for oppgaven. De er mer interesserte i det skrevne ord.

Hvis du noensinne har prøvd å laste opp en liten video til ChatGPT eller en lignende populær visjon/språkmodell, kan du ha blitt overrasket over å innse at de faktisk ikke kan tolke video. Mens modeller som ChatGPT-4o+ er i stand til å analysere enkeltbilder – i form av bilder, som JPEG og PNG – foretrekker de at brukeren selv trekker ut bildene og laster dem opp som bilder (som de er forberedt på å kommentere).

I tilfelle OpenAI GPT-serien kan man, ganske omstendelig, trekke ut en fullstendig rekke med bilder fra en video og mata dem til ChatGPT, for eksempel for å generere en AI-laget narrativ spor for videoen:

Bilder og kode fra en OpenAI-tutorial på å tolke flere uttrukne bilder for å utvikle en AI-generert kommentar til en video. Kilde

Men det er opp til brukeren å gjøre omforming fra video til bilder, enten ved å kalle funksjoner i en større rutine, som i eksempelet ovenfor, eller trekke ut bildene med FFMPEG eller forskjellige gratis og betalte video-redigeringsløsninger.

I en viss utstrekning, kanskje til og med en stor utstrekning, henger begrensningene på videoanalyse i stor skala produkter som ChatGPT sammen med ressursbruk: å utstyre én AI-eksemplar med et utvalg av de mest populære video-kodekene, og å binde ressurser til den ressurskrevende og CPU-avgrensende prosessen med uttrekk, er ingen liten sak, hvis hundred millioner av brukere bestemmer seg for å begynne å bruke disse fasilitetene hver dag.

I tillegg kan temporal analyse gi en helt annen bildet enn et enkeltbilde (tenk deg en person som går inn i et hus i en glad stemning og deretter oppdager en lik); derfor er det å vurdere hele den temporale ‘sjekkesummen’ av selv en kort video en krevende og ressurskrevende oppgave – samt et spesialisert område innen forskningslitteraturen, for eksempel med den pågående utviklingen av rammer som Optical Flow – som i praksis ‘folder ut’ en lengde av video så den kan regnes med og håndteres som om den var et statisk dokument:

Optiske flow-diagrammer viser hvordan bevegelse spores over bilder i en video-sekvens, med grønne vektorer som viser bevegelsesretning og -intensitet. Disse kartene gir den temporale kontinuitet som trengs for VLM-er og kan også fungere som strukturveiledere i VFX-arbeidsflyter. Kilde

Settling for the Cliff’s Notes

Likevel, siden modeller som Google’s Notebook LM og de nyere ChatGPT-innleggene er i stand til å lese assosiert metadata (dvs. innebygd tekstinnhold som kontekstualiserer videoen på en eller annen måte), lar de ikke video-filopplasting forbli; og noen ganger vil de sogar forsøke å tolke en video som ikke har noen slik data.

I det følgende tilfellet lastet jeg opp en 6-sekunders tilfeldig klipp fra den italienske filmen Guds hånd (2021) til NotebookLM, og sikret meg at klippet ikke inneholdt noen nyttig tekst, hverken i metadata eller i filnavnet.

NotebookLM gikk deretter i gang med å hallucinere materiale som ikke hadde noen sammenheng med videoen*, komplett med en meningsløs og urelatert fem-minutters samtale:

En hverdagslig øyeblikk i en 6-sekunders klipp fra en italiensk film blir vilt misfortolket av NotebookLM. Kilde: Google NotebookLM

Likevel vil Notebook, som ChatGPT, akseptere en YouTube-video som innputt, men bare hvis videoen har en tolkbar tekstlag-annotasjon og/eller undertekster (ikke rasteriserte undertekster som er brent inn i videoen).

På denne måten har det tungt arbeidet med å faktisk se på og lytte til innholdet i videoen og utføre semantisk tolkning av den (en lovmessig nødvendighet for YouTube, på grunn av dens beskyttelsesmessige tiltak, og dens kommende identitetsbeskyttelsessystem) blitt gjort på fritiden etter at brukeren har lastet opp, når klippet kan bli tildelt de nødvendige ressursene.

Ekte video-tolkning er dyrt og slitende, og det viser seg at selv modeller som er trent spesifikt for å utføre denne oppgaven, ville heller lese tekst enn faktisk se på video.

TL;DW

Dette, ifølge en ny artikkel fra Storbritannias University of Bristol, med tittelen En video er ikke verdt en tusen ord, hvor de to forfatterne konkluderer at nåværende toppmodeller for visjon-språk (VLM-er) – modeller som er ment å kunne analysere video på en mer innsatsfull måte, og å delta i video-spørsmål-svar (VQA) – også faller tilbake til tekstbasert informasjon når de kan.

Når de ble gitt både bevegelige bilder og skrevne spørsmål og flervalgsvar, fant artikkelforfatterne at modellene vanligvis baserte sine valg på mønster i teksten, snarere enn noe som skjer på skjermen – i mange tilfeller utførte de like godt, selv når spørsmålet ble tatt bort fullstendig.

I det som synes å være en vanlig form for kortvei eller svindel, var det viktigste for de fleste modellene å kunne spore mønster i de mulige svarene; bare når oppgaven ble gjort vanskeligere, ved å legge til flere svarene, begynte AI-ene å være mer oppmerksomme på videoen.

Forfatterne ga VQA-tester under en rekke betingelser til seks VLM-modeller med forskjellige kontekstlengder, på fire egnete datasett; og fant at resultater indikerte modellenes avhengighet av tekst over video-innhold.

Eksempel fra studien som viser hvordan en video-analysemodell vekter hva den ser mot hva den leser. Klippet viser en person som vever bambus, men modellen tillegger mye mer vekt til den skrevne spørsmåls- og svarteksten enn til video-rammene selv. Blå høylysninger markerer elementer som støtter det valgte svaret, mens røde høylysninger markerer de som trekker det i motsatt retning, og viser hvordan modellens resonnering sentrerer seg rundt formuleringen snarere enn de bevegelige bildene. Kilde

Metode

For å forstå hvor mye hver innputt bidrar til en modells beslutning, bruker den nye studien en metode fra spillteori kalt Shapley-verdier. Opprinnelig designet for å dele en utbetaling rettferdig blant spillere i en koalisjon, tillegger Shapley-verdier kreditt til hver ‘spiller’ basert på deres individuelle innvirkning.

Effektivt sett er ‘spillerne’ i denne sammenhengen enten video-rammene eller tekst-komponentene (annotasjoner, undertekster, kapsler osv.) av en VQA-oppdrag; og ‘utbetalingen’ er modellens endelige svar. Ved systematisk å teste hva som skjer når hver del blir lagt til eller fjernet, avslører teknikken hvor viktig hver enkelt del var i å nå det valgte svaret.

I tilfelle den nye studien ble Shapley-verdier tilpasset for å håndtere blandede modaliteter, med video- og tekst-komponenter behandlet separat, og deres varierte innvirkning på modellens utdata målt, og avdekket om video-innholdet faktisk ble tolket, eller om skrevne hint ble brukt som kortveier.

Mål

To enkle mål ble definert for å sammenligne hvor mye hver modalitet (dvs. video, spørsmål eller svar) bidro til modellens beslutning: Modalitetsbidrag måler hvor mye av den totale forklaringen kom fra hver type innputt; her blir alle tilgjengelige Shapley-verdier summert opp, og andelen som tilhører hver modalitet beregnet som en prosentdel av totalen.

For det andre korrigerte Bidrag per funksjon for det faktum at noen modaliteter, som video, inneholder mange flere funksjoner enn andre. I stedet blir den gjennomsnittlige Shapley-verdien beregnet for hver funksjon, og disse gjennomsnittene sammenlignet for å bestemme hvilken modalitets innvirkning er dominerende.

Data og tester

Forfatterne testet tilnærmingen på seks VLM-er med en rekke karakteristika designet for å sikre at testenes prinsipper var bredt anvendelige og generelle. Derfor ble modellene valgt for forskjellige kontekstlengder, forskjellige aldre (dvs. hvor lenge siden rammeverket ble lansert), og forskjellige arkitekturkonfigurasjoner.

De medvirkende var FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (som utnytter Qwen2); og LongVA (også med Qwen2).

Med det samme målet om å sikre en variert variasjon, ble de fire mål-datasett valgt EgoSchema, et VQA-dataset designet for å være umulig å fullføre uten full visning av de tilknyttede videoene; HD-EPIC, et kjøkken-fokusert datasett med noen usedvanlig lange videoer; MVBench, en kuratert samling av bidrag fra andre datasett; og LVBench, som stiller VQA-spørsmål for svært lange videoer.

Fra disse ble forfatterne utarbeidet 60 spørsmål – ti fra hver spørsmålstype.

Bidrags-målene avdekket at de fleste modellene avhengig av tekst mer enn video, spesielt når de ble vurdert ramme for ramme. Selv der video gjorde en rimelig god figur i den totale bidrag, var dens innvirkning per funksjon ofte minimal, og indikerte at selv om modellen brukte videoen i sammenheng, var den lite oppmerksom på enkelt-rammer. VideoLLaMA3 var hoved-avviket her, med en tyngre visuell avhengighet, spesielt på de lengre sekvensene i LVBench:

Modalitetsbidrag (MC) og Bidrag per funksjon (PFC) poeng over modeller og datasett, som viser den relative vekten av video (V), spørsmål (Q) og svar (A) innputt. Kaldere farger indikerer sterkere bidrag; varmere farger indikerer svakere eller ubetydelig innvirkning. Over de fleste innstillinger er språk tydelig dominerende, med video ofte sidelagt – spesielt i per-ramme-innvirkning.

Så langt tekst var spørsmålet ofte viktigere enn svaret, spesielt i sterkere modeller. Dette var mest åpenbart i datasett som EgoSchema, hvor spørsmålene var lengre og mer naturalistiske, mens svarene var korte og noen ganger skjematiske. MVBench reverserte dette noe, ettersom dens binært svar-struktur blåser opp svarene.

Over alle modeller og datasett var likevel synet konsekvent sidelagt, med språk som gjorde det meste av arbeidet.

Artikkelen sier:

‘[For] lange kontekst-modeller, viser video en kraftig redusert bidrag, noe som betyr at per-ramme Shapley-verdier er mye mindre enn deres tekst-funksjons- motstykker.

‘Video som en hel modalitet er fortsatt svært relevant, men dette er bevis på at Shapley-verdiene av dens enkelt-rammer er mer sentrert rundt null, og at modellens oppmerksomhet på dem er mye mindre rettet enn for tekst.’

For å teste hvordan hver del av innputten (video, tekst osv.) bidrar til modellens nøyaktighet, utførte forskerne ytterligere tester ved å bruke maskering – å bevisst skjule en eller flere deler av innputten, og se hvor mye modellens nøyaktighet endrer seg som følge.

Hvis ytelsen faller kraftig når en bestemt innputt fjernes, er den innputten sannsynligvis viktig; hvis modellen utfører omtrent like godt, antyder det at den manglende delen ikke ble sterkt avhengig av.

Ytelses-påvirkning av å maskere video, spørsmål eller svar-innputt over fire VQA-benchmark. Poengene viser endring fra den umaskerte baseline. Rød betyr lavere nøyaktighet, grønn høyere. Modeller beholdt ofte høye poeng uten video, men tapte mer når (tekst) svaret ble fjernet. Spørsmålet kunne vanligvis maskeres med minimal effekt.

Resultatene (visualisert ovenfor) indikerer at svarene (tekst-svarene i flervalgsdata) bærer den største vekten over hele linjen. Å maskere svaret forårsaker vanligvis den største nedgangen i nøyaktighet, og ofte reduserer modellene til nær tilfeldig ytelse.

Imidlertid hadde maskering av spørsmålet vanligvis mye mindre effekt, og støtter den tidligere funn at modeller ofte undervurderer spørsmålet.

I noen tilfeller forbedret nøyaktigheten når spørsmålet ble fjernet, og antyder at modellene noen ganger bare matchet svarene til visuelle eller tekstlige hint, snarere enn å faktisk vurdere spørsmålet.

Modeller varierte også i sin avhengighet av video: noen beholdt en rimelig nøyaktighet uten det, og bekreftet ytterligere den begrensede bidraget til video-funksjoner i mange nåværende oppsett.

Forskerne testet deretter om modellene kunne bli tvunget til å avhengig av video ved å legge til ekstra feil svarene til flervalgs-alternativene.

Når distraktorene var enkle og gjenbrukt fra andre spørsmål, forbedret ytelsen, ettersom modellene matchet tekst-mønster uten mye resonnering. Men med ti eller flere ubeslektede svar begynte de å avhengig mer av video og spørsmål:

Bidrag per funksjon og nøyaktighet for video, spørsmål og svar-innputt, når flere feil svarene legges til hver VQA-test, og viser at økning av antall distraktorer reduserer tekst-dominans og øker den relative innvirkningen av visuelle og spørsmåls-funksjoner.

For VideoLLaMA3 reduserte maskering av video nøyaktigheten med 40% på EgoSchema og 15% på LVBench, og indikerer at en enkel økning i svartall kan flytte modeller bort fra tekst-kortveier og mot ekte multimodal resonnering.

Forskerne utforsket også hvordan attribusjon er fordelt over innputt, og nedenfor ser vi varme-kart over Shapley-verdier for hver modell-innputt:

Shapley-verdi varme-kart for fire datasett, hvor hver rad viser ett VQA-tuple, og hver kolonne en enkelt funksjon. Video-funksjoner vises til venstre, fulgt av tekst. De mye sterkere verdiene i (rød) tekst-regionene bekrefter at modellene avhenger mye mer av språk enn video.

I kommentar til resultater ovenfor, sier forfatterne:

‘Størrelsen på Shapley-verdiene er mye større mot høyre side av hver varme-kart, som representerer spørsmåls- og svartilknytninger. Denne skarpe grensen er der video-rammene slutter og tekst-funksjonene begynner, og demonstrerer at video-modalitetsbidrag er mye mindre enn spørsmål/svar. ‘

I sammenfatning, over alle datasett, er verdiene mye sterkere mot tekst-enden av spekteret, og indikerer sterkt at modellene avhenger mye mer av språk enn visuelle hint. Selv der video brukes, er bidraget spredt tynnt over mange rammene, ofte uten noen konsistent mønster.

Nedenfor ser vi et annotert eksempel fra EgoSchema. De 16 mest ‘viktige’ ramme ble valgt ved hjelp av Shapley-verdier og fargede etter innvirkning, med blå som indikerer positiv bidrag og rød som indikerer negativ:

Shapley-attribusjoner for ett enkelt EgoSchema-eksempel, som viser de 16 mest innflytelsesrike ramme og alle tekst-innputt. Video-bidrag er minimale sammenlignet med tekst, som dominerer modellens resonnering. Blå og rød indikerer positiv og negativ innvirkning på det valgte svaret.

Resultatet er at nesten hver enkelt ramme har bare svak innvirkning sammenlignet med ordene i spørsmålet og svarene. Visuelle hint er sparsomme og inkonsistente, mens substantiver som ‘stol’ og ‘gjerde’ leder modellen mot det riktige valget – eller bort fra det, avhengig av kontekst.

Konklusjon

Hver enkelt som har dabblet i video-redigering eller video-analyse, vil allerede vite hvor ressurskrevende disse prosessene er, og forstå hvorfor selskaper som parser millioner av AI-baserte forespørsler hver dag, ikke kan tillate ad hoc redigering og tolkende video-prosesser å bli kjørt av brukere.

En ting å huske i denne sammenhengen er at nesten hver enkelt API AI-grensesnitt du noen gang vil prøve (med mulig unntak av en ny og kortvarig demo til støtte for ny vitenskapelig forskning) er utformet for å oppfylle brukerens ønsker på det laveste mulige nivå av ressursforbruk.

Dette betyr å avhenge av eksisterende metadata fra bruker-tilførte data eller RAG-henting, hvis mulig; og å trekke ut metadata for mer parsebare formater som PDF, dokumenter og enkeltbilder.

Hva som ikke er på bordet, er å kjøre din lastede opp video gjennom CLIP eller den nyeste YOLO-utgaven, eller gjennom noen ressurskrevende og tidskrevende VLM som faktisk kan identifisere hva som er i ramme og forstå hva som skjer i den tilførte videoen, og som tar hensyn til temporalitet.

Imidlertid betyr dette ikke at fenomenene som den nåværende artikkelen dokumenterer, nødvendigvis følger av sparsomme arkitektoniske tilnærminger. Forfatterne observerer at tekst dominerer i nåværende toppmodeller for multimodal trening, og indikerer at ‘visuelt språk’ enten er mindre utviklet, mindre viktig eller informativt innen en multimodal sammenheng, eller (i alle fall for øyeblikket) mindre godt forstått,

* Interessant nok, ser det ut til at materialet NotebookLM kom opp med, å være enten fullstendig originalt eller fullstendig uindeksert av Google, ettersom jeg ikke kan finne noen søke-resultater som kunne ha sneket seg inn i treningsdataene og utløst denne output.

Først publisert fredag, 31. oktober 2025; redigert 14:20 for formatering