AI Vill Hellre Läsa Boken Än Titta På Filmen

Det är förvånansvärt svårt att få AI-modeller att titta på och kommentera faktiskt videomaterial, även om de är utformade för uppgiften. De är mer intresserade av det skrivna ordet.

Om du någon gång har försökt att ladda upp en liten videoklipp till ChatGPT eller en liknande populär vision/språkmodell, kan du ha blivit förvånad över att upptäcka att de inte kan tolka video. Medan modeller som ChatGPT-4o+ kan analysera enskilda bilder – i form av bilder, som JPEG och PNG – föredrar de att användaren extraherar sina egna bilder och laddar upp dem som bilder (som de är beredda att kommentera).

I fallet med OpenAI GPT-serien kan man, ganska mödosamt, extrahera en fullständig serie bilder från en videoklipp och mata dem till ChatGPT, för att till exempel generera en AI-skapad berättelse för videon:

Bilder och kod från en OpenAI-tutorial om att tolka flera extraherade bilder för att utveckla en AI-genererad kommentar för en videoklipp. Källa

Men det är användaren som måste göra omvandlingen från video till bilder, antingen genom att anropa funktioner i en större rutin, som i exemplet ovan, eller genom att extrahera bilderna med FFMPEG eller olika fria och betalda videoredigeringslösningar.

I viss mån, kanske till och med en stor del, beror begränsningarna för videoanalys i storskaliga produkter som ChatGPT på resursanvändning: att utrusta en AI-instans med ett urval av de mest populära videokoderna och att tilldela beräkningsresurser till den diskkrävande och CPU-krympande processen att extrahera är ingen liten övervägning, om hundratals miljoner användare skulle börja använda dessa funktioner varje dag.

Dessutom kan temporal analys måla upp en helt annan bild än en enskild bild (tänk dig att någon går in i ett hus i ett lyckligt humör och sedan upptäcker en kropp); därför är det att överväga den fullständiga tidsmässiga “kontrollsumman” för till och med en kort videoklipp en krävande och resurskrävande uppgift – samt ett specialiserat område inom forskningslitteraturen, till exempel med den pågående utvecklingen av ramverk som Optical Flow – som i princip “vecklar ut” en längd av video så att den kan betraktas och ageras på som om den vore ett statiskt dokument:

Optiska flödesdiagram visar hur rörelse spåras över bilder i en videosekvens, med gröna vektorer som visar rörelseriktning och intensitet. Dessa kartor tillhandahåller den tidsmässiga kontinuitet som behövs för VLM och kan också fungera som strukturerade guider i VFX-arbetsflöden. Källa

Nöja Sig Med Klippens Sammanfattning

Trots allt, eftersom modeller som Google’s Notebook LM och de senaste ChatGPT-entrierna kan läsa associerad metadata (dvs. inbäddat textinnehåll som kontextualiserar videon på något sätt), tillåter de inte videoöverföringar; och ibland kommer de till och med att försöka tolka en video som inte har någon sådan data.

I följande fall laddade jag upp en 6-sekunders slumpmässig klipp från den italienska filmen Guds Hand (2021) till NotebookLM, och såg till att klippen innehöll noll användbar text, antingen i metadata eller i filnamnet.

NotebookLM gick sedan vidare och hallucinerade omfattande material som var helt orelaterat till videon*, komplett med en meningslös och orelaterad femminuters samtal:

En vardaglig stund i en 6-sekunders klipp från en italiensk film är vilt missuppfattad av NotebookLM. Källa: Google NotebookLM

Även om Notebook, liksom ChatGPT, kan acceptera en YouTube-video som indata, kommer den endast att göra det om videon har en tolkningsbar textlager-annotation och/eller undertexter (inte rasteriserade undertexter som är brända in i videon).

På detta sätt har det hårda arbetet med att faktiskt titta på och lyssna på innehållet i videon och utföra semantisk tolkning av den (en laglig nödvändighet för YouTube, på grund av dess upphovsrättsliga skyddsåtgärder, och dess kommande identitetsskyddssystem) har gjorts i efterhand, efter att användaren har laddat upp klippen, och när klippen kunde tilldelas de nödvändiga bearbetningsresurserna.

Riktigt video-tolkning är dyrt och utmattande, och det visar sig att även modeller som har utformats specifikt för att utföra denna uppgift hellre läser text än faktiskt tittar på video.

TL;DW

Detta, enligt en ny artikel från Storbritanniens University of Bristol, med titeln En Video Är Inte Värd En Tusen Ord, där de två författarna drar slutsatsen att nuvarande toppmodeller för vision-språk (VLM) – modeller som är avsedda att kunna analysera video på ett mer ansträngt sätt, och delta i video-frågesvar (VQA) – också föredrar textbaserad information närhelst de kan.

När de gavs både rörliga bilder och skrivna frågor och flervalsalternativ, fann artikelförfattarna att modellerna vanligtvis baserade sina val på mönster i texten, snarare än något som händer på skärmen – i många fall presterade de lika bra, även när frågan togs bort helt.

I vad som verkar vara en vanlig form av genvägar eller fusk, var det som betydde mest för de flesta modellerna att kunna upptäcka mönster i de möjliga svaren; först när uppgiften gjordes svårare, genom att lägga till fler svarsalternativ, började AI:erna att fokusera mer på videon.

Författarna genomförde VQA-tester under en rad olika förhållanden för sex VLM-modeller med olika kontextlängder, på fyra lämpliga dataset; och fann att resultaten indikerade modellernas beroende av text över videoinnehåll.

Exempel från studien som visar hur en videoanalysmodell väger vad den ser mot vad den läser. Klippen visar en person som väver bambu, men modellen tilldelar mycket större vikt åt den skrivna frågan och svars-texten än åt videobilderna själva. Blåa markeringsfält markerar element som stöder det valda svaret, medan röda markeringsfält markerar de som drar det i motsatt riktning, vilket visar hur modellens resonemang fokuserar på formuleringen snarare än på de rörliga bilderna. Källa

Metod

För att förstå hur mycket varje indata bidrar till en modells beslut, använder den nya artikeln en metod från spelteori som kallas Shapley-värden. Ursprungligen utformad för att rättvist fördela en utbetalning mellan spelare i en koalition, tilldelar Shapley-värden kredit till varje “spelare” baserat på deras individuella påverkan.

Effektivt sett är “spelarna” i detta scenario antingen videobilderna eller textkomponenterna (annotationer, undertexter, rubriker etc.) i en VQA-uppgift; och “utbetalningen” är modellens slutliga svar. Genom att systematiskt testa vad som händer när varje del läggs till eller tas bort, avslöjar tekniken hur viktigt varje element var för att komma till det valda svaret.

I fallet med den nya artikeln anpassades Shapley-värden för att hantera blandade modaliteter, med video- och textkomponenter behandlade som separata enheter, och deras varierande inflytande på modellernas utdata mättes, vilket visade om videoinnehållet verkligen tolkades eller om skrivna ledtrådar användes som genvägar.

Mätvärden

Två enkla mätvärden definierades för att jämföra hur mycket varje modalitet (dvs. video, fråga eller svar) bidrog till modellens beslut: Modalitetsbidrag mäter hur mycket av den totala förklaringen som kom från varje typ av indata; här summeras alla tillgängliga Shapley-värden och den andel som tillhör varje modalitet beräknas som en procentandel av den totala.

Som en andra, Bidrag Per Funktion korrigeras för det faktum att vissa modaliteter, som video, innehåller många fler funktioner än andra. I stället beräknas det genomsnittliga Shapley-värdet för varje funktion, och dessa genomsnitt jämförs för att bestämma vilken modalitets inflytande som är dominant.

Data Och Tester

Författarna testade tillvägagångssättet på sex VLM-modeller med olika egenskaper, utformade för att säkerställa att testernas principer var allmänt tillämpliga och generaliserbara. Därför valdes modellerna ut för olika kontextlängder, olika åldrar (dvs. hur länge sedan ramverket släpptes) och olika arkitekturkonfigurationer.

Tävlande var FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (som utnyttjar Qwen2); och LongVA (även med Qwen2).

Med samma mål att ha en varierad variation valdes de fyra mål-dataseten EgoSchema, ett VQA-dataset utformat för att vara omöjligt att slutföra utan fullständig visning av de associerade videorna; HD-EPIC, ett kök-fokuserat dataset som innehåller några ovanligt långa videor; MVBench, en kuraterad samling bidrag från andra dataset; och LVBench, som ställer VQA-frågor för mycket långa videor.

Från dessa utformade författarna 60 frågor – tio från varje frågetyp.

Mätvärdena visade tydligt att de flesta modeller förlitade sig mindre på videon än på texten, särskilt när de bedömdes bild för bild. Även där videon gjorde en rimlig visning i den totala bidraget, var dess bidrag per funktion ofta minimalt, vilket tyder på att medan modellen kan ha använt videon i sin helhet, betalade den lite uppmärksamhet åt enskilda bilder. VideoLLaMA3 var den främsta avvikaren här, med en tyngre visuell beroende, särskilt på de längre sekvenserna i LVBench:

Modalitetsbidrags- (MC) och bidrags per funktion (PFC) -poäng över modeller och dataset, som visar den relativa vikten av video (V), fråga (Q) och svar (A) -indata. Kallare färger indikerar starkare bidrag; varmare färger indikerar svagare eller försumbara inflytande. Över de flesta inställningar är språk tydligt dominant, med video ofta åsidosatt – särskilt i per-bild-inflytande.

Såvitt gäller texten tenderade frågan att betyda mer än svaret, särskilt i starkare modeller. Detta var mest uppenbart i dataset som EgoSchema, där frågorna var längre och mer naturliga, medan svaren var korta och ibland schematiska. MVBench vände detta något, eftersom dess binära svarsstruktur inflaterade den uppenbara viktiga svars-token.

Över alla modeller och dataset var dock synen konsekvent åsidosatt, med språk som gjorde det mesta av arbetet.

Artikeln förklarar:

‘[För] långa kontextmodeller visar video kraftigt minskade bidrag, vilket innebär att per-bild Shapley-värdena är mycket mindre än deras textfunktionella motsvarigheter.

‘Video som en hel modalitet är fortfarande tydligt relevant, men detta är bevis för att Shapley-värdena för dess enskilda bilder är mer centrerade kring noll, och att modellens uppmärksamhet på dem är mycket mindre styrd än för texten.’

För att testa hur varje del av inmatningen (video, text etc.) bidrar till modellens noggrannhet, genomförde forskarna ytterligare tester med maskering – medvetet dölja en eller flera delar av inmatningen och se hur mycket modellens noggrannhet förändras som ett resultat.

Om prestandan sjunker kraftigt när en viss inmatning tas bort, är den inmatningen troligen viktig; om modellen presterar ungefär lika bra, tyder det på att den saknade delen inte var starkt beroende av. I detta avseende är maskeringstester en form av iterativ ablationsstudie.

Prestanda-påverkan av att maskera video, fråga eller svar-indata över fyra VQA-benchmark. Poängen visar förändring från den omaskerade baslinjen. Röd betyder lägre noggrannhet, grön högre. Modeller behöll ofta höga poäng utan video, men förlorade mer när (text) svaret togs bort. Frågan kunde vanligtvis maskeras med minimal effekt.

Resultaten (visualiserade ovan) visar att svaren (textsvaren i de flervalsdata) bär den största vikten över hela linjen. Att maskera svaret orsakade vanligtvis den största minskningen av noggrannhet, ofta reducerande modellerna till nästan slumpmässig prestanda.

Att maskera frågan hade vanligtvis mycket mindre effekt, vilket stöder den tidigare upptäckten att modeller ofta underskattar frågan.

I vissa fall förbättrades noggrannheten när frågan togs bort, vilket tyder på att modellerna ibland bara matchade svar till visuella eller textbaserade ledtrådar snarare än att korrekt utvärdera frågan.

Modellerna varierade också i sin beroende av video: vissa behöll rimlig noggrannhet utan det, vilket ytterligare bekräftar det begränsade bidraget från video-funktioner i många nuvarande konfigurationer.

Författarna testade sedan om modellerna kunde tvingas att förlita sig på video genom att lägga till extra felaktiga svar till de flervalsalternativ.

När distraktorerna var lätta och återanvändes från andra frågor, förbättrades prestandan, eftersom modellerna matchade textmönster utan mycket resonemang. Men med tio eller fler orelaterade svar började de att förlita sig mer på videon och frågan:

Bidrag per funktion och noggrannhet för video, fråga och svar-indata, när extra felaktiga svar läggs till varje VQA-test, vilket visar att ökningen av antalet distraktorer minskar textdominans och ökar den relativa inflytelsen av visuella och frågefunktioner.

För VideoLLaMA3 minskade maskering av videon noggrannheten med 40% på EgoSchema och 15% på LVBench, vilket tyder på att en enkel ökning av svarsantalet kan flytta modeller från textgenvägar till äkta multimodalt resonemang.

Forskarna undersökte också hur attribut fördelas över indata, och nedan ser vi värmebilder av Shapley-värden för varje modellindata:

Shapley-värde-värmebilder för fyra dataset, där varje rad visar en VQA-tupel, och varje kolumn en enskild funktion. Video-funktioner visas till vänster, följt av text. De mycket starkare värdena i (röda) textområdena bekräftar att modellerna förlitar sig mycket mer på språk än video.

I kommentar till resultaten ovan förklarar författarna:

‘Storleken på Shapley-värdena är mycket större mot höger sida på varje värmebild, som representerar fråge- och svars-attribut. Den tydliga gränsen är där video-bilderna slutar och textfunktionerna börjar, vilket visar att video-modalitetsbidraget är mycket mindre än fråga/svar. ‘

Sammanfattningsvis, över alla dataset, är värdena mycket starkare mot textänden av spektrumet, vilket starkt tyder på att modellerna förlitar sig mycket mer på språk än visuella ledtrådar. Även där videon används är bidraget spritt tunt över många bilder, ofta utan något konsekvent mönster.

Nedan ser vi ett annoterat exempel från EgoSchema. De 16 “viktigaste” bilderna valdes med Shapley-värden och färgades enligt deras inflytande, med blå som indikerar positivt bidrag och röd som indikerar negativt:

Shapley-attribut för ett enskilt EgoSchema-exempel, som visar de 16 mest inflytelserika bilderna och alla text-indata. Video-bidragen är minimala jämfört med texten, som dominerar modellens resonemang. Blå och röd indikerar positiv och negativ inflytande på det valda svaret.

Resultatet är att nästan varje bild har endast svagt inflytande jämfört med orden i frågan och svaren. Visuella ledtrådar är sällsynta och inkonsekventa, medan substantiv som “stol” och “staket” styr modellen mot det korrekta valet – eller bort från det, beroende på sammanhang.

Slutsats

Den som någon gång har sysslat med video-redigering eller video-analys vet redan hur resurskrävande dessa processer är, och förstår varför företag som tolkar miljontals AI-baserade förfrågningar per dag inte kan låta ad hoc video-redigerings- och tolkningsprocesser köras av användare.

En sak att komma ihåg i detta avseende är att nästan varje API-AI-gränssnitt du någonsin kommer att prova (med undantag för ett nytt och kortlivat demo i stöd för ny vetenskaplig forskning) syftar till att uppfylla användarnas önskemål på den lägsta möjliga nivån av resursutgifter.

Det betyder att förlita sig på befintlig metadata från användar-tillhandahållen data eller RAG-hämtningar, om möjligt; och extrahera (om absolut nödvändigt) metadata för mer tolkningsbara format som PDF, dokument och enskilda bilder.

Vad som inte är på bordet är att köra din uppladdade video genom CLIP eller den senaste YOLO-versionen, eller genom någon energikrävande och tidskrävande VLM som faktiskt kan identifiera vad som finns i bilderna och förstå vad som händer i den tillhandahållna videon, med hänsyn till temporalitet.

Detta betyder dock inte att fenomenet som den aktuella artikeln dokumenterar nödvändigtvis följer av snåla arkitektoniska tillvägagångssätt. Författarna observerar att text dominerar toppmoderna multimodala träningsparadigm i alla fall, vilket tyder på att “visuellt språk” antingen är mindre utvecklat, mindre viktigt eller informativt inom en multimodal kontext, eller (åtminstone för tillfället) mindre väl förstått,

* Intressant nog verkar materialet som NotebookLM kommit med antingen vara helt originalt eller totalt oindexerat av Google, eftersom jag inte kan hitta några sökresultat som kunde ha smugit in i träningsdata och utlöst detta svar.

Publicerad första gången fredagen den 31 oktober 2025; redigerad 14:20 för formatering