AI zou liever het boek lezen dan de film kijken

Het is verrassend moeilijk om AI-modellen te laten kijken en commentaar geven op echte video-inhoud, zelfs als ze daarvoor zijn gemaakt. Ze zijn meer geïnteresseerd in de geschreven tekst.

Als je ooit hebt geprobeerd om een kleine video-clip te uploaden naar ChatGPT of een soortgelijk populair visie/taalmodel, kun je verrast zijn om te realiseren dat ze eigenlijk geen video kunnen parseren. Terwijl modellen zoals ChatGPT-4o+ in staat zijn om individuele frames te analyseren – in de vorm van afbeeldingen, zoals JPEG en PNG – geven ze de voorkeur aan de gebruiker om hun eigen frames te extraheren en ze op te laden als afbeeldingen (waarop ze wel commentaar kunnen geven).

In het geval van de OpenAI GPT-serie kan men, vrijwel moeizaam, een complete reeks frames uit een video-clip extraheren en deze aan ChatGPT voeden, voor doeleinden zoals het genereren van een AI-gegenereerde narratieve track voor de video:

Afbeeldingen en code van een OpenAI-tutorial over het parseren van meerdere geëxtraheerde frames voor het doel van het ontwikkelen van een AI-gegenereerde commentaar voor een video-clip. Bron

Maar het is de gebruiker die de conversie van video naar frames moet maken, hetzij door functies aan te roepen in een grotere routine, zoals in het bovenstaande voorbeeld, of door de frames te extraheren met FFMPEG of verschillende gratis en betaalde video-bewerkingsoplossingen.

Tot op zekere hoogte, misschien zelfs in grote mate, hangen de beperkingen van video-analyse in grote producten zoals ChatGPT af van resource-gebruik: het is geen kleinigheid om één AI-exemplaar uit te rusten met een selectie van de meest populaire video-codecs en compute-resources toe te wijzen aan het schijf-zware en CPU-beperkende proces van extractie, mochten honderden miljoenen gebruikers besluiten om deze faciliteiten elke dag te gaan gebruiken.

Bovendien kan temporele analyse een heel ander beeld schetsen dan een enkele frame (stel je voor dat iemand een huis binnenkomt in een gelukkige stemming en dan een lijk ontdekt); daarom is het overwegen van de hele temporele ‘checksum’ van zelfs een korte video-clip een veeleisende en resource-intensieve taak – evenals een gespecialiseerd onderzoeksgebied, zoals de voortdurende ontwikkeling van kaders zoals Optical Flow – die eigenlijk een deel van de video ‘ontvouwt’ zodat deze kan worden beschouwd en behandeld als een statisch document:

Optische flow-diagrammen laten zien hoe beweging wordt gevolgd over frames in een video-sequentie, met groene vectoren die de bewegingsrichting en -intensiteit aangeven. Deze mappings bieden de temporele continuïteit die nodig is voor VLM’s en kunnen ook dienen als structurele gidsen in VFX-workflows. Bron

Genoegen nemen met de Cliff’s Notes

Toch, aangezien modellen zoals Google’s Notebook LM en de meest recente ChatGPT-entries in staat zijn om geassocieerde metadata (d.w.z. ingebedde tekstinhoud die de video op de een of andere manier contextualiseert) te lezen, verbieden ze geen video-bestandsuploads; en soms zullen ze zelfs proberen om een video te interpreteren die geen dergelijke gegevens heeft.

In het volgende geval uploadde ik een 6-seconde willekeurige clip van de Italiaanse film De Hand van God (2021) naar NotebookLM, waarbij ik ervoor zorgde dat de clip geen enkele nuttige tekst bevatte, noch in metadata noch in de bestandsnaam.

NotebookLM begon vervolgens uitgebreid te hallucineren met materiaal dat totaal niet gerelateerd was aan de video*, compleet met een nonsensical en niet-gerelateerde vijfminuten head-to-head podcast:

Een alledaags moment in een zes-seconde clip van een Italiaanse film wordt wild misgeïnterpreteerd door NotebookLM. Bron: Google NotebookLM

Hoewel Notebook, net als ChatGPT, een YouTube-video als invoer kan accepteren, doet het dit alleen als de video een interpreteerbare tekstlaag-annotatie en/of ondertiteling heeft (niet-rasterized ondertiteling die in de video is gebrand).

Op deze manier is het harde werk van het daadwerkelijk kijken naar en luisteren naar de inhoud van de video en het uitvoeren van semantische interpretatie ervan (een wettelijke noodzaak voor YouTube, vanwege zijn copyright-beschermingsmaatregelen, en zijn aanstaande identiteitsbeschermingssysteem) gedaan op een later tijdstip, nadat de gebruiker de clip heeft geüpload, en wanneer de clip de nodige verwerkingsbronnen kan worden toegewezen.

Echte video-interpretatie is duur en uitputtend, en het blijkt dat zelfs modellen die specifiek zijn getraind om deze taak uit te voeren, liever tekst lezen dan daadwerkelijk naar video kijken.

TL;DW

Dit, volgens een nieuw artikel van de Universiteit van Bristol in het VK, getiteld Een video is niet waard een duizend woorden, waarin de twee auteurs concluderen dat huidige state-of-the-art visie/taalmodellen (VLM’s) – modellen die specifiek zijn ontworpen om video te analyseren op een meer inspannende manier, en om deel te nemen aan video-vraagbeantwoording (VQA) – ook standaard tekstgebaseerde informatie gebruiken wanneer ze kunnen.

Wanneer ze zowel bewegende beelden als geschreven vragen en multiple-choice antwoorden kregen, vonden de auteurs van het artikel dat modellen meestal hun keuzes baseerden op patronen in de tekst, in plaats van iets wat op het scherm gebeurde – in veel gevallen presteerden ze net zo goed, zelfs wanneer de vraag helemaal weg was.

In wat lijkt op een gebruikelijke vorm van shortcutting of valsspelen, was wat het meeste voor de meeste modellen telde, het kunnen herkennen van patronen in de mogelijke antwoorden; alleen wanneer de taak moeilijker werd gemaakt, door meer antwoordopties toe te voegen, begonnen de AI’s meer aandacht te besteden aan de video.

De auteurs gaven VQA-tests onder een reeks omstandigheden aan zes VLM-modellen met diverse contextlengtes, op vier geschikte datasets; en vonden dat de resultaten aantoonden dat de modellen afhankelijk waren van tekst in plaats van video-inhoud.

Voorbeeld uit de studie die laat zien hoe een video-analysemodel weegt wat het ziet versus wat het leest. De clip toont iemand die bamboe weeft, maar het model wijst veel meer belang toe aan de geschreven vraag- en antwoordtekst dan aan de video-frames zelf. Blauwe highlights markeren elementen die de gekozen antwoord ondersteunen, terwijl rode marks die in de tegenovergestelde richting trekken, waardoor wordt geïllustreerd hoe het model zijn redenering centrale op de woording in plaats van op de bewegende beelden. Bron

Methode

Om te begrijpen hoeveel elke invoer bijdraagt aan een modelkeuze, gebruikt het nieuwe onderzoek een methode uit speltheorie genaamd Shapley-waarden. Oorspronkelijk ontworpen om een uitkering eerlijk te verdelen onder spelers in een coalitie, wijzen Shapley-waarden credits toe aan elke ‘speler’ op basis van hun individuele impact.

Effectief gezien zijn de spelers in deze situatie de video-frames of de tekstcomponenten (annotaties, ondertiteling, bijschriften, enz.) van een VQA-taak; en de ‘uitkering’ is het modelantwoord. Door systematisch te testen wat er gebeurt wanneer elk deel wordt toegevoegd of verwijderd, onthult de techniek hoe belangrijk dat element was bij het kiezen van het antwoord.

In het geval van het nieuwe project werden Shapley-waarden aangepast om gemengde modaliteiten te behandelen, met video- en tekstcomponenten behandeld als afzonderlijke entiteiten, en hun invloed op de modeluitvoer gemeten, waardoor werd onthuld of de video-inhoud daadwerkelijk werd geïnterpreteerd, of dat geschreven aanwijzingen werden gebruikt als shortcuts.

Metrieken

Twee eenvoudige metrieken werden gedefinieerd om te vergelijken hoeveel elke modaliteit (d.w.z. video, vraag of antwoord) bijdroeg aan het modelantwoord: Modaliteit-bijdrage meet hoeveel van de totale verklaring afkomstig was van elke type invoer; hier worden alle beschikbare Shapley-waarden opgeteld en het aandeel van elke modaliteit berekend als een percentage van het totaal.

Ten tweede Bijdrage per kenmerk corrigeert voor het feit dat sommige modaliteiten, zoals video, meer kenmerken bevatten dan andere. In plaats daarvan wordt de gemiddelde Shapley-waarde berekend voor elk kenmerk, en deze gemiddelden worden vergeleken om te bepalen welke modaliteit de dominante invloed heeft.

Gegevens en tests

De auteurs testten de aanpak op zes VLM’s met een verscheidenheid aan kenmerken ontworpen om ervoor te zorgen dat de testprincipes breed toepasbaar en generaliseerbaar waren. Daarom werden de modellen geselecteerd voor verschillende contextlengtes, verschillende leeftijden (d.w.z. hoe lang geleden het kader werd vrijgegeven) en verschillende architectuurconfiguraties.

De kandidaten waren FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (die Qwen2 gebruikt); en LongVA (ook met Qwen2).

Met hetzelfde doel van diverse variatie werden de vier doeldatasets geselecteerd: EgoSchema, een VQA-dataset ontworpen om onmogelijk te zijn om te voltooien zonder volledig naar de geassocieerde video’s te kijken; HD-EPIC, een keuken-georiënteerde dataset met enkele ongebruikelijk lange video’s; MVBench, een verzameling van bijdragen van andere datasets; en LVBench, die VQA-vragen stelt voor zeer lange video’s.

Van deze werden door de auteurs 60 vragen bedacht – tien van elk vraagtype.

De bijdragemetrieken maakten duidelijk dat de meeste modellen minder afhankelijk waren van de video dan van de tekst, vooral wanneer beoordeeld per frame. Zelfs waar de video een redelijke bijdrage leverde in de totale bijdrage, was de invloed per kenmerk vaak minimaal, wat suggereert dat, hoewel het model de video mogelijk in het algemeen gebruikt, het weinig aandacht besteedt aan individuele frames. VideoLLaMA3 was de belangrijkste uitzondering hierop, met een zwaardere visuele afhankelijkheid, vooral op de langere sequenties in LVBench:

Modaliteit-bijdrage (MC) en Bijdrage per kenmerk (PFC) scores over modellen en datasets, waarbij de relatieve gewicht van video (V), vraag (Q) en antwoord (A) invoer wordt getoond. Koelere kleuren geven sterke bijdragen aan; warmere kleuren geven zwakkere of verwaarloosbare invloed. Over de meeste instellingen heerst taal duidelijk, met video vaak opzij gezet – vooral in per-frame invloed.

Wat de tekst betreft, had de vraag de neiging om meer te tellen dan het antwoord, vooral in sterkere modellen. Dit was het meest duidelijk in datasets zoals EgoSchema, waar vragen langer en meer naturalistisch waren, terwijl de antwoorden kort en soms schematisch waren. MVBench keerde dit enigszins om, omdat de binaire antwoordstructuur de schijnbare importantie van de antwoordtokens opblies.

Over alle modellen en datasets heen werd visie consistent opzij gezet, met taal die het zware werk deed.

Het artikel stelt:

‘[Voor] lange contextmodellen toont video sterk verminderde bijdragen, wat betekent dat per frame de Shapley-waarden veel kleiner zijn dan hun tekstkenmerk-tegenhangers.

‘Video als geheel modaliteit is nog steeds duidelijk relevant, maar dit is bewijs dat de Shapley-waarden van zijn individuele frames meer gecentreerd zijn rond nul, en dat de aandacht van het model voor hen veel minder wordt geleid dan voor de tekst.’

Om te testen hoe elk deel van de invoer (video, tekst, enz.) bijdraagt aan modelnauwkeurigheid, voerden de onderzoekers aanvullende tests uit met maskeren – door opzettelijk een of meer delen van de invoer te verbergen en te zien hoeveel de modelnauwkeurigheid verandert als gevolg.

Als de prestaties scherp dalen wanneer een bepaalde invoer wordt verwijderd, is die invoer waarschijnlijk belangrijk; als het model ongeveer hetzelfde presteert, suggereert dit dat het ontbrekende deel niet zwaar werd vertrouwd. In deze zin zijn maskeringstests een soort iteratieve ablatiestudie.

Prestatie-impact van het maskeren van video-, vraag- of antwoordinvoer over vier VQA-benchmarks. Scores tonen verandering van de ongemaskeerde baseline. Rood betekent lagere nauwkeurigheid, groen hogere. Modellen behielden vaak hoge scores zonder video, maar verloren meer wanneer het (tekst)antwoord werd verwijderd. De vraag kon meestal worden gemaskeerd met minimale effecten.

De resultaten (hierboven weergegeven) geven aan dat antwoorden (tekstantwoorden in de multiple-choice gegevens) de meeste gewicht in de schaal leggen over het hele bord. Het maskeren van het antwoord zorgde meestal voor de grootste daling in nauwkeurigheid, waarbij modellen vaak terugvielen naar toevallige prestaties.

Maskeren van de vraag had meestal veel minder effect, wat de eerdere bevinding ondersteunt dat modellen de vraag vaak onderschatten.

In sommige gevallen verbeterde de nauwkeurigheid zelfs wanneer de vraag werd verwijderd, wat impliceert dat modellen soms alleen antwoorden aan tekstpatronen matchten in plaats van de vraag goed te evalueren.

Modellen varieerden ook in hun afhankelijkheid van video: sommige behielden redelijke nauwkeurigheid zonder het, waardoor verder werd bevestigd dat de bijdrage van video-kenmerken in veel huidige configuraties beperkt is.

De auteurs testten vervolgens of modellen konden worden gedwongen om meer op video te vertrouwen door extra verkeerde antwoorden toe te voegen aan de multiple-choice opties.

Wanneer de afleiders gemakkelijk en hergebruikt waren van andere vragen, verbeterde de prestatie, aangezien modellen tekstpatronen matchten zonder veel redenering. Maar met tien of meer niet-gerelateerde antwoorden begonnen ze meer te vertrouwen op de video en vraag:

Bijdrage per kenmerk en nauwkeurigheid voor video-, vraag- en antwoordinvoer, terwijl extra verkeerde antwoorden worden toegevoegd aan elke VQA-test, waaruit blijkt dat het toevoegen van meer afleiders de dominantie van tekst vermindert en de relatieve invloed van visuele en vraagkenmerken verhoogt.

Voor VideoLLaMA3 verminderde het maskeren van de video de nauwkeurigheid met 40% op EgoSchema en 15% op LVBench, wat aangeeft dat een eenvoudige toename van het aantal antwoorden modellen kan verplaatsen van tekstshortcuts naar echte multimodale redenering.

De onderzoekers onderzochten ook hoe toeschrijving wordt verdeeld over invoer, en hieronder zien we warmtekaarten van Shapley-waarden voor elke modelinvoer:

Shapley-waarde warmtekaarten voor vier datasets, waarbij elke rij een VQA-tuple toont, en elke kolom een enkel kenmerk. Video-kenmerken verschijnen links, gevolgd door tekst. De veel sterkere waarden in de (rode) tekstregio’s bevestigen dat modellen veel meer vertrouwen op taal dan op video.

In reactie op de bovenstaande resultaten merken de auteurs op:

‘De grootte van de Shapley-waarden zijn veel groter naar de rechterkant van elke warmtekaart, die de vraag- en antwoordtoeschrijvingen vertegenwoordigen. Deze scherpe grens is waar de video-frames eindigen en de tekstkenmerken beginnen, waardoor wordt aangetoond dat de video-modaliteitbijdrage veel kleiner is dan de vraag/antwoord. ‘

Samenvattend, over alle datasets heen, zijn de waarden veel sterker naar de tekstkant van het spectrum, wat sterk aangeeft dat modellen veel meer vertrouwen op taal dan op visuele aanwijzingen. Zelfs waar de video wel wordt gebruikt, is de bijdrage dun gespreid over veel frames, vaak zonder enig consistent patroon.

Onderstaand zien we een geannoteerd voorbeeld uit EgoSchema. De 16 meest ‘belangrijke’ frames werden geselecteerd met behulp van Shapley-waarden en gekleurd volgens hun invloed, met blauw aangevend een positieve bijdrage en rood een negatieve:

Shapley-toeschrijvingen voor een enkel EgoSchema-voorbeeld, waarbij de 16 meest invloedrijke frames en alle tekstinvoer worden getoond. Video-bijdragen zijn minimaal in vergelijking met tekst, die de redenering van het model domineert. Blauw en rood geven positieve en negatieve invloed op het geselecteerde antwoord aan.

Het resultaat is dat bijna elk frame slechts een zwakke invloed heeft in vergelijking met de woorden in de vraag en antwoorden. Visuele aanwijzingen zijn schaars en inconsistent, terwijl zelfstandige naamwoorden zoals ‘stoel’ en ‘hek’ het model in de richting van het juiste antwoord sturen – of ervan af, afhankelijk van de context.

Conclusie

Iedereen die ooit heeft geknutseld met video-bewerking of video-analyse weet al hoe resource-intensief deze processen zijn, en begrijpt waarom bedrijven die miljoenen AI-gebaseerde verzoeken per dag verwerken, niet zomaar ad hoc video-bewerkings- en interpretatieprocessen kunnen toestaan die door gebruikers worden uitgevoerd.

Een ding om te onthouden in dit verband is dat bijna elk API-AI-interface dat u ooit zult proberen (met uitzondering van een gloednieuwe en kortstondige demo ter ondersteuning van nieuw wetenschappelijk onderzoek) ernaar streeft om de wensen van gebruikers te vervullen op het minimumniveau van resource-uitgaven.

Dat betekent dat, indien mogelijk, gebruik wordt gemaakt van bestaande metadata van gebruikersgegevens of RAG-opzoekingen; en, indien absoluut noodzakelijk, metadata worden geëxtraheerd voor meer parseerbare formaten zoals PDF, documenten en afzonderlijke afbeeldingen.

Wat niet op tafel ligt, is het doorlopen van uw geüploade video via CLIP of de laatste YOLO-release, of via een power-guzzling en tijdrovende VLM die daadwerkelijk kan identificeren wat er in de frames zit en begrijpen wat er in de geüploade video gebeurt, rekening houdend met temporaliteit.

Maar dit betekent niet dat de fenomenen die in het huidige artikel worden gedocumenteerd, noodzakelijkerwijs voortkomen uit zuinige architecturale benaderingen. De auteurs merken op dat tekst de state-of-the-art multimodale trainingsparadigma’s domineert in elk geval, wat aangeeft dat ‘visuele taal’ minder ontwikkeld, minder belangrijk of informatief is binnen een multimodaal kader, of (op dit moment) minder goed begrepen,

* Interessant is dat het materiaal dat NotebookLM heeft gegenereerd, ogenschijnlijk helemaal origineel is of totaal niet door Google is geïndexeerd, aangezien ik geen enkele zoekresultaat kan vinden die in de trainingsgegevens had kunnen sluipen en deze uitvoer had kunnen opwekken.

Publicatie op vrijdag 31 oktober 2025; bewerkt 14:20 voor opmaak