Tekoäly haluaisi mieluummin lukea kirjan kuin katsoa elokuvaa

On yllättävän vaikea saada tekoälymallit katsomaan ja kommentoimaan todellista video sisältöä, vaikka ne on tehty tätä tehtävää varten. Ne ovat kiinnostuneempia kirjoitetusta sanasta.

Jos olet koskaan yrittänyt ladata pientä video klippiä ChatGPT:hen tai vastaavaan vision / kielen malliin, saatat olla yllättynyt siitä, että ne eivät voi todella käsitellä videota. Vaikka mallit kuten ChatGPT-4o+ pystyvät analysoimaan yksittäisiä kehyskohtaisia kuvia, ne suosittelevat, että käyttäjä poistaa kehykset itse ja lataa ne kuvina, joita ne ovat valmiita kommentoimaan.

OpenAI GPT -sarjan tapauksessa voi, melko vaivaisasti, poistaa koko kehysjonon video klipistä ja syöttää ne ChatGPT:hen esimerkiksi luomaan tekoälyluotua kerrontaa videolle:

Kuvat ja koodi OpenAI -opasta, jossa käsitellään useiden poistettujen kehyskohtaisia kuvien käsittelyä tekoälyluotua kommentointia varten. Lähde

Käyttäjän on kuitenkin tehtävä muunnos videosta kehyksiin joko kutsumalla funktioita isommassa ohjelmassa tai poistamalla kehykset FFMPEG:llä tai eri ilmaisilla ja maksullisilla video editointiratkaisuilla.

Jossain määrin, ehkä jopa suuressa määrin, video analyysin rajoitukset suurissa tuotteissa kuten ChatGPT:hen liittyvät resurssien käytöstä: yhden tekoäly instanssin varustaminen valikoimalla suosittuja video koodekkeja ja sitoutuminen levyyn ja CPU:lle raskaisiin kehyspoistoprosessiin ei ole vähäinen asia, jos satoja miljoonia käyttäjää päättää käyttää näitä ominaisuuksia päivittäin.

Lisäksi temporaalinen analyysi voi piirtää erilaisen kuvan kuin yksittäinen kehys (kuvittele henkilöä, joka tulee taloon iloisella tuulella ja löytää ruumiin); siksi koko lyhyen video klipin temporaalisen “tarkistussumman” huomioon ottaminen on vaativa ja resursseja vaativa tehtävä – sekä erikoistunut tutkimusalue, esimerkiksi Optical Flow -kehyksistön kehittäminen, joka “avaa” videon siten, että se voidaan kohdella ja toimia kuin se olisi staattinen asiakirja:

Optical flow -kaaviot korostavat, miten liike seurataan kehyskohtaisesti videossa, vihreät nuolet osoittavat liikkeen suunnan ja voimakkuuden. Nämä kartat tarjoavat tarvittavan temporaalisen jatkuvuuden VLM:ille ja voivat toimia myös rakenteellisina oppaina VFX -työvirroissa. Lähde

Hyväksymällä Cliftonin tiivistelmät

Vaikka mallit kuten Google Notebook LM ja uudet ChatGPT -mallit pystyvät lukemaan liitetyt metatiedot (ts. upotetun tekstisisällön, joka antaa videolle jollain tavoin kontekstin), ne eivät kiellä video tiedostojen lataamista; ja joskus ne yrittävät jopa tulkita videota, jolla ei ole tällaista tietoa.

Ladatakseni 6 sekunnin satunnaisen klipin italian elokuvasta Jumalan käsi (2021) NotebookLM:lle, varmistin, että klipissä ei ollut mitään hyödyllistä tekstiä, kummassakaan metatiedoissa tai tiedostonimessä.

NotebookLM sitten aloitti yksityiskohtaisen, videosta täysin irrallisen materiaalin luomisen, mukaan lukien järjettömän ja irrallisen viisiminuuttisen podcastin:

Arkipäivän hetki kuusisekuntisessa klipissä italian elokuvasta on villiin tapaan väärin tulkitettu NotebookLM:llä. Lähde: Google NotebookLM

Vaikka Notebook, kuten ChatGPT, hyväksyy YouTube -videon syötteenä, se tekee niin vain, jos video sisältää tulkitettavan tekstikerroksen ja / tai tekstityksiä (ei poltettuja tekstityksiä, jotka on palautettu videossa).

Tällä tavoin varsinaisen sisällön katsominen ja kuuntelu sekä sen semanttisen tulkinnan suorittaminen (oikeudellinen välttämättömyys YouTube:lle sen tekijänoikeussuojan vuoksi ja odottamassa olevan henkilöllisyystunnistusjärjestelmän vuoksi) on tehty myöhemmin, kun käyttäjä on lataanut klipin ja kun se voidaan varata tarvittaville prosessointiresursseille.

Todellinen video tulkinta on kallista ja raskasta, ja ilmenee, että jopa mallit, jotka on koulutettu erityisesti tätä tehtävää varten, suosittelevat tekstiä videon sijaan.

TL;DW

Tämä, Iso-Britannian Bristolin yliopiston uuden tutkimuksen mukaan, jossa tutkitaan nykyisiä visio-kieli malleja, joita kutsutaan myös video kysymys vastaus (VQA) -malleiksi, ja joissa mallit osallistuvat video kysymys vastaus (VQA) tehtäviin.

Kun annettiin sekä liikkuvia kuvia että kirjoitettuja kysymyksiä ja monivalintavastauksia, tutkimuksen tekijät totesivat, että mallit perustivat valintansa usein tekstiin, eivätkä mitä tapahtuu ruudulla – useissa tapauksissa suoriutuivat yhtä hyvin, vaikka kysymys poistettiin kokonaan.

Tässä näyttää olevan tapa lyhentää tai pettää, jossa tärkeintä malleille oli havaita kuvioita mahdollisissa vastauksissa; vasta kun tehtävä tehtiin vaikeammaksi lisäämällä enemmän vastausvaihtoehtoja, AI:t alkoivat kiinnittää enemmän huomiota videota.

Tutkijat antoivat VQA -testeja eri olosuhteissa kuudelle VLM -mallille, joilla oli eri kontekstipituus, neljällä sovellettavalla datasetillä; ja havaitsivat, että tulokset osoittivat mallien riippuvuuden tekstistä video sisällön sijaan.

Esimerkki tutkimuksesta, jossa näytetään, miten videoanalyysimalli painottaa näkemäänsä ja lukeamaansa. Klipissä henkilö tekee bambusta, mutta malli antaa enemmän painoa kirjoitettuun kysymys- ja vastaus tekstiin kuin itse video kehyksiin. Siniset korostukset osoittavat elementtejä, jotka tukevat valittua vastausta, kun taas punaiset osoittavat niitä, jotka vievät sen vastakkaiseen suuntaan, osoittaen, miten mallin päättely perustuu sanamuotoon eikä liikkuviin kuviin. Lähde

Menetelmä

Tutkijat käyttivät peliteorian menetelmää, jota kutsutaan Shapley-arvoina. Alun perin suunniteltu jakamaan palkkio reilusti pelaajien kesken, Shapley-arvot antavat kullekin “pelaajalle” luottamuspääoman heidän yksilöllisen vaikutuksensa perusteella.

Tehtävässä “pelaajat” olivat joko video kehykset tai VQA -tehtävän tekstikomponentit (annotaatiot, tekstitykset, kuvatekstit jne.); ja “palkkio” oli mallin lopullinen vastaus. Systemaattisesti testaamalla, mitä tapahtuu, kun kumpikaan osa poistetaan, tekniikka paljastaa, kuinka tärkeä kunkin elementti oli valitun vastauksen saavuttamisessa.

Tässä uudessa tutkimuksessa Shapley-arvoja sovellettiin monimutkaisiin modaalisuuksiin, joissa video- ja tekstikomponentit käsiteltiin erikseen, ja niiden vaihteleva vaikutus mallin tuloksiin mitattiin, paljastaen, tulkitseeko video sisältöä todella vai käytetäänkö kirjoitettuja vihjeitä lyhenteenä.

Mittarit

Kaksi yksinkertaista mittaria määriteltiin vertaamaan, kuinka paljon kunkin modaalisuus (ts. video, kysymys tai vastaus) vaikuttaa mallin päätöksiin: Modaalisuuden osuus mittaa, kuinka paljon koko selityksestä tuli kustakin syötetyypistä; tässä kaikki saatavilla olevat Shapley-arvot lasketaan yhteen, ja kunkin modaalisuuden osuus lasketaan prosenttina koko summasta.

Toiseksi, Kussakin ominaisuuden osuus korjaa sen, että jotkut modaalisuudet, kuten video, sisältävät paljon enemmän ominaisuuksia kuin toiset. Sen sijaan lasketaan kunkin ominaisuuden keskimääräinen Shapley-arvo, ja keskiarvoja verrataan määrittämään, kumpi modaalisuus vaikuttaa enemmän.

Data ja testit

Tutkijat testasivat lähestymistapaa kuudella VLM:llä, joilla oli erilaiset ominaisuudet, jotta testien periaatteet olisivat laajasti sovellettavissa ja yleistettävissä. Siksi mallit valittiin eri kontekstipituuksilla, eri ikäluokilla (ts. kuinka kauan kehyskohtaisen julkaisun jälkeen) ja eri arkkitehtuurin konfiguraatioilla.

Mukana olivat FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (joka hyödyntää Qwen2:ta); ja LongVA (joka myös käyttää Qwen2:ta).

Tavoitteena oli myös monimuotoisuutta, neljä kohdemaadatasettiä valittiin: EgoSchema, VQA-datasetti, joka on suunniteltu siten, että se on mahdoton suorittaa ilman täydellistä videon katsomista; HD-EPIC, keittiöön keskittyvä datasetti, joka sisältää epätavallisen pitkiä videoita; MVBench, kokoelma muista dataseteistä; ja LVBench, joka asettaa VQA-kysymyksiä erittäin pitkille videoille.

Näistä tutkijat keksivät 60 kysymystä – kymmenen kustakin kysymystyyppiä.

Mitta-arvot osoittivat selvästi, että useimmat mallit luottivat vähemmän videoon kuin tekstiin, erityisesti kun ne arvioitiin kehyskohtaisesti. Vaikka video osoitti kohtuullisen suorituksen yleisessä osallistumisessa, sen kussakin ominaisuuden vaikutus oli usein vähäinen, mikä viittaa siihen, että vaikka malli saattaa käyttää videota kokonaisuutena, se kiinnittää vain vähän huomiota yksittäisiin kehyksiin. VideoLLaMA3 oli pääasiallinen poikkeus, jossa oli voimakkaampi visuaalinen riippuvuus, erityisesti LVBenchin pidemmissä jonoissa:

Modaalisuuden osuus (MC) ja kussakin ominaisuuden osuus (PFC) -pisteet malleissa ja dataseteissä, jotka osoittavat videon (V), kysymyksen (Q) ja vastauksen (A) syötteen suhteellisen painon. Viileämmät värit osoittavat vahvempia osallistumisia; lämpimämmät värit osoittavat heikompia tai merkityksettömiä vaikutuksia. Useimmissa asetuksissa kieli on selvästi hallitseva, ja video usein syrjäytetty – erityisesti kehyskohtaisessa vaikutuksessa.

Kysymys vaikutti enemmän kuin vastaus, erityisesti vahvemmilla malleilla. Tämä oli selvästi nähtävissä dataseteissä kuten EgoSchema, joissa kysymykset olivat pidempiä ja luonnollisempia, kun taas vastaukset olivat lyhyitä ja joskus skeemaattisia. MVBench käänsi tämän jonkin verran, koska sen binäärisen vastausrakenteen ansiosta vastaus tokenien näennäinen tärkeys kasvoi.

Kaiken kaikkiaan, kuitenkin, näköala syrjäytettiin jatkuvasti, ja kieli teki suurimman osan raskaasta työtä.

Tutkimus toteaa:

‘[Pitkien kontekstien malleissa] video osoittaa selvästi vähennetyt osallistumiset, mikä tarkoittaa, että kehyskohtaiset Shapley-arvot ovat paljon pienempiä kuin heidän teksti ominaisuutensa.

‘Video kokonaisuutena on edelleen selvästi merkittävä, mutta tämä on näyttöä siitä, että Shapley-arvot sen yksittäisistä kehyksistä ovat keskittyneitä lähelle nollaa, ja että mallin huomio niitä kohtaan on vähemmän ohjattu kuin tekstiä.’

Tutkijat suorittivat lisäksi maskauskokeita – tarkoituksella piilottamalla yhden tai useamman syötteen osan ja katsomalla, kuinka paljon mallin tarkkuus muuttuu tuloksena.

Jos suorituskyky laskee jyrkästi, kun tietty syöte poistetaan, se syöte on todennäköisesti tärkeä; jos malli suoriutuu samalla tavalla, se viittaa siihen, että puuttuva osa ei ollut voimakkaasti riippuvainen. Tässä mielessä maskauskokeet ovat jonkinlainen iteratiivinen ablaatio tutkimus.

Suorituskyvyn muutos, kun video, kysymys tai vastaus syötteitä maskataan neljällä VQA-benchmarkilla. Pisteet osoittavat muutoksen maskaamattomasta peruslinjasta. Punainen tarkoittaa alempaa tarkkuutta, vihreä korkeampaa. Mallit usein säilyttivät korkeat pisteet ilman videota, mutta menettivät enemmän, kun (teksti) vastaus poistettiin. Kysymyksen maskaus vaikutti usein vähän.

Tulokset (yllä olevassa kuvassa) osoittavat, että vastaukset (teksti vastaukset monivalintadatassa) kantavat eniten painoa yleensä. Maskausvastaus aiheutti usein suurimman tarkkuuden laskun, usein vähentäen mallit lähes satunnaisiin suorituksiin.

Kuitenkin maskaus kysymykselle vaikutti usein vähän. Tämä tukee aiempaa havaintoa, että mallit usein aliarvioivat kysymyksen.

Jossain tapauksissa tarkkuus jopa parani kun kysymys poistettiin, mikä viittaa siihen, että mallit joskus vain vastasivat teksti kuvioita ilman asianmukaista kysymyksen arviointia.

Mallit vaihtelivat myös video riippuvuudessaan: jotkut säilyttivät kohtuullisen tarkkuuden ilman sitä, mikä vahvisti vielä kerran videon ominaisuuksien rajallisen osallistumisen monissa nykyisissä asetuksissa.

Tutkijat testasivat myös, voivatko mallit pakottaa videoon turvautumista lisäämällä enemmän väärää vastausta monivalintavaihtoehtoihin.

Kun harhaanjohtavat vastaukset olivat helppoja ja peräisin muista kysymyksistä, suorituskyky parani, kun mallit vastasivat teksti kuvioita ilman paljon päättelyä. Mutta kymmenen tai useamman vastausvaihtoehdon kanssa ne alkoivat riippua enemmän videosta ja kysymyksestä:

Kussakin ominaisuuden osuus ja tarkkuus video, kysymys ja vastaus syötteille, kun lisätään väärää vastausta kunkin VQA-testiin, osoittaen, että lisäämällä hämäävien vastausten määrää vähennetään teksti hallitsevuutta ja lisätään visuaalisten ja kysymys ominaisuuksien suhteellista vaikutusta.

VideoLLaMA3:lle video maskaus laski tarkkuutta 40 prosentilla EgoSchemassa ja 15 prosentilla LVBenchissä, osoittaen, että yksinkertainen vastausmäärän lisäys voi siirtää malleja teksti lyhenteistä kohti aitoa monimodaalista päättelyä.

Tutkijat tutkivat myös, miten attribuutti on jaettu syötteisiin, ja alla nähdään Shapley-arvojen lämpökartat kunkin mallin syötteelle:

Shapley-arvojen lämpökartat neljällä datasetillä, joissa kunkin rivin edustaa yhtä VQA-tuplaa, ja kunkin sarakkeen yhtä ominaisuutta. Video ominaisuudet ovat vasemmalla, seurataan tekstiä. Paljon vahvemmat arvot (punaiset) teksti alueissa vahvistavat, että mallit luottavat paljon enemmän kieleen kuin videoon.

Tutkimuksen tekijät kommentoivat yllä olevia tuloksia:

‘Shapley-arvojen suuruus on paljon suurempi kunkin lämpökartan oikeassa reunassa, joka edustaa kysymys- ja vastaus attribuutteja. Tämä selkeä raja on siellä, missä video kehykset loppuvat ja teksti ominaisuudet alkavat, osoittaen, että video modaalisuuden osuus on paljon vähäisempi kuin kysymys / vastaus. ‘

Yhteenvetona kaikissa dataseteissä arvot ovat paljon vahvempia teksti puolella, vahvistaen voimakkaasti, että mallit luottavat paljon enemmän kieleen kuin visuaalisiin vihjeisiin. Vaikka video on käytössä, sen osuus on hajautunut useille kehyksille, usein ilman johdonmukaista kuvioita.

Alempana nähdään EgoSchemasta annotoitu esimerkki. 16 tärkeintä kehyksetä valittiin Shapley-arvojen avulla ja väritettiin sen mukaan, miten ne vaikuttavat, sininen osoittaen positiivisen vaikutuksen ja punainen negatiivisen:

Shapley-attribuutit yhdelle EgoSchema-esimerkille, jotka osoittavat 16 tärkeintä kehyksetä ja kaikki teksti syötteet. Video osuus on vähäinen verrattuna tekstiin, joka hallitsee mallin päättelyä. Sininen ja punainen osoittavat positiivisen ja negatiivisen vaikutuksen valittuun vastaukseen.

Tuloksena on, että melkein jokainen kehys on vain heikkoa vaikutusta verrattuna sanoihin kysymyksissä ja vastauksissa. Visuaaliset vihjeet ovat niukkoja ja epäjohdonmukaisia, kun taas substantiivit kuten “tuoli” ja “aidan” ohjaavat mallia kohti oikeaa valintaa – tai pois siitä, riippuen kontekstista.

Johtopäätös

Kuka tahansa, joka on joskus kokeillut video editointia tai video analyysiä, tietää jo, miten resursseja vaativia nämä prosessit ovat, ja ymmärtää, miksi yritykset, jotka käsittelevät miljoonia AI-pohjaisia pyynnöitä päivittäin, eivät voi sallia, että käyttäjät suorittavat ad hoc editointi- ja tulkintavideo prosesseja.

Yksi asia, jota on muistettava tässä suhteessa, on, että melkein jokainen AI-rajapinta, jota koskaan kokeilet (mahdollinen poikkeus on uusi ja lyhytaikainen demo uuden tieteellisen tutkimuksen tueksi) pyrkii täyttämään käyttäjien toiveet mahdollisimman vähäisellä resurssien käytöllä.

Tämä tarkoittaa, että olemassa olevia metatietoja käytetään käyttäjän toimittamasta datasta tai RAG -hakujen kautta, jos mahdollista; ja metatietojen poistaminen, jos välttämätöntä, parseable-formaateista, kuten PDF, asiakirjoja ja yksittäisiä kuvia.

Mikä ei ole tarjolla, on ajaa ladata video CLIP:in tai viimeisimmän YOLO -julkaisun kautta, tai minkään voimakkaan ja aikaa vievän VLM:n kautta, joka voi todella tunnistaa, mitä kehyksissä on, ja ymmärtää, mitä toimitetussa videossa tapahtuu, ottaen huomioon ajallisuuden,

Kuitenkin tämä ei tarkoita, että ilmiö, jonka tämä tutkimus asiakirjaa, johtuu välttämättä niukkojen arkkitehtuurin lähestymistavoista. Tutkijat huomauttavat, että kieli hallitsee nykyiset monimutkaiset koulutusparadigmat joka tapauksessa, mikä osoittaa, että “visuaalinen kieli” on joko vähemmän kehittynyt, vähemmän tärkeä tai informatiivinen monimutkaisessa kontekstissa, tai (ainakin tällä hetkellä) vähemmän ymmärretty,

* Mielenkiintoista kuitenkin on, että NotebookLM:llä luotu materiaali näyttää olevan joko täysin alkuperäistä tai täysin Googlelle hakukoneelle rekisteröimätöntä, sillä en pysty löytämään mitään hakutuloksia, jotka olisivat voineet päätyä koulutusdataan ja aiheuttaa tämän tulosteen.

Julkaistu ensimmäisen kerran perjantaina, 31. lokakuuta 2025; muokattu 14:20 muotoilun vuoksi