Videon AI-koulutuksen uudelleenarviointi käyttäjälähtöisellä datalla

Käyttäjät saattavat haluta luoda tietynlaisia sisältöjä generatiivisen mallin, kuten Flux tai Hunyuan Video, avulla, mutta tällaista sisältöä ei välttämättä ole aina helppo löytää, vaikka sisältöpyyntö on melko yleinen, ja arvata, että generoija voisi käsitellä sen.

Yksi esimerkki, josta uudessa tutkimusraportissa käydään läpi, huomauttaa, että vanhentunut OpenAI Sora -malli kärsii hankaluuksista anatomisesti oikean tulikärpäsen luomisessa, kun käytetään ohjelmointikieltä ‘Tulikärpänen loistaa ruohikon lehdellä rauhallisena kesäyönä’:

OpenAI:n Sora-malli kärsii lievänä tulikärpäsen anatomian ymmärtämisessä. Lähde: https://arxiv.org/pdf/2503.01739

Koska en yleensä ota tutkimustuloksia puolueettomina, testasin samaa ohjelmointikieltä Sora-mallilla ja sain hieman paremman tuloksen. Sora-malli ei kuitenkaan onnistunut loistamaan oikein – sen sijaan, että se olisi valaissut tulikärpäsen hännän kärkeä, se sijoitti loisteen lähelle hyönteisen jalkoja:

Omani testi tutkijoiden ohjelmointikielellä Sora-mallilla tuotti tuloksen, joka osoittaa, että Sora-malli ei ymmärrä, mistä tulikärpäsen valo tulee.

Ironisesti Adobe Firefly -generatiivinen diffuusiomoottori, joka on koulutettu yrityksen tekijänoikeuksin suojattujen valokuvien ja videoiden avulla, onnistui vain 1/3 -osuudella tässä suhteessa, kun yritin samaa ohjelmointikieltä Photoshopin generatiivisessa AI-ominaisuudessa:

Vain viimeinen kolmesta ehdotetusta sukupolvesta tutkijoiden ohjelmointikielestä tuotti valon Adobe Firefly -mallissa (maaliskuu 2025), vaikka valo sijaitsi oikeassa osassa hyönteisen anatomiaa.

Tämä esimerkki korostaa sitä, että jakautuminen, painopiste ja kattavuus koulutusjoukoissa, joita käytetään perusmallien muodostamiseen, eivät välttämättä vastaa käyttäjien tarpeita, vaikka käyttäjä ei pyydä mitään erityisen haastavaa – aihe, joka nousee esiin hyperskaalaisen koulutusjoukon sovittamisesta sen tehokkaimpiin ja suorituskykyisimpiin tuloksiin generatiivisina malleina.

Tutkijat toteavat:

‘[Sora] ei onnistu käsittelemään tulikärpäsen käsitettä, vaikka se onnistuu luomaan ruohikon ja kesäyön. Tästä voidaan päätellä, että [Sora] ei ole koulutettu tulikärpäsen aiheisiin, mutta se on koulutettu ruohikkoon ja yöhön. Lisäksi, jos [Sora] olisi nähnyt videon (ylempänä), se ymmärtäisi, miltä loistava tulikärpänen näyttää.’

He esittävät uuden, tarkkaan valitun aineiston ja ehdottavat, että heidän menetelmänsä voidaan jalostaa tulevassa työssä luomaan aineisto, joka paremmin vastaa käyttäjien odotuksia kuin monet olemassa olevat mallit.

Data käyttäjille

Heidän ehdotuksensa perustuu aineiston kuratointiin, joka sijoittuu jonnekin välimaastoon mallityyppien, kuten LoRA:n, tapauksessa (ja tämä lähestymistapa on liian spesifinen yleiseen käyttöön); ja laaja, suhteellisen valikoimaton suurivolyymiset kokoelmat (kuten LAION -aineisto, jota käytetään Stable Diffusionissa), jotka eivät välttämättä ole suunniteltu mihinkään tiettyyn lopputulokseen.

Uusi lähestymistapa, sekä menetelmänä että uutena aineistona, on (melko monimutkaisesti) nimetty Käyttäjien fokus teksti-videossa, tai VideoUFO. VideoUFO -aineisto koostuu 1,9 miljoonasta videoklipistä, jotka kattavat 1291 käyttäjälähtöistä aihepiiriä. Aihepiirit kehitettiin olemassa olevasta videodatasta, ja ne käytiin läpi moninaisilla kielimalleilla ja luonnollisen kielen prosessointitekniikoilla:

Esimerkkejä uutena tutkimuksena esitetyistä aihepiireistä.

VideoUFO -aineistossa on suuri määrä uusia videoita, jotka on poimittu YouTubesta – “uudet” siinä mielessä, että nämä videot eivät ole mukana videodatastoissa, jotka ovat suosittuja kirjallisuudessa, eikä niiden alajoukoissa (ja monet näistä videoista on ladattu vasta vanhempien aineistojen luomisen jälkeen).

Todellakin tutkijat väittävät, että vain 0,29%:ssa on yhteistä vanhojen videodatasten kanssa – vaikuttava osoitus uudelleen.

Toisaalta yksi syy tähän saattaa olla, että tutkijat hyväksyivät vain YouTuben videot, joilla on Creative Commons -lisenssi, joka vähentäisi käyttäjien rajoituksia myöhemmin; on mahdollista, että tällaiset videot ovat jääneet vähemmälle huomiolle aiemmissa YouTuben ja muiden suurten alustojen läpikäynneissä.

Toiseksi videot haettiin ennalta arvioidun käyttäjätarpeen perusteella, eikä niitä etsitty satunnaisesti. Nämä kaksi tekijää yhdessä voivat johtaa tällaiseen uuteen kokoelmaan. Lisäksi tutkijat tarkistivat YouTuben ID:t osallistuvista videoista (eli videoista, jotka voivat myöhemmin olla jaettu ja uudelleen kuvattu VideoUFO-kokoelmaa varten) vanhojen kokoelmien kanssa, mikä antaa uskottavuutta väitteelle.

Vaikka kaikki uudessa tutkimusraportissa ei olekaan aivan vakuuttavaa, se on mielenkiintoinen lukeminen, joka korostaa sitä, kuinka paljon olemme edelleen epätasaisen jakautumisen armoilla aineistoissa, joita tutkimuskohteemme usein kohtaavat aineiston kuratoinnissa.

Uusi tutkimus on nimeltään VideoUFO: Miljoonan mittakaavan käyttäjälähtöinen aineisto teksti-videogeneraatiota varten, ja se on tehty kahden tutkijan toimesta, jotka ovat kotoisin Australian ja Kiinan yliopistoista.

Valikoima lopullisesta aineistosta.

Käyttäjälähtöinen data – “henkilökohtainen ostosassistentti” AI-datalle

Aihepiirit ja käsitteet, jotka ovat esillä internetin kuvissa ja videoissa, eivät välttämättä heijasta sitä, mitä keskivertokäyttäjä lopulta pyytää generatiiviselta järjestelmältä; vaikka sisältö ja kysyntä kohtaavat (kuten pornografia, joka on runsasta saatavilla internetissä ja hyvin kiinnostavaa monille tekoälykäyttäjille), tämä ei välttämättä vastaa kehittäjien aikomusta ja standardeja uudelle generatiiviselle järjestelmälle.

Lisäksi suuri määrä internetissä olevaa materiaalia on todennäköisesti mainonnassa ja niiden, jotka yrittävät manipuloida hakukoneiden optimointia. Tällainen kaupallinen itsekorostus tekee aihepiirien jakautumisesta kaukana puolueettoman; pahimmassa tapauksessa on vaikea kehittää tekoälypohjaisia suodatusjärjestelmiä, jotka voivat käsitellä ongelmaa, koska algoritmit ja mallit, jotka on kehitetty merkittävän datan perusteella, voivat itsessään heijastaa alkuperäisen datan taipumuksia ja painopisteitä.

Siksi uuden tutkimuksen tekijät ovat lähestyneet ongelmaa kääntämällä väittämän ylösalaisin, määrittelemällä, mitä käyttäjät todennäköisesti haluavat, ja hankkimalla videoita, jotka vastaavat näitä tarpeita.

Pintapuolisesti tämä lähestymistapa vaikuttaa yhtä todennäköiseltä laukaisevan semanttisen kilpailun kuin saavuttavan tasapuolisen, Wikipedia-tyylisen neutraaliuden. Datankuratoimisen kalibrointi käyttäjätarpeen ympärillä riskiin saattaa vahvistaa yleisimpien käyttäjien mieltymyksiä ja syrjäyttää niukkojen käyttäjien tarpeita, koska enemmistön mieltymykset kantavat vääjäämättä suurempaa painoarvoa.

Kuitenkin tutkijat toteavat, että he ovat lähestyneet haastetta…

Käsitteiden tiivistäminen varovaisuudella

Tutkijat käyttivät vuoden 2024 VidProM -aineistoa aiheanalyysiin, joka myöhemmin informoi projektin verkkokäyttäytymistä.

Tämä aineisto valittiin, koska se on ainoa julkisesti saatavilla oleva yli 1 miljoonan kokoelma, joka on “kirjoitettu oikeasti käyttäjien toimesta” – ja on mainittava, että tämä aineisto on itse asiassa kurattu kahden uuden tutkimuksen tekijän toimesta.

Tutkimus selittää*:

‘Ensinnäkin, upotamme kaikki 1,67 miljoonaa ohjelmointikieltä VidProM:sta 384-uloitteisiin vektoreihin SentenceTransformers:n avulla. Seuraavaksi ryhmittelemme nämä vektorit K-means -menetelmällä. Huomautus: tässä asetamme klusterien määrän suhteellisen suureksi arvoon, ts. 2 000, ja yhdistämme samanlaiset klusterit seuraavassa vaiheessa.

‘Lopuksi, kunkin klusterin kohdalla, pyydämme GPT-4o:lta johtamaan aihe [yhden tai kaksi sanaa].’

Tutkijat huomauttavat, että tietyt käsitteet ovat erillisiä, mutta huomattavan lähellä toisiaan, kuten kirkko ja katedraali. Liian tarkka kriteeri tapauksissa, joissa on tämäntyyppisiä käsitteitä, johtaisi siihen, että käsitteiden upottamisessa (esim. jokaiselle koiranrodulle) olisi käytettävissä erillisiä käsitteitä, eikä yleisempää käsitettä koira; toisaalta liian laaja kriteeri saattaisi koota liian monia alakäsitteitä yhteen käsitteeseen; siksi tutkimus korostaa tarvetta tasapainottaa näitä tapauksia.

Yksikö- ja monikkomuodot yhdistettiin, ja verbit palautettiin alkuperäisiin (infinitiivisiin) muotoihin. Liian laajat termit, kuten animaatio, kohtaus, elokuva ja liike, poistettiin.

Näin ollen saatiin 1 291 aihepiiriä (ja täydellinen luettelo on saatavilla tutkimuksen liitteessä).

Valikoiva verkkokäyttäytyminen

Seuraavaksi tutkijat käyttivät virallista YouTube API:ta etsimään videoita, jotka perustuivat aihepiireihin, joita oli tiivistetty vuoden 2024 aineistosta, ja pyrkivät hankkimaan 500 videota kullekin aihepiirille. Lisäksi vaadittiin Creative Commons -lisenssi, ja jokaisen videon tuli olla vähintään 720p -resoluutiota ja kestoa alle neljä minuuttia.

Tällä tavoin saatiin 586 490 videota YouTubesta.

Tutkijat vertasivat ladattujen videoiden YouTube ID:tä useisiin suosittuihin aineistoihin: OpenVid-1M; HD-VILA-100M; Intern-Vid; Koala-36M; LVD-2M; MiraData; Panda-70M; VidGen-1M; ja WebVid-10M.

He löysivät, että vain 1 675 ID:tä (mainittu 0,29%) VideoUFO -klippejä oli mukana näissä vanhemmissa kokoelmissa, ja on myönnettävä, että vaikka aineistojen vertailuluettelo ei olekaan kattava, se sisältää kaikki suurimmat ja vaikutusvaltaisimmat toimijat generatiivisen videokohteen parissa.

Jakautuminen ja arviointi

Hankitut videot jaettiin useisiin klippeihin Panda-70M -paperissa mainittujen menetelmien mukaisesti. Otettiin arvio videon rajauksista, yhdistettiin ne, ja jaettiin yksittäisiin klippeihin, ja tarjottiin lyhyet ja yksityiskohtaiset kuvaukset.

Jokainen VideoUFO -aineiston merkintä sisältää klipin, ID:n, aloitus- ja lopetusajat sekä lyhyen ja yksityiskohtaisen kuvauksen.

Lyhyet kuvaukset käsiteltiin Panda-70M -menetelmällä, ja yksityiskohtaiset videoita kuvattiin Qwen2-VL-7B:n avulla Open-Sora-Plan:n määrittelemien suuntaviivojen mukaisesti. Tapauksissa, joissa klipit eivät vastanneet aiotuja käsitteitä, yksityiskohtaiset kuvaukset kullekin klipille syötettiin GPT-4o miniin, jotta voidaan määrittää, sopiiko se aiheeseen. Vaikka tutkijat olisivat mieluummin arvioineet GPT-4o:lla, se olisi ollut liian kallista miljoonille videoille.

Videon laadun arviointi suoritettiin kuudella VBench -projektin menetelmällä.

Vertailut

Tutkijat toistivat aiheen tiivistämismenetelmän aiemmilla aineistoilla. Tämä edellytti semanttista vastaavuutta VideoUFO:sta johdetuista luokista muihin kokoelmiin; on myönnettävä, että tällaiset prosessit tarjoavat vain likimääräisiä vastaavuuksia, ja siksi se voi olla liian subjektiivinen prosessi, jotta voitaisiin antaa empiirisiä vertailuja.

Kuitenkin alla olevassa kuvassa nähdään tulokset, jotka tutkijat saivat tämän menetelmän avulla:

Vertailu perusominaisuuksista, jotka on johdettu VideoUFO:sta ja aiemmista aineistoista.

Tutkijat myöntävät, että heidän analyysiinsa perustui olemassa oleviin kuvauksiin ja kuvaustekstiin kussakin aineistossa. He myöntävät, että vanhojen aineistojen uudelleenkuvaaminen samalla menetelmällä kuin VideoUFO olisi voinut tarjota suoremman vertailun. Kuitenkin ottaen huomioon suuren määrän datakohtia, heidän johtopäätöksensä, että tämä lähestymistapa olisi estottoman kallista, vaikuttaa perustellulta.

Generaattori

Tutkijat kehittivät vertailumittarin, jolla arvioidaan teksti-videomallien suorituskykyä käyttäjälähtöisissä käsitteissä, ja se on nimeltään BenchUFO. Tämä edellytti 791 sanan valitsemista 1 291:stä tiivistetystä käyttäjäaiheesta VideoUFO:sta. Kullekin valitulle aihepiirille valittiin sitten kymmenen ohjelmointikieltä VidProM:sta satunnaisesti.

Kunkin ohjelmointikielelle annettiin teksti-videomalli, ja mainittu Qwen2-VL-7B -kuvailija käytettiin generoituja tuloksia arvioimaan. Kaikkien generoituissa videoissa kuvailija laski kosiniussamanmuotoisuuden sekä syötteenä annetulle ohjelmointikielelle että tulokseksi saadulle (johtopäätökselliselle) kuvaukselle kussakin tapauksessa.

BenchUFO-prosessin skeema.

Arvioiduista generatiivisista malleista olivat: Mira; Show-1; LTX-Video; Open-Sora-Plan; Open Sora; TF-T2V; Mochi-1; HiGen; Pika; RepVideo; T2V-Zero; CogVideoX; Latte-1; Hunyuan Video; LaVie; ja Pyramidal.

Lisäksi VideoUFO:ta, MVDiT-VidGen ja MVDit-OpenVid olivat vaihtoehtoisia koulutusaineistoja.

Tulokset koskivat 10 huonointa ja 50 parasta suorituskykyä arkkitehtuureissa ja aineistoissa.

Julkisten T2V-mallien suorituskyky VideoUFO:lla verrattuna tutkijoiden koulutettuihin malleihin.

Tutkijat toteavat:

‘Nykyiset teksti-videomallit eivät suoriudu johdonmukaisesti hyvin kaikissa käyttäjälähtöisissä aihepiireissä. Nimenomaan on suorituskykyero, joka vaihtelee 0,233:sta 0,314:ään parhaiden 10 ja heikoimpien 10 aiheen välillä. Nämä mallit eivät välttämättä ymmärrä aiheita, kuten “jättiläismustekala”, “eläinsolu”, “Vincent van Gogh” ja “muinaisen Egyptin” tarpeita, joita ei ole riittävästi koulutettu näille videoille.’

‘Nykyiset teksti-videomallit osoittavat tietynasteista johdonmukaisuutta parhaiden aiheidensa suhteen. Havaitsemme, että useimmat teksti-videomallit menestyvät eläimiin liittyvissä aiheissa, kuten “merilokki”, “panda”, “delfiini”, “kameli” ja “pöllö”. Oletamme, että tämä johtuu osittain siitä, että nykyisissä videodatastoissa on vinoutuma eläinten suhteen.’

Johtopäätös

VideoUFO on erinomainen tarjous, jos vain sen uuden datan vuoksi. Jos ei ole tapahtunut virhettä YouTube ID:n poistamisessa ja jos aineistossa on niin paljon uutta materiaalia, jota tutkimuskenttä ei ole aikaisemmin nähnyt, se on harvinainen ja potentiaalisesti arvokas ehdotus.

Huono puoli on, että on annettava uskottavuutta perusmenetelmälle; jos et usko, että käyttäjien tarpeiden tulisi ohjata verkkokäyttäytymisen kaavoja, olet ostamassa aineistoa, joka tulee omilla vinoumuksillaan.

Lisäksi tiivistettyjen aihepiirien hyödyllisyys riippuu sekä tiivistämismenetelmän luotettavuudesta (jota yleensä haittaa rajoitukset) että vuoden 2024 aineiston muodostusmenetelmistä, jotka toimivat lähtöaineistona.

Sanotaan kuitenkin, että VideoUFO ansaitsee tarkemman tutkimisen – ja se on saatavilla Hugging Facessa.

* Korvasin tutkijoiden viittaukset hyperlinkkeihin.

Julkaistu ensimmäisen kerran keskiviikkona 5. maaliskuuta 2025