Omtenkning av Video AI-trening med brukerfokusert data

Den type innhold som brukerne måtte ønske å lage ved hjelp av en generativ modell som Flux eller Hunyuan Video kan ikke alltid være lett tilgjengelig, selv om innholdsforspørselen er ganske generisk, og en kan anta at generatoren kunne håndtere det.

Ett eksempel, illustrert i en ny artikkel som vi skal se på i denne artikkelen, viser at den stadig mer overskyggede OpenAI Sora-modellen har noen vanskeligheter med å rendre en anatomisk korrekt lynglimt, ved hjelp av prompten ‘En lynglimt lyser på en grasblad på en rolig sommerkveld’:

OpenAI’s Sora har en litt feilaktig forståelse av lynglimt-anatomi. Kilde: https://arxiv.org/pdf/2503.01739

Siden jeg sjelden tar forskningskrav på face value, testet jeg samme prompt på Sora i dag og fikk et litt bedre resultat. Likevel feilet Sora med å rendre gløden korrekt – i stedet for å belyse spissen av lynglimtens hale, hvor bioluminescens skjer, plasserte den gløden nær insektets føtter:

Min egen test av forskernes prompt i Sora produserer et resultat som viser at Sora ikke forstår hvor en lynglimts lys kommer fra.

Ironisk nok klarte Adobe Firefly generative diffusjonsmotor, trent på selskapets opphavsrettsbeskyttede stockfotografier og videoer, bare å oppnå en 1-av-3-suksessrate i denne sammenhengen, da jeg prøvde samme prompt i Photoshops generative AI-funksjon:

Kun den siste av tre foreslåtte generasjoner av forskernes prompt produserer en glød i Adobe Firefly (mars 2025), selv om gløden er plassert i den korrekte delen av insektets anatomi.

Dette eksemplet ble fremhevet av forskerne i den nye artikkelen for å illustrere at distribusjonen, vektleggingen og dekningen i treningssettene som brukes til å informere populære grunnmodeller, kan ikke alltid være i samsvar med brukerens behov, selv om brukeren ikke ber om noe spesielt utfordrende – et tema som tar opp utfordringene ved å tilpasse hyperskala treningsdatasett til deres mest effektive og ytelsesmessige resultater som generative modeller.

Forfatterne sier:

‘[Sora] feiler i å fange opp konseptet om en lynglimt som lyser, mens den samtidig genererer gras og en sommer [kveld]. Fra dataperspektivet, antar vi at dette hovedsakelig skyldes at [Sora] ikke har blitt trent på lynglimt-relaterte emner, mens den har blitt trent på gras og kveld. Videre, hvis [Sora] hadde sett videoen som vises ovenfor, ville den forstå hvordan en lynglimt som lyser, skulle se ut.’

De presenterer en ny kuratert datasett og foreslår at deres metode kunne bli forbedret i fremtidig arbeid for å skape datakolleksjoner som bedre samsvarer med brukerforventninger enn mange eksisterende modeller.

Data for folk

I essensen foreslår deres forslag en datakureringstilnærming som faller noenlunde mellom den tilpassede data for en modelltype som en LoRA (og denne tilnærmingen er langt for spesifikk for generell bruk); og de brede og relativt ukritiske høyvolumskolleksjoner (slik som LAION-datasetten som driver Stable Diffusion) som ikke er spesifikt tilpasset noen sluttbrukerscenario.

Den nye tilnærmingen, både som metode og en ny datasett, er (ganske omstendelig) navngitt Users’ FOkus i tekst-til-video, eller VideoUFO. VideoUFO-datasetten består av 1,9 millioner video klipp som dekker 1291 brukerfokuserte emner. Emnene selv ble utviklet fra en eksisterende video datasett, og parsed gjennom diverse språkmodeller og Natural Language Processing (NLP)-teknikker:

Eksempler på de destillerte emnene presentert i den nye artikkelen.

VideoUFO-datasetten har en høy volum av nye videoer hentet fra YouTube – ‘nye’ i den forstand at videoene i question ikke er med i video datasettene som for tiden er populære i litteraturen, og derfor i mange av undersettene som har blitt kuratert fra dem (og mange av videoene var faktisk lastet opp etter at de eldre datasettene ble skapt).

I virkeligheten hevder forfatterne at det bare er 0,29% overlap med eksisterende video datasett – en imponerende demonstrasjon av nyskaping.

En årsak til dette kan være at forfatterne bare ville akseptere YouTube videoer med en Creative Commons-lisens som ville være mindre sannsynlig å hindre brukerne lenger ned linjen: det er mulig at denne kategorien av videoer har blitt mindre prioritet i tidligere gjennomgang av YouTube og andre høyvolums plattformer.

For det andre, ble videoene forespurt på basis av forhånds estimert brukerbehov (se bilde over), og ikke ukritisk hentet. Disse to faktorene i kombinasjon kunne føre til en så ny kolleksjon. I tillegg kontrollerte forskerne YouTube ID-ene til de lastede videoene mot de som var med i eksisterende samlinger, og ga dermed troverdighet til påstanden.

Selv om ikke alt i den nye artikkelen er like overbevisende, er det en interessant lesning som understreker omfanget av de utfordringene forskningsscenen ofte møter i datasettkurering.

Det nye arbeidet er tittel VideoUFO: En million-skala brukerfokusert datasett for tekst-til-video generering, og kommer fra to forskere, henholdsvis fra University of Technology Sydney i Australia, og Zhejiang University i Kina.

Utvalgte eksempler fra den endelige oppnådde datasetten.

En ‘personlig shopper’ for AI-data

Emnene og konseptene som presenteres i den totale summen av internettbilder og videoer, trenger ikke å reflektere hva den gjennomsnittlige sluttbruker kan ende opp med å be om fra et generativt system; selv der hvor innhold og etterspørsel gjør kollidere (som med porn, som er rikelig tilgjengelig på internettet og av stor interesse for mange gen AI-brukere), kan dette ikke være i samsvar med utviklerens intensjoner og standarder for et nytt generativt system.

Foruten det høye volumet av NSFW-materiale som lastes opp daglig, er en ubalanse i nett-tilgjengelig materiale sannsynligvis å komme fra annonser og de som prøver å manipulere SEO. Kommercielt selvinteresse av denne typen gjør distribusjonen av emner langt fra upartisk; verre, er det vanskelig å utvikle AI-baserte filtreringssystemer som kan håndtere problemet, siden algoritmer og modeller utviklet fra meningsfulle hyperskala data kan i seg selv reflektere kilde dataens tendenser og prioriteringer.

Derfor har forfatterne av det nye arbeidet nærmet seg problemet ved å reversere proposisjonen, gjennom å bestemme hva brukerne sannsynligvis vil ønske, og å hente videoer som samsvarer med disse behovene.

På overflaten ser denne tilnærmingen ut til å være like sannsynlig å utløse en semantisk kappløp til bunnen som å oppnå en balansert, Wikipedia-lignende nøytralitet. Kalibrering av datakurering rundt brukeretterspørsel risikerer å forsterke preferansene til den laveste fellesnevneren, mens nichebrukerne marginaliseres, siden flertallsinteresser uunngåelig vil bære større vekt.

Likevel, la oss se hvordan artikkelen håndterer utfordringen.

Destillering av konsepter med diskresjon

Forskerne brukte 2024 VidProM-datasetten som kilde for emneanalyse som senere skulle informere prosjektets web-skraping.

Dette datasettet ble valgt, ifølge forfatterne, fordi det er det eneste offentlig tilgjengelige 1m+ datasettet ‘skrevet av virkelige brukere’ – og det må nevnes at dette datasettet selv ble kuratert av de to forfatterne av den nye artikkelen.

Artikkelen forklarer*:

‘Først, embedder vi alle 1,67 millioner prompts fra VidProM i 384-dimensjonale vektorer ved hjelp av SentenceTransformers Deretter clusterer vi disse vektorene med K-means. Merk at her setter vi forhånds antall cluster til en relativt stor verdi, dvs. 2 000, og slår sammen lignende cluster i neste trinn.

‘Til slutt, for hver cluster, ber vi GPT-4o om å konkludere et emne [ett eller to ord].’

Forfatterne påpeker at visse konsepter er distinkte, men merkverdig nære, som kirke og katedral. For detaljert kriterier for saker av denne typen ville føre til konsept-embeddings (for eksempel) for hver type hunderase, i stedet for begrepet hund; hvorfor for bredt kriterier kunne samle en overveldende mengde underkonsepter inn i ett overfyrt konsept; derfor påpeker artikkelen den nødvendige balansegjerningen for å evaluere slike saker.

Enkelt- og flertallsformer ble slått sammen, og verb restaurert til deres grunnleggende (infinitive) former. For brede termer – som animasjon, scene, film og bevegelse – ble fjernet.

Dermed ble 1 291 emner oppnådd (med den fullstendige listen tilgjengelig i kildeartikkelenes supplerende seksjon).

Utvalgt web-skraping

Deretter brukte forskerne den offisielle YouTube API til å søke etter videoer basert på kriteriene destillert fra 2024-datasettet, og søkte å oppnå 500 videoer for hvert emne. Foruten den nødvendige Creative Commons-lisensen, måtte hver video ha en oppløsning på 720p eller høyere, og måtte være kortere enn fire minutter.

På denne måten ble 586 490 videoer skrapt fra YouTube.

Forfatterne sammenlignet YouTube ID-ene til de lastede videoene med en rekke populære datasett: OpenVid-1M; HD-VILA-100M; Intern-Vid; Koala-36M; LVD-2M; MiraData; Panda-70M; VidGen-1M; og WebVid-10M.

De fant at bare 1 675 ID-er (den ovennevnte 0,29%) av VideoUFO-klippene var med i disse eldre samlingene, og det må innrømmes at selv om datasett-sammenligningslisten ikke er uttømmende, inkluderer den alle de største og mest innflytelsesrike aktørene i det generative video-scenen.

Splitt og vurdering

De oppnådde videoene ble deretter segmentert i flere klipp, i henhold til metoden beskrevet i Panda-70M-artikkelen ovenfor. Skuddgrenser ble estimert, sammenføyninger sydd, og de sammenføyde videoene delt i enkeltklipp, med korte og detaljerte undertekster gitt.

Hver datainngang i VideoUFO-datasetten har en klipp, en ID, start- og sluttid, og en kort og en detaljert undertekst.

De korte undertekstene ble behandlet av Panda-70M-metoden, og de detaljerte video-undertekstene av Qwen2-VL-7B, i henhold til retningslinjene etablert av Open-Sora-Plan. I tilfeller hvor klippene ikke lyktes å inkorporere det ønskede konsept, ble de detaljerte undertekstene for hver slik klipp innført i GPT-4o mini, for å fastslå om det virkelig var et passende emne.

Video kvalitetsvurdering ble håndtert med seks metoder fra VBench-prosjektet.

Sammenligninger

Forfatterne gjentok emne-ekstraksjonsprosessen på de ovennevnte tidligere datasettene. For dette var det nødvendig å semantisk-matching de avlede kategoriene i VideoUFO til de uunngåelig forskjellige kategoriene i de andre samlingene; det må innrømmes at slike prosesser bare gir omtrentlig ekvivalente kategorier, og derfor kan dette være for subjektivt til å garantere empiriske sammenligninger.

Likevel, i bildet under ser vi resultater som forskerne fikk ved denne metoden:

Sammenligning av de grunnleggende attributtene som er avledet over VideoUFO og de tidligere datasettene.

Forskerne anerkjenner at deres analyse var avhengig av de eksisterende undertekstene og beskrivelsene som var gitt i hver datasett. De innrømmer at om-kapsling av eldre datasett med samme metode som VideoUFO kunne ha gitt en mer direkte sammenligning. Likevel, gitt den enorme mengden data punkter, synes deres konklusjon om at denne tilnærmingen ville være for dyrt, å være berettiget.

Generering

Forfatterne utviklet en benchmark for å evaluere tekst-til-video-modellers ytelse på brukerfokuserte konsepter, tittel BenchUFO. Dette innebar å velge 791 substantiver fra de 1 291 destillerte brukeremnene i VideoUFO. For hvert valgt emne ble ti tekst-prompts fra VidProM tilfeldig valgt.

Hver prompt ble sendt til en tekst-til-video-modell, med den ovennevnte Qwen2-VL-7B-underteksteren brukt til å evaluere de genererte resultater. Med alle genererte videoer undertekstet, ble SentenceTransformers brukt til å beregne kosinus-lignhet for både inndata-prompt og utdata-(inferred) beskrivelse i hver enkelt sak.

Schema for BenchUFO-prosessen.

De evaluerte generative modellene var: Mira; Show-1; LTX-Video; Open-Sora-Plan; Open Sora; TF-T2V; Mochi-1; HiGen; Pika; RepVideo; T2V-Zero; CogVideoX; Latte-1; Hunyuan Video; LaVie; og Pyramidal.

Foruten VideoUFO, var MVDiT-VidGen og MVDit-OpenVid de alternative treningsdatasettene.

Resultatene omfatter de 10-50 dårligste og beste prestasjonene over arkitektur og datasett.

Resultater for ytelsen til offentlige T2V-modeller vs. forfatterens trente modeller, på BenchUFO.

Her kommenterer forfatterne:

‘Gjeldende tekst-til-video-modeller utfører ikke konsekvent godt over alle brukerfokuserte emner. Spesifikt, er det en poengforskjell som varierer fra 0,233 til 0,314 mellom de 10 beste og de 10 dårligste emnene. Disse modellene kan ikke effektivt forstå emner som “giant squid”, “animal cell”, “Van Gogh”, og “ancient Egyptian” på grunn av utilstrekkelig trening på slike videoer.’

‘Gjeldende tekst-til-video-modeller viser en viss grad av konsistens i sine beste prestasjoner. Vi oppdager at de fleste tekst-til-video-modellene excellerer i å generere videoer på dyre-relaterte emner, som “seagull”, “panda”, “dolphin”, “camel”, og “owl”. Vi antar at dette delvis skyldes en bias mot dyr i gjeldende video datasett.’

Konklusjon

VideoUFO er et fremragende tilbud hvis bare fra standpunktet av fersk data. Hvis det ikke har vært noen feil i å evaluere og eliminere YouTube ID-er, og hvis datasetten inneholder så mye nytt materiale for forskningsscenen, er det et sjeldent og potensielt verdifullt tilbud.

Ulemper er at en må gi kreditt til den grunnleggende metoden; hvis du ikke tror at brukeretterspørsel bør informere web-skraping-formler, ville du kjøpe inn i en datasett som kommer med sine egne sett av problematiske bias.

Videre, avhenger nytten av de destillerte emnene både av påliteligheten av destilleringmetoden som er brukt (som generelt er hemmet av budsjettsbegrensninger), og også formuleringmetodene for 2024-datasettet som gir kilde materialet.

Det er sagt, VideoUFO fortjener ytterligere etterforskning – og det er tilgjengelig på Hugging Face.

* Min erstatning av forfatterens sitater med lenker.

Først publisert onsdag, 5. mars 2025