Omdefinering af Video AI-Træning med Brugerfokuseret Data

Den type indhold, som brugere måske ønsker at oprette ved hjælp af en generativ model som f.eks. Flux eller Hunyuan Video, kan ikke altid være let tilgængeligt, selv hvis indholdsanmodningen er ret generisk, og man kunne tro, at generatoren kunne håndtere det.

Et eksempel, som illustreres i en ny artikel, som vi vil se på i denne artikel, nævner, at den stadig mere overskyggede OpenAI Sora-model har nogle vanskeligheder med at rendre en anatomisk korrekt ildflue, ved hjælp af prompten ‘En ildflue lyser på en græsblad på en seren sommeraften’:

OpenAI’s Sora har en lidt underlig forståelse af ildflueanatomi. Kilde: https://arxiv.org/pdf/2503.01739

Siden jeg sjældent tager forskningskrav på face value, testede jeg den samme prompt på Sora i dag og fik et lidt bedre resultat. Men Sora fik alligevel ikke renderet gløden korrekt – i stedet for at belyste spidsen af ildfluens hale, hvor bioluminescens forekommer, placerede den gløden nær insektets fødder:

Min egen test af forskernes prompt i Sora producerer et resultat, der viser, at Sora ikke forstår, hvor en ildflues lys kommer fra.

Ironisk nok fik Adobe Firefly -generativ diffusion-motoren, der er trænet på selskabets ophavsretssikrede stockfotos og -videoer, kun en 1-ud-af-3-succesrate i denne henseende, da jeg prøvede den samme prompt i Photoshops generative AI-funktion:

Kun den sidste af tre foreslåede generationer af forskernes prompt producerer en glød overhovedet i Adobe Firefly (marts 2025), selv om gløden i hvert fald er placeret i den korrekte del af insektets anatomi.

Dette eksempel blev fremhævet af forskerne i den nye artikel for at illustrere, at distributionen, vægten og dækningen i træningsdata, der bruges til at informere populære grundmodeller, måske ikke er i overensstemmelse med brugernes behov, selv hvis brugeren ikke beder om noget særligt udfordrende – et emne, der bringer op, udfordringerne ved at tilpasse hyperskaletræningsdata til deres mest effektive og performative resultater som generative modeller.

Forfatterne skriver:

‘[Sora] kan ikke fange konceptet af en lysende ildflue, mens den samtidig genererer græs og en sommer[aften]. Fra dataperspektivet kan vi slutte, at dette hovedsagelig skyldes, at [Sora] ikke er blevet trænet på ildflue-relaterede emner, mens den er blevet trænet på græs og nat. Desuden, hvis [Sora] havde set videoen vist ovenfor, ville den forstå, hvordan en lysende ildflue skal se ud.’

De introducerer en ny kurateret dataset og foreslår, at deres metode kunne være forfinet i fremtidigt arbejde for at skabe datakollektioner, der bedre er i overensstemmelse med brugernes forventninger end mange eksisterende modeller.

Data for Folk

I essensen stiller deres forslag en datakurateringsapproach, der falder et sted mellem den tilpassede data til en modeltype som f.eks. en LoRA (og denne tilgang er langt for specifik til generel brug); og de brede og relativt ukvalificerede højvolumensamlinger (såsom LAION-datasettet, der driver Stable Diffusion), som ikke er specifikt tilpasset nogen slutbrugs-scenario.

Den nye tilgang, både som metode og en ny dataset, er (lidt omstændeligt) navngivet Brugernes Fokus i tekst-til-video, eller VideoUFO. VideoUFO-datasettet består af 1,9 millioner videooptagelser, der dækker 1291 brugerfokuserede emner. Emnerne selv blev udviklet fra en eksisterende video-dataset og parsed gennem diverse sprogmodeller og Natural Language Processing (NLP)-teknikker:

Eksempler på de destillerede emner, der præsenteres i den nye artikel.

VideoUFO-datasettet har en høj volumen af nye videoer, der er hentet fra YouTube – ‘nye’ i den forstand, at videoer i spørgsmål ikke er en del af video-dataset, der i øjeblikket er populære i litteraturen, og derfor i mange af de underdataset, der er kurateret fra dem (og mange af videoer var faktisk uploadet efter oprettelsen af de ældre dataset, der nævnes i artiklen).

I virkeligheden hævder forfatterne, at der kun er 0,29% overlap med eksisterende video-dataset – en imponerende demonstration af nytænkning.

En årsag til dette kan være, at forfatterne kun ville acceptere YouTube-videoer med en Creative Commons-licens, der ville være mindre sandsynlig at hindre brugere længere nede ad vejen: det er muligt, at denne kategori af videoer har været mindre prioriteret i tidligere gennemløb af YouTube og andre højvolumensplatforme.

For det andet blev videoer anmodet på baggrund af forudestimeret brugerbehov (se billedet ovenfor), og ikke ukvalificeret hentet. Disse to faktorer i kombination kunne føre til en sådan ny samling. Desuden kontrollerede forskerne YouTube-ID’erne af bidragende videoer (dvs. videoer, der senere kan være blevet opdelt og genforestillet for VideoUFO-samlingen) mod dem, der er nævnt i eksisterende samlinger, hvilket giver troværdighed til påstanden.

Selv om ikke alt i den nye artikel er helt overbevisende, er det en interessant læsning, der understreger, i hvilken udstrækning vi stadig er afhængige af ujævne fordelinger i dataset, når det kommer til de udfordringer, som forskningsscenen ofte konfronteres med i dataset-kuratering.

Den nye artikel er titleret VideoUFO: En Million-Skala Brugerfokuseret Dataset for Tekst-Til-Video-Generering, og kommer fra to forskere, henholdsvis fra University of Technology Sydney i Australien og Zhejiang University i Kina.

Udvalgte eksempler fra det endelige opnåede dataset.

En ‘Personlig Shopper’ for AI-Data

Emnerne og koncepterne, der er fremhævet i den samlede mængde af internetbilleder og videoer, behøver ikke nødvendigvis at afspejle, hvad den gennemsnitlige slutbruger ender med at bede om fra et generativt system; selv hvor indhold og efterspørgsel gør tendere til at kollidere (som med pornografi, som er rigeligt tilgængeligt på internettet og meget interessant for mange gen AI-brugere), kan dette ikke nødvendigvis være i overensstemmelse med udviklerens intention og standarder for et nyt generativt system.

Foruden den høje volumen af ikke-sædeligt materiale, der uploades dagligt, er en ubalance mængde af nettilgængeligt materiale sandsynligvis at være fra annoncører og dem, der forsøger at manipulere SEO. Kommerciel selvinteresse af denne type gør fordelingen af emner langt fra upartisk; værre, det er svært at udvikle AI-baserede filter-systemer, der kan klare problemet, da algoritmer og modeller, der er udviklet fra meningsfulde hyperskaledata, kan i sig selv reflektere datakildens tendenser og prioriteringer.

Derfor har forfatterne af den nye artikel omvendt problemstillingen ved at bestemme, hvad brugere sandsynligvis vil ønske, og herefter erhverve videoer, der er i overensstemmelse med disse behov.

På overfladen synes denne tilgang at være lige så sandsynlig til at udløse en semantisk kapløb til bunden som at opnå en balanceret, Wikipedia-lignende neutralitet. At kalibrere datakuratering omkring brugerbehov risikerer at forstærke præferencerne hos den laveste fællesnævner, mens nichebrugere marginaliseres, da flertalsinteresser uvægerligt vil have større vægt.

Nonetheless, lad os se, hvordan artiklen tackler udfordringen.

Destillering af Koncepter med Diskretion

Forskere brugte 2024 VidProM-datasettet som kilde til emneanalyse, der senere ville informere projektets web-scraping.

Dettes dataset blev valgt, skriver forfatterne, fordi det er det eneste offentligt tilgængelige 1m+ dataset ‘skrevet af rigtige brugere’ – og det skal nævnes, at dette dataset selv er kurateret af de to forfattere af den nye artikel.

Artiklen forklarer*:

‘Først indlejrer vi alle 1,67 millioner prompts fra VidProM i 384-dimensionale vektorer ved hjælp af SentenceTransformers Dernæst grupperer vi disse vektorer med K-means. Bemærk, at vi her forudindstiller antallet af grupper til en relativt stor værdi, dvs. 2.000, og merger lignende grupper i næste trin.

‘Til sidst beder vi GPT-4o om at konkludere et emne [ ét eller to ord].’

Forfatterne påpeger, at visse koncepter er distinkte, men bemærkelsesværdigt nærliggende, som f.eks. kirke og katedral. For detaljeret et kriterium for tilfælde af denne type ville føre til konceptindlejring (for eksempel) for hver type hunderace, i stedet for begrebet hund; hvorimod for bredt et kriterium kunne samle en overvældende mængde underkoncepter i ét overfyldt koncept; derfor påpeger artiklen den nødvendige balanceakt for at evaluere sådanne tilfælde.

Enkelt- og flertalsformer blev sammenføjet, og verber gensendt til deres grundform (infinitiv). For brede begreber – såsom animation, scene, film og bevægelse – blev fjernet.

Dermed blev 1.291 emner opnået (med den fulde liste tilgængelig i artiklens supplerende sektion).

Selektiv Web-Scraping

Dernæst brugte forskerne den officielle YouTube-API til at søge efter videoer baseret på kriterierne, der var destilleret fra 2024-datasettet, og søger at opnå 500 videoer for hvert emne. Foruden den påkrævede Creative Commons-licens, skulle hver video have en opløsning på 720p eller højere og være kortere end fire minutter.

På denne måde blev 586.490 videoer skrabet fra YouTube.

Forfatterne sammenlignede YouTube-ID’et på de downloadede videoer med et antal populære dataset: OpenVid-1M; HD-VILA-100M; Intern-Vid; Koala-36M; LVD-2M; MiraData; Panda-70M; VidGen-1M; og WebVid-10M.

De fandt, at kun 1.675 ID’er (den nævnte 0,29%) af VideoUFO-klipperne var en del af disse ældre samlinger, og det må erkendes, at selv om dataset-sammenligningslisten ikke er udtømmende, omfatter den alle de største og mest indflydelsesrige spillere i det generative video-scene.

Split og Vurdering

De opnåede videoer blev herefter opdelt i multiple klip, i overensstemmelse med metoden, der er beskrevet i Panda-70M-artiklen ovenfor. Skudgrænser blev estimeret, samlinger syet sammen, og de samlede videoer opdelt i enkeltklip, med korte og detaljerede undertekster.

Hver data-post i VideoUFO-datasettet har en klip, et ID, start- og sluttider, og en kort og en detaljeret undertekst.

De korte undertekster blev behandlet med Panda-70M-metoden, og de detaljerede video-undertekster med Qwen2-VL-7B, i overensstemmelse med retningslinjerne, der er fastsat i Open-Sora-Plan. I tilfælde, hvor klipperne ikke succesfuldt inkarnerede det ønskede koncept, blev de detaljerede undertekster for hver sådan klip indført i GPT-4o mini, for at fastslå, om det virkelig var et match for emnet. Selv om forfatterne havde foretrukket vurdering via GPT-4o, ville dette have været for dyrt for millioner af video-klip.

Video-kvalitetsvurdering blev behandlet med seks metoder fra VBench-projektet.

Sammenligninger

Forfatterne gentog emne-ekstraktionsprocessen på de ovennævnte tidligere dataset. Til dette formål var det nødvendigt at semantisk-matches de afledte kategorier af VideoUFO til de uundgåeligt forskellige kategorier i de andre samlinger; det må erkendes, at sådanne processer kun giver omtrentlige ækvivalente kategorier, og derfor kan dette være for subjektivt en proces til at garantere empiriske sammenligninger.

Ikke desto mindre ser vi i billedet nedenfor resultaterne, som forskerne opnåede med denne metode:

Sammenligning af de grundlæggende attributter, der er afledt på tværs af VideoUFO og de tidligere dataset.

Forskere erkender, at deres analyse afhængigt af de eksisterende undertekster og beskrivelser, der er givet i hvert dataset. De indrømmer, at gen-undertekstning af ældre dataset med samme metode som VideoUFO kunne have givet en mere direkte sammenligning. Men, givet den enorme mængde datapunkter, synes deres konklusion om, at denne tilgang ville være for dyrt, berettiget.

Generering

Forfatterne udviklede en benchmark til at evaluere tekst-til-video-modellers præstation på brugerfokuserede koncepter, titleret BenchUFO. Dette indebar udvælgelse af 791 navneord fra de 1.291 destillerede brugeremner i VideoUFO. For hvert udvalgt emne blev herefter 10 tekst-prompts fra VidProM tilfældigt valgt.

Hver prompt blev herefter passeret gennem en tekst-til-video-model, med den ovennævnte Qwen2-VL-7B-undertekstner brugt til at evaluere de genererede resultater. Med alle genererede videoer på denne måde undertekstnet, blev SentenceTransformers brugt til at beregne cosinus-lighed for både input-prompten og output (inferred) beskrivelse i hvert tilfælde.

Schema for BenchUFO-processen.

De evaluerede generative modeller var: Mira; Show-1; LTX-Video; Open-Sora-Plan; Open Sora; TF-T2V; Mochi-1; HiGen; Pika; RepVideo; T2V-Zero; CogVideoX; Latte-1; Hunyuan Video; LaVie; og Pyramidal.

Foruden VideoUFO var MVDiT-VidGen og MVDit-OpenVid de alternative træningsdataset.

Resultaterne omfatter de 10-50 dårligst og bedst præsterende emner på tværs af arkitekturer og dataset.

Resultater for præstationen af offentlige T2V-modeller vs. forfatternes trænede modeller på BenchUFO.

Her kommenterer forfatterne:

‘Nuværende tekst-til-video-modeller præsterer ikke konsekvent godt på tværs af alle brugerfokuserede emner. Specifikt er der en scoreforskel på 0,233 til 0,314 mellem top-10 og lav-10 emnerne. Disse modeller kan ikke effektivt forstå emner som “giant squid”, “animal cell”, “Van Gogh” og “oldtidens egyptisk” på grund af utilstrækkelig træning på sådanne videoer.’

‘Nuværende tekst-til-video-modeller viser en vis grad af konsekvens i deres bedst præsterende emner. Vi opdager, at de fleste tekst-til-video-modeller excellerer i at generere videoer på dyrelignende emner, såsom “seagull”, “panda”, “dolphin”, “camel” og “owl”. Vi slutger, at dette delvist skyldes en bias mod dyr i nuværende video-dataset.’

Konklusion

VideoUFO er et fremragende tilbud, hvis blot fra synspunktet af frisk data. Hvis der ikke har været nogen fejl i vurderingen og elimineringen af YouTube-ID’er, og hvis datasettet indeholder så meget nyt materiale for forskningsscenen, er det et sjældent og potentelt værdifuldt tilbud.

Ned siden er, at man skal give tillid til den grundlæggende metode; hvis man ikke tror på, at brugerbehov skal informere web-scraping-formularer, ville man købe ind i en dataset, der kommer med sine egne sæt af bekymrende bias.

Desuden afhænger nyttigheden af de destillerede emner både af pålideligheden af den destilleringmetode, der er brugt (hvilket generelt er hæmmet af budgetbegrænsninger), og også formuleringmetoderne for 2024-datasettet, der giver det oprindelige materiale.

Det skal dog siges, at VideoUFO bestemt fortjener yderligere undersøgelse – og det er tilgængeligt på Hugging Face.

* Min erstatning af forfatternes citeringer med hyperlinks.

Først publiceret onsdag, 5. marts 2025