Het opnieuw bekijken van video-AI-training met gebruikersgerichte gegevens

Het soort inhoud dat gebruikers mogelijk willen maken met een generatief model zoals Flux of Hunyuan Video is niet altijd gemakkelijk beschikbaar, zelfs als het verzoek om inhoud redelijk generiek is, en men zou kunnen denken dat de generator het wel aankan.

Een voorbeeld, geïllustreerd in een nieuw artikel dat we in dit artikel zullen bekijken, wijst erop dat het steeds meer in de schaduw staande OpenAI Sora-model moeite heeft om een anatomisch correcte vuurvlieg te renderen, met de prompt ‘Een vuurvlieg gloeit op een grassen blad op een serene zomernacht’:

OpenAI’s Sora heeft een iets vreemde voorstelling van vuurvlieg-anatomie. Bron: https://arxiv.org/pdf/2503.01739

Ik heb de zelfde prompt vandaag op Sora getest en kreeg een iets beter resultaat. Echter, Sora faalde nog steeds om de gloed correct te renderen – in plaats van de tip van de vuurvlieg te verlichten, waar bioluminescentie optreedt, plaatste het de gloed bij de voeten van het insect:

Mijn eigen test van de onderzoekers’ prompt in Sora produceert een resultaat dat aantoont dat Sora niet begrijpt waar een vuurvlieg zijn licht vandaan haalt.

Ironisch genoeg slaagde de Adobe Firefly generatieve diffusie-engine, getraind op het bedrijfs copyright-beveiligde stockfoto’s en video’s, slechts in 1 op de 3 gevallen om een vuurvlieg correct te renderen, toen ik de zelfde prompt probeerde in Photoshop’s generatieve AI-functie:

Alleen de laatste van drie voorgestelde generaties van de onderzoekers’ prompt produceert een gloed in Adobe Firefly (maart 2025), hoewel de gloed tenminste op de juiste plek van het insect zit.

Dit voorbeeld werd door de onderzoekers van het nieuwe artikel genoemd om aan te tonen dat de distributie, nadruk en dekking in trainingssets die worden gebruikt om populaire basismodellen te informeren, mogelijk niet overeenkomen met de behoeften van de gebruiker, zelfs als de gebruiker niet iets bijzonders vraagt – een onderwerp dat de uitdagingen behandelt die betrokken zijn bij het aanpassen van hyperschaal trainingsdatasets aan hun meest efficiënte en prestatiegerichte resultaten als generatieve modellen.

De auteurs stellen:

‘[Sora] faalt om het concept van een gloeiende vuurvlieg te vangen, terwijl het succesvol gras en een zomernacht genereert. Vanuit het dataperspectief concluderen we dat dit voornamelijk komt doordat [Sora] niet is getraind op vuurvlieg-gerelateerde onderwerpen, terwijl het wel is getraind op gras en nacht. Bovendien, als [Sora] de video had gezien die hierboven wordt getoond, zou het begrijpen wat een gloeiende vuurvlieg zou moeten lijken.’

Zij introduceren een nieuw gecuratede dataset en suggereren dat hun methodologie kan worden verfijnd in toekomstig werk om gegevensverzamelingen te creëren die beter overeenkomen met gebruikersverwachtingen dan veel bestaande modellen.

Gegevens voor de mensen

In wezen stelt hun voorstel een gegevenscuratiebenadering voor die ergens tussen de aangepaste gegevens voor een modeltype zoals een LoRA (en deze benadering is veel te specifiek voor algemeen gebruik); en de brede en relatief ondiscriminatie hoge-volumecollecties (zoals de LAION dataset die Stable Diffusion aandrijft) die niet specifiek zijn afgestemd op een eindgebruiksscenario.

De nieuwe benadering, zowel als methodologie als een nieuwe dataset, wordt (tamelijk moeizaam) genoemd Users’ FOcus in text-to-video, of VideoUFO. De VideoUFO-dataset bestaat uit 1,9 miljoen video’s die 1291 gebruikersgerichte onderwerpen beslaan. De onderwerpen zelf werden uitgebreid ontwikkeld uit een bestaande videodataset en verwerkt door diverse taalmodellen en Natural Language Processing (NLP)-technieken:

Voorbeelden van de geëxtraheerde onderwerpen die in het nieuwe artikel worden gepresenteerd.

De VideoUFO-dataset bevat een grote hoeveelheid nieuwe video’s die van YouTube zijn gehaald – ‘nieuw’ in de zin dat de video’s in kwestie niet voorkomen in videodatasets die momenteel populair zijn in de literatuur, en daarom in veel van de subsets die zijn gecureerd uit hen (en veel van de video’s werden in feite geüpload na de creatie van de oudere datasets die in het artikel worden genoemd).

Feitelijk claimen de auteurs dat er slechts 0,29% overlap is met bestaande videodatasets – een indrukwekkende demonstratie van nieuwheid.

Een reden hiervoor kan zijn dat de auteurs alleen YouTube-video’s accepteerden met een Creative Commons-licentie die minder waarschijnlijk gebruikers zou beperken verderop in de lijn: het is mogelijk dat deze categorie video’s minder prioriteit heeft gekregen in eerdere sweeps van YouTube en andere hoge-volumeprogramma’s.

Ten tweede werden de video’s op basis van vooraf geschatte gebruikersbehoefte aangevraagd (zie bovenstaande afbeelding), en niet willekeurig gehaald. Deze twee factoren in combinatie kunnen leiden tot zo’n nieuwe collectie. Bovendien controleerden de onderzoekers de YouTube-ID’s van de bijdragende video’s (d.w.z. video’s die later kunnen zijn opgesplitst en herschapen voor de VideoUFO-collectie) tegen die in bestaande collecties, waardoor de claim geloofwaardig wordt.

Hoewel niet alles in het nieuwe artikel even overtuigend is, is het een interessant artikel dat de mate benadrukt waarin we nog steeds grotendeels afhankelijk zijn van onevenwichtige distributies in datasets, in termen van de obstakels waarmee de onderzoekssector vaak wordt geconfronteerd bij datasetcuratie.

Het nieuwe werk heeft als titel VideoUFO: Een miljoen-schaal gebruikersgerichte dataset voor tekst-naar-video-generatie, en komt van twee onderzoekers, respectievelijk van de University of Technology Sydney in Australië en Zhejiang University in China.

Selecte voorbeelden uit de uiteindelijk verkregen dataset.

Een ‘Persoonlijke Shopper’ voor AI-gegevens

Het onderwerp en de concepten die in de totale som van internetafbeeldingen en video’s worden gepresenteerd, weerspiegelen niet noodzakelijk wat de gemiddelde eindgebruiker uiteindelijk zal vragen van een generatief systeem; zelfs waar inhoud en vraag wel samenvallen (zoals met porn, die overvloedig beschikbaar is op internet en van groot belang is voor veel gen-AI-gebruikers), kan dit niet noodzakelijk overeenkomen met de intentie en standaarden van de ontwikkelaars voor een nieuw generatief systeem.

Behalve de grote hoeveelheid NSFW-materiaal dat dagelijks wordt geüpload, is een onevenredig groot deel van het beschikbare materiaal op internet waarschijnlijk afkomstig van adverteerders en van mensen die proberen SEO te manipuleren. Commercieel eigenbelang van deze soort maakt de distributie van onderwerpen verre van onpartijdig; erger nog, het is moeilijk om AI-gebaseerde filtersystemen te ontwikkelen die het probleem aankunnen, aangezien algoritmes en modellen die zijn ontwikkeld uit betekenisvolle hyperschaalgegevens in zichzelf de neigingen en prioriteiten van de brondata kunnen weerspiegelen.

Daarom hebben de auteurs van het nieuwe werk het probleem aangepakt door de stelling om te keren, door te bepalen wat gebruikers waarschijnlijk willen, en video’s te verkrijgen die overeenkomen met deze behoeften.

Aan de oppervlakte lijkt deze benadering net zo waarschijnlijk om een semantische race naar de bodem te veroorzaken als om een evenwichtige, Wikipedia-achtige neutraliteit te bereiken. Het afstemmen van gegevenscuratie op gebruikersvraag riskeert het versterken van de voorkeuren van de laagste gemene deler, terwijl niche-gebruikers worden gemarginaliseerd, aangezien de belangen van de meerderheid onvermijdelijk meer gewicht zullen hebben.

Nonetheless, let’s take a look at how the paper tackles the challenge.

Concepten distilleren met discretie

De onderzoekers gebruikten de 2024 VidProM dataset als bron voor onderwerpanalyse die later het project zou informeren.

Deze dataset werd gekozen, zo stellen de auteurs, omdat het de enige openbaar beschikbare 1m+ dataset is ‘geschreven door echte gebruikers’ – en het moet worden opgemerkt dat deze dataset zelf is gecureerd door de twee auteurs van het nieuwe artikel.

Het artikel legt uit*:

‘Eerst embedden we alle 1,67 miljoen prompts uit VidProM in 384-dimensionale vectoren met behulp van SentenceTransformers Vervolgens clusteren we deze vectoren met K-means. Let op dat we hier het aantal clusters vooraf instellen op een relatief grote waarde, d.w.z. 2.000, en vergelijkbare clusters samenvoegen in de volgende stap.

‘Ten slotte vragen we voor elke cluster GPT-4o om een onderwerp te concluderen [één of twee woorden].’

De auteurs wijzen erop dat bepaalde concepten duidelijk zijn, maar opvallend naast elkaar liggen, zoals kerk en kathedraal. Te gedetailleerde criteria voor gevallen van deze soort zouden leiden tot concept-embeddings (bijvoorbeeld) voor elke soort hondenras, in plaats van de term hond; terwijl te brede criteria een overmatig aantal subconcepten in één overvol concept zouden kunnen samenvoegen; daarom merkt het artikel op dat een evenwichtsactie nodig is om dergelijke gevallen te evalueren.

Enkelvoudige en meervoudige vormen werden samengevoegd, en werkwoorden hersteld in hun basisvorm (infinitief). Te brede termen – zoals animatie, scène, film en beweging – werden verwijderd.

Daardoor werden 1.291 onderwerpen verkregen (met de volledige lijst beschikbaar in de aanvullende sectie van het bronartikel).

Selectief web-scrappen

Vervolgens gebruikten de onderzoekers de officiële YouTube API om video’s te zoeken op basis van de criteria die waren gedistilleerd uit de 2024-dataset, waarbij ze probeerden 500 video’s per onderwerp te verkrijgen. Behalve de vereiste Creative Commons-licentie moest elke video een resolutie van 720p of hoger hebben en korter zijn dan vier minuten.

Aldus werden 586.490 video’s van YouTube gehaald.

De auteurs vergeleken de YouTube-ID van de gedownloade video’s met een aantal populaire datasets: OpenVid-1M; HD-VILA-100M; Intern-Vid; Koala-36M; LVD-2M; MiraData; Panda-70M; VidGen-1M; en WebVid-10M.

Zij vonden dat slechts 1.675 ID’s (de eerder genoemde 0,29%) van de VideoUFO-clips in deze oudere collecties voorkwamen, en het moet worden toegegeven dat, hoewel de datasetvergelijkingslijst niet uitputtend is, deze wel alle grootste en meest invloedrijke spelers in de generatieve video-scène omvat.

Splitsen en beoordeling

De verkregen video’s werden vervolgens opgesplitst in meerdere clips, volgens de methodologie die in het Panda-70M-artikel wordt beschreven. Shot-grenzen werden geschat, assemblages genaaid en de samengevoegde video’s opgedeeld in enkele clips, met korte en gedetailleerde onderschriften:

Elk gegevensitem in de VideoUFO-dataset bevat een clip, een ID, start- en eindtijden en een korte en een gedetailleerde onderschrift.

De korte onderschriften werden afgehandeld door de Panda-70M-methode, en de gedetailleerde video-onderschriften door Qwen2-VL-7B, volgens de richtlijnen die zijn vastgesteld door Open-Sora-Plan. In gevallen waarin clips niet succesvol het beoogde doelconcept belichaamden, werden de gedetailleerde onderschriften voor elke dergelijke clip in GPT-4o mini ingevoerd, om te bepalen of het werkelijk een geschikt onderwerp was. Hoewel de auteurs de voorkeur zouden hebben gegeven aan een evaluatie via GPT-4o, zou dit te duur zijn geweest voor miljoenen video-clips.

Video-kwaliteitsbeoordeling werd afgehandeld met zes methoden uit het VBench project.

Vergelijkingen

De auteurs herhaalden het onderwerpenextractieproces op de eerder genoemde eerdere datasets. Hiervoor was het nodig om de afgeleide categorieën van VideoUFO semantisch te koppelen aan de onvermijdelijk verschillende categorieën in de andere collecties; het moet worden toegegeven dat dergelijke processen alleen benaderde equivalente categorieën leveren, en daarom kan dit te subjectief zijn om empirische vergelijkingen te waarborgen.

Nonetheless, in de onderstaande afbeelding zien we de resultaten die de onderzoekers met deze methode hebben verkregen:

Vergelijking van de fundamentele kenmerken die zijn afgeleid uit VideoUFO en de eerdere datasets.

De onderzoekers erkennen dat hun analyse afhankelijk was van de bestaande onderschriften en beschrijvingen die in elke dataset werden verstrekt. Zij geven toe dat het opnieuw onderschrijven van oudere datasets met dezelfde methode als VideoUFO een meer directe vergelijking had kunnen bieden. Echter, gezien de enorme hoeveelheid gegevenspunten, lijkt hun conclusie dat deze benadering te duur zou zijn gerechtvaardigd.

Generatie

De auteurs ontwikkelden een benchmark om de prestaties van tekst-naar-video-modellen te evalueren op gebruikersgerichte concepten, getiteld BenchUFO. Dit hield in dat 791 zelfstandige naamwoorden werden geselecteerd uit de 1.291 gedistilleerde gebruikersonderwerpen in VideoUFO. Voor elk geselecteerd onderwerp werden vervolgens tien tekstprompts uit VidProM willekeurig geselecteerd.

Elke prompt werd doorgegeven aan een tekst-naar-video-model, met de eerder genoemde Qwen2-VL-7B-onderschrijver gebruikt om de gegenereerde resultaten te evalueren. Met alle gegenereerde video’s aldus onderschreven, werd de cosinusgelijkheid berekend voor zowel de invoerprompt als de gegenereerde (afgeleide) beschrijving in elk geval.

Schema voor het BenchUFO-proces.

De geëvalueerde generatieve modellen waren: Mira; Show-1; LTX-Video; Open-Sora-Plan; Open Sora; TF-T2V; Mochi-1; HiGen; Pika; RepVideo; T2V-Zero; CogVideoX; Latte-1; Hunyuan Video; LaVie; en Pyramidal.

Naast VideoUFO werden MVDiT-VidGen en MVDit-OpenVid als alternatieve trainingsdatasets gebruikt.

De resultaten omvatten de 10e-50e slechtst presterende en best presterende onderwerpen over de architectuur en datasets.

Resultaten voor de prestaties van openbare T2V-modellen versus de door de auteurs getrainde modellen, op BenchUFO.

Hierop merken de auteurs op:

‘Huidige tekst-naar-video-modellen presteren niet consistent goed over alle gebruikersgerichte onderwerpen. Specifiek is er een scoreverschil van 0,233 tot 0,314 tussen de top-10 en de laagste 10 onderwerpen. Deze modellen kunnen mogelijk geen onderwerpen zoals “reusachtige inktvis”, “dierencel”, “Van Gogh” en “oud-Egyptisch” effectief begrijpen vanwege onvoldoende training op dergelijke video’s.’

‘Huidige tekst-naar-video-modellen laten een zekere mate van consistentie zien in hun beste presterende onderwerpen. We ontdekken dat de meeste tekst-naar-video-modellen uitblinken in het genereren van video’s over diergerelateerde onderwerpen, zoals “zeemeeuw”, “panda”, “dolfijn”, “kameel” en “uil”. We concluderen dat dit gedeeltelijk te wijten is aan een voorkeur voor dieren in de huidige videodatasets.’

Conclusie

VideoUFO is een uitstekend aanbod, als we alleen al kijken naar de verse gegevens. Als er geen fout is gemaakt bij het evalueren en elimineren van YouTube-ID’s, en als de dataset zo veel materiaal bevat dat nieuw is voor de onderzoekssector, is het een zeldzame en potentieel waardevolle voorstel.

Het nadeel is dat men geloof moet hechten aan de kernmethodologie; als men niet gelooft dat gebruikersvraag web-scraperformules moet informeren, koopt men een dataset die zijn eigen set van problematische vooroordelen met zich meebrengt.

Verder hangt de bruikbaarheid van de gedistilleerde onderwerpen af van zowel de betrouwbaarheid van de gebruikte distillatiemethode (die over het algemeen wordt beperkt door budgetbeperkingen), als van de formuleringmethoden voor de 2024-dataset die de bronmateriaal levert.

Maar VideoUFO verdient zeker verder onderzoek – en het is beschikbaar op Hugging Face.

* Mijn vervanging van de auteurs’ citaten voor hyperlinks.

Eerst gepubliceerd op woensdag 5 maart 2025