Omprövning av video-AI-utbildning med användarorienterad data

Den typ av innehåll som användare kan vilja skapa med hjälp av en generativ modell som Flux eller Hunyuan Video kan inte alltid vara lätt tillgängligt, även om innehållsbegäran är ganska generisk, och man kan gissa att generatoren kan hantera det.

Ett exempel, som illustreras i en ny artikel som vi kommer att titta på i den här artikeln, påpekar att den alltmer förgångna OpenAI Sora-modellen har svårt att återge en anatomiskt korrekt eldfluga med hjälp av prompten ‘En eldfluga lyser på en grässtjälk på en lugn sommarnatt’:

OpenAI:s Sora har en något underlig förståelse av eldflugans anatomi. Källa: https://arxiv.org/pdf/2503.01739

Sedan jag sällan tar forskningsanspråk på allvar, testade jag samma prompt på Sora idag och fick ett något bättre resultat. Men Sora misslyckades fortfarande med att återge glöden korrekt – istället för att belysa spetsen av eldflugans svans, där bioluminiscens sker, placerade den glöden nära insektens fötter:

Min egen test av forskarnas prompt i Sora producerar ett resultat som visar att Sora inte förstår var en eldflugas ljus kommer ifrån.

Ironiskt nog kunde Adobe Firefly generativa diffusionsmotor, som tränats på företagets upphovsrättsligt skyddade stockfotografier och videor, endast uppnå en framgångsgrad på 1 av 3 i detta avseende, när jag försökte samma prompt i Photoshops generativa AI-funktion:

Endast den sista av tre föreslagna generationer av forskarnas prompt producerar en glöd alls i Adobe Firefly (mars 2025), även om glöden åtminstone är belägen i den korrekta delen av insektens anatomi.

Detta exempel lyftes fram av forskarna i den nya artikeln för att illustrera att distributionen, betoningen och täckningen i träningsuppsättningar som används för att informera populära grundmodeller inte alltid kan stämma överens med användarnas behov, även om användaren inte ber om något särskilt utmanande – ett ämne som tar upp utmaningarna med att anpassa hyperskaleträningsuppsättningar till deras mest effektiva och presterande resultat som generativa modeller.

Författarna skriver:

‘[Sora] misslyckas med att fånga begreppet en lysande eldfluga medan den lyckas generera gräs och en sommarnatt. Från dataperspektivet drar vi slutsatsen att detta huvudsakligen beror på att [Sora] inte har tränats på eldfluge-relaterade ämnen, medan den har tränats på gräs och natt. Dessutom, om [Sora] hade sett videon som visas ovan, skulle den förstå vad en lysande eldfluga ska se ut som.’

De introducerar en ny kuraterad dataset och föreslår att deras metod kan förfinas i framtida arbete för att skapa datamängder som bättre motsvarar användarnas förväntningar än många befintliga modeller.

Data för människor

I princip förespråkar deras förslag en datkureringstillvägagångssätt som ligger någonstans mellan den anpassade datan för en modelltyp som en LoRA (och detta tillvägagångssätt är alltför specifikt för allmänt bruk); och de breda och relativt odiscriminerande högvolymssamlingarna (såsom LAION-dataseten som driver Stable Diffusion) som inte är specifikt anpassade till någon slutanvändningsscenarie.

Det nya tillvägagångssättet, både som metod och en ny dataset, kallas (ganska torterat) Användarnas fokus i text-till-video, eller VideoUFO. VideoUFO-dataseten består av 1,9 miljoner videoklipp som omfattar 1291 användarorienterade ämnen. Ämnena i sig utvecklades från en befintlig videodataset och parserades genom olika språkmodeller och tekniker för naturlig språkbehandling (NLP):

Exempel på de destillerade ämnena som presenteras i den nya artikeln.

VideoUFO-dataseten har en hög volym av nya videor som samlats in från YouTube – ‘nya’ i den mening att videorna i fråga inte finns i videodataset som för närvarande är populära i litteraturen, och därför i många undermängder som har kuraterats från dem (och många av videorna laddades faktiskt upp efter att de äldre dataseten skapades som artikeln nämner).

I själva verket hävdar författarna att det bara finns 0,29% överlappning med befintliga videodataset – ett imponerande bevis på nyhet.

En anledning till detta kan vara att författarna endast accepterade YouTube-videor med en Creative Commons-licens som skulle vara mindre benägna att hindra användare längre fram i tiden: det är möjligt att denna kategori av videor har prioriterats mindre i tidigare svep av YouTube och andra högvolymplattformar.

Det andra skälet är att videorna begärdes utifrån förväntad användarbehov (se bild ovan), och inte slumpmässigt samlades in. Dessa två faktorer i kombination kunde leda till en sådan ny samling. Dessutom kontrollerade forskarna YouTube-IDs för bidragande videor (dvs. videor som senare kunde ha delats upp och omgestaltats för VideoUFO-samlingen) mot de som finns i befintliga samlingar, vilket ger trovärdighet åt påståendet.

Även om inte allt i den nya artikeln är helt övertygande, är det en intressant läsning som betonar den utsträckning till vilken vi fortfarande är ganska beroende av ojämnt fördelade dataset, när det gäller de hinder som forskningsscenen ofta ställs inför i datorkurering.

Den nya artikeln heter VideoUFO: En miljonskala användarorienterad dataset för text-till-video-generering, och kommer från två forskare, från University of Technology Sydney i Australien, och Zhejiang University i Kina.

Utvalda exempel från den slutliga erhållna dataseten.

En ‘personlig shoppare’ för AI-data

De ämnen och begrepp som presenteras i den totala mängden internetbilder och videor behöver inte nödvändigtvis återspegla vad den genomsnittlige slutanvändaren kan komma att begära från ett generativt system; även där innehåll och efterfrågan gör tenderar att kollidera (såsom porr, som är rikligt tillgänglig på internet och mycket intressant för många gen AI-användare), kan detta inte alltid stämma överens med utvecklarnas avsikt och standarder för ett nytt generativt system.

Förutom den stora mängden NSFW-material som laddas upp dagligen, är en oproportionerligt stor mängd nät-tillgängligt material troligen från annonsörer och de som försöker manipulera SEO. Detta kommersiella självintresse gör datadistributionen långt ifrån opartisk; värre, det är svårt att utveckla AI-baserade filter som kan hantera problemet, eftersom algoritmer och modeller som utvecklats från meningsfulla hyperskaledata kan i sig återspegla källdatans tendenser och prioriteringar.

Därför har författarna till den nya artikeln angripit problemet genom att vända på påståendet, genom att bestämma vad användare sannolikt vill ha, och erhålla videor som motsvarar dessa behov.

På ytan verkar detta tillvägagångssätt lika sannolikt att utlösa en semantisk kapprustning som att uppnå en balanserad, Wikipedia-liknande neutralitet. Att kalibrera datorkurering runt användarbehov riskerar att förstärka preferenserna för den lägsta gemensamma nämnaren medan man marginaliserar nisch-användare, eftersom majoritetsintressen oundvikligen kommer att ha större vikt.

Nonetheless, let’s take a look at how the paper tackles the challenge.

Destillera begrepp med diskretion

Forskarna använde 2024 VidProM-dataseten som källa för ämnesanalys som senare skulle informera projektets webbskrapning.

Denna dataset valdes, enligt författarna, eftersom det är den enda offentligt tillgängliga 1 miljoner+ dataset ‘skrivet av riktiga användare’ – och det bör noteras att denna dataset i sig kuraterades av de två författarna till den nya artikeln.

Artikeln förklarar*:

‘Först, vi bäddar in alla 1,67 miljoner prompter från VidProM i 384-dimensionella vektorer med hjälp av SentenceTransformers. Sedan klustrar vi dessa vektorer med K-means. Notera att vi här förinställer antalet kluster till ett relativt stort värde, dvs. 2 000, och slår samman liknande kluster i nästa steg.

‘Slutligen, för varje kluster, ber vi GPT-4o att dra en slutsats om ett ämne [ett eller två ord].’

Författarna påpekar att vissa begrepp är distinkta men märkbart intilliggande, såsom kyrka och katedral. För granulära kriterier för fall av detta slag skulle leda till konceptinbäddningar (t.ex. för varje hundras) istället för termen hund; medan för breda kriterier kunde samla en överdriven mängd underbegrepp i ett enda överbelastat begrepp; därför noterar artikeln den nödvändiga balansakten för att utvärdera sådana fall.

Enstaka och plurala former sammanfogades, och verb återställdes till deras basform (infinitiv). För breda termer – såsom animation, scen, film och rörelse – togs bort.

Således erhölls 1 291 ämnen (med den fullständiga listan tillgänglig i den ursprungliga artikeln).

Urval av webbskrapning

Sedan använde forskarna den officiella YouTube API för att söka efter videor baserat på kriterierna destillerade från 2024-dataseten, i syfte att erhålla 500 videor för varje ämne. Förutom den obligatoriska Creative Commons-licensen, måste varje video ha en upplösning på 720p eller högre, och vara kortare än fyra minuter.

På detta sätt samlades 586 490 videor in från YouTube.

Författarna jämförde YouTube-ID för de nedladdade videorna med ett antal populära dataset: OpenVid-1M; HD-VILA-100M; Intern-Vid; Koala-36M; LVD-2M; MiraData; Panda-70M; VidGen-1M; och WebVid-10M.

De fann att endast 1 675 ID (den ovannämnda 0,29%) av VideoUFO-klippen fanns i dessa äldre samlingar, och det måste medges att medan dataset-jämförelselistan inte är uttömmande, innehåller den alla de största och mest inflytelserika aktörerna i den generativa videoscenen.

Delar och bedömning

De erhållna videorna delades sedan upp i flera klipp, enligt den metod som beskrivs i Panda-70M-artikeln ovan. Skjutgränser estimerades, sammanfogningar syddes och de sammanfogade videorna delades upp i enskilda klipp, med korta och detaljerade undertexter tillhandahållna.

Varje datapost i VideoUFO-dataseten innehåller ett klipp, ett ID, start- och sluttider, och en kort och en detaljerad undertext.

De korta undertexterna hanterades av Panda-70M-metoden, och de detaljerade videoundertexterna av Qwen2-VL-7B, enligt riktlinjerna etablerade av Open-Sora-Plan. I fall där klipp inte framgångsrikt innehöll det avsedda målbegreppet, matades de detaljerade undertexterna för varje sådant klipp in i GPT-4o mini, för att fastställa om det verkligen var en passning för ämnet. Även om författarna hade föredragit utvärdering via GPT-4o, skulle detta ha varit för dyrt för miljontals videoklipp.

Videokvalitetsbedömning hanterades med sex metoder från VBench-projektet.

Jämförelser

Författarna upprepade ämnesextraktionsprocessen på de ovannämnda tidigare dataseten. För detta var det nödvändigt att semantiskt matcha de härledda kategorierna i VideoUFO till de oundvikligen olika kategorierna i de andra samlingarna; det måste medges att sådana processer endast tillhandahåller approximativt ekvivalenta kategorier, och därför kan detta vara för subjektivt för att garantera empiriska jämförelser.

Ändå, i bilden nedan ser vi resultaten som forskarna fick med denna metod:

Jämförelse av de grundläggande attributen som erhållits över VideoUFO och de tidigare dataseten.

Forskarna erkänner att deras analys byggde på de befintliga undertexterna och beskrivningarna som tillhandahållits i varje dataset. De medger att om-kapitelning av äldre dataset med samma metod som VideoUFO kunde ha erbjudit en mer direkt jämförelse. Men, med tanke på den enorma mängden datapunkter, verkar deras slutsats att detta tillvägagångssätt skulle vara för dyrt vara berättigad.

Generering

Författarna utvecklade en benchmark för att utvärdera text-till-video-modellers prestanda på användarorienterade begrepp, med titeln BenchUFO. Detta innebar att välja 791 substantiv från de 1 291 destillerade användarämnena i VideoUFO. För varje valt ämne valdes sedan tio textprompter från VidProM slumpmässigt.

Varje prompt passerades sedan till en text-till-video-modell, med den ovannämnda Qwen2-VL-7B-undertexten som användes för att utvärdera de genererade resultaten. Med alla genererade videor på detta sätt undertydda, användes SentenceTransformers för att beräkna kosinlikhet för både inmatningsprompten och utmatningsbeskrivningen (inferred) i varje fall.

Schema för BenchUFO-processen.

De utvärderade generativa modellerna var: Mira; Show-1; LTX-Video; Open-Sora-Plan; Open Sora; TF-T2V; Mochi-1; HiGen; Pika; RepVideo; T2V-Zero; CogVideoX; Latte-1; Hunyuan Video; LaVie; och Pyramidal.

Förutom VideoUFO, var MVDiT-VidGen och MVDit-OpenVid de alternativa träningsdataseten.

Resultaten överväger de 10 sämsta och bästa presterande ämnena över arkitekturerna och dataseten.

Resultat för prestandan hos offentliga T2V-modeller jämfört med författarnas tränade modeller, på BenchUFO.

Här kommenterar författarna:

‘Nuvarande text-till-video-modeller presterar inte konsekvent bra över alla användarorienterade ämnen. Specifikt finns det en poängskillnad som varierar från 0,233 till 0,314 mellan de 10 bästa och sämsta ämnena. Dessa modeller kan inte effektivt förstå ämnen som “jättebläckfisk”, “animalcell”, “Van Gogh” och “forntida egyptisk” på grund av otillräcklig träning på sådana videor.’

‘Nuvarande text-till-video-modeller visar en viss grad av konsekvens i sina bästa presterande ämnen. Vi upptäcker att de flesta text-till-video-modeller excellerar i att generera videor på djurrelaterade ämnen, såsom “mås”, “panda”, “delfin”, “kamel” och “uggla”. Vi drar slutsatsen att detta delvis beror på en bias mot djur i nuvarande videodataset.’

Slutsats

VideoUFO är ett utmärkt erbjudande om man bara ser till den nya datan. Om det inte har skett något fel i utvärdering och eliminering av YouTube-IDs, och om dataseten innehåller så mycket material som är nytt för forskningsscenen, är det ett sällsynt och potentiellt värdefullt förslag.

Nackdelen är att man måste ge trovärdighet åt den grundläggande metoden; om man inte tror att användarbehov bör informera webbskrapningsformler, köper man en dataset som kommer med sina egna uppsättning problematiska bias.

Ytterligare, nyttan av de destillerade ämnena beror på både tillförlitligheten hos den destilleringsmetod som används (vilket vanligtvis är hämmat av budgetbegränsningar), och även formuleringsmetoderna för 2024-dataseten som tillhandahåller källmaterialet.

Sagt ska vara, VideoUFO förtjänar ytterligare utredning – och det är tillgängligt på Hugging Face.

* Min substitution av författarnas citeringar för hyperlänkar.

Publicerad första gången onsdag, 5 mars 2025