Rivedere l’addestramento del video AI con dati focalizzati sull’utente

Il tipo di contenuto che gli utenti potrebbero voler creare utilizzando un modello generativo come Flux o Hunyuan Video potrebbe non essere sempre facilmente disponibile, anche se la richiesta di contenuto è abbastanza generica, e si potrebbe supporre che il generatore potrebbe gestirla.

Un esempio, illustrato in un nuovo articolo che esamineremo in questo articolo, nota che il modello OpenAI Sora, sempre più eclissato, ha alcune difficoltà a rappresentare un fuoco di fuoco anatomicamente corretto, utilizzando il prompt ‘Un fuoco di fuoco brilla su una foglia di erba in una serena notte estiva’:

OpenAI’s Sora ha una comprensione leggermente sbagliata dell’anatomia del fuoco di fuoco. Fonte: https://arxiv.org/pdf/2503.01739

Dal momento che raramente accetto le affermazioni di ricerca a valore nominale, ho testato lo stesso prompt su Sora oggi e ho ottenuto un risultato leggermente migliore. Tuttavia, Sora non è riuscito a rappresentare correttamente la luce – invece di illuminare la punta della coda del fuoco di fuoco, dove si verifica la bioluminescenza, ha spostato la luce vicino ai piedi dell’insetto:

Il mio test del prompt dei ricercatori in Sora produce un risultato che mostra che Sora non capisce da dove proviene la luce di un fuoco di fuoco.

Ironia della sorte, il Adobe Firefly generativo di diffusione, addestrato sulle foto e video protetti da copyright dell’azienda, ha gestito solo un tasso di successo del 1 su 3 in questo senso, quando ho provato lo stesso prompt nella funzione di intelligenza artificiale generativa di Photoshop:

Solo l’ultima delle tre generazioni proposte del prompt dei ricercatori produce una luce in Adobe Firefly (marzo 2025), anche se almeno la luce è situata nella parte corretta dell’anatomia dell’insetto.

Questo esempio è stato evidenziato dai ricercatori del nuovo articolo per illustrare che la distribuzione, l’enfasi e la copertura nei set di dati di addestramento utilizzati per informare i modelli di base popolari potrebbero non allinearsi con le esigenze degli utenti, anche se l’utente non chiede nulla di particolarmente impegnativo – un argomento che solleva le sfide coinvolte nell’adattare i set di dati di addestramento iperscalari ai loro risultati più efficienti e performanti come modelli generativi.

Gli autori affermano:

‘[Sora] non riesce a catturare il concetto di un fuoco di fuoco luminoso mentre genera con successo l’erba e una notte [estiva]. Dal punto di vista dei dati, inferiamo che ciò è principalmente dovuto al fatto che [Sora] non è stato addestrato su argomenti relativi ai fuochi di fuoco, mentre è stato addestrato sull’erba e la notte. Inoltre, se [Sora] avesse visto il video mostrato nell’immagine sopra, capirebbe come dovrebbe apparire un fuoco di fuoco luminoso.’

Introducono un nuovo set di dati curato e suggeriscono che la loro metodologia potrebbe essere raffinata in lavori futuri per creare raccolte di dati che si allineino meglio alle aspettative degli utenti rispetto a molti modelli esistenti.

Dati per le persone

In sostanza, la loro proposta ipotizza un approccio di cura dei dati che si colloca a metà strada tra i dati personalizzati per un modello come LoRA (e questo approccio è troppo specifico per un uso generale); e le raccolte di grandi volumi e relativamente indiscriminate (come il set di dati LAION che alimenta la diffusione stabile) che non sono specificamente allineate con alcuno scenario di utilizzo finale.

Il nuovo approccio, sia come metodologia che come nuovo set di dati, è (piuttosto tortuosamente) chiamato Users’ FOcus in text-to-video, o VideoUFO. Il set di dati VideoUFO comprende 1,9 milioni di clip video che coprono 1291 argomenti focalizzati sull’utente. Gli argomenti stessi sono stati elaborati a partire da un set di dati video esistente e analizzati attraverso diversi modelli linguistici e tecniche di elaborazione del linguaggio naturale:

Esempi degli argomenti distillati presentati nel nuovo articolo.

Il set di dati VideoUFO presenta un grande volume di video nuovi tratti da YouTube – ‘nuovi’ nel senso che i video in questione non figurano nei set di dati video attualmente popolari nella letteratura, e quindi in molti dei sottinsiemi che sono stati curati da essi (e molti dei video sono stati effettivamente caricati successivamente alla creazione dei set di dati più vecchi menzionati nel articolo).

In realtà, gli autori affermano che c’è solo lo 0,29% di sovrapposizione con i set di dati video esistenti – una dimostrazione impressionante di novità.

Una delle ragioni potrebbe essere che gli autori avrebbero accettato solo video di YouTube con una licenza Creative Commons che sarebbe stata meno probabile di limitare ulteriormente gli utenti in futuro: è possibile che questa categoria di video sia stata meno priorizzata nelle precedenti raccolte di YouTube e altre piattaforme ad alto volume.

In secondo luogo, i video sono stati richiesti sulla base di una stima pregressa della domanda degli utenti (vedi immagine sopra), e non raccolti indiscriminatamente. Questi due fattori in combinazione potrebbero portare a una raccolta così nuova. Inoltre, i ricercatori hanno verificato gli ID di YouTube dei video contribuenti (cioè i video che potrebbero essere stati successivamente divisi e riimmaginati per la raccolta VideoUFO) contro quelli presenti nelle raccolte esistenti, confermando l’affermazione.

Sebbene non tutto nel nuovo articolo sia del tutto convincente, è una lettura interessante che sottolinea l’estensione in cui siamo ancora piuttosto alla mercé di distribuzioni irregolari nei set di dati, in termini di ostacoli con cui la scena della ricerca si confronta spesso nella cura dei dati.

Il nuovo lavoro è intitolato VideoUFO: un set di dati su larga scala focalizzato sull’utente per la generazione di video da testo, e proviene da due ricercatori, rispettivamente dell’Università di Tecnologia di Sydney in Australia e dell’Università di Zhejiang in Cina.

Esempi selezionati del set di dati finale ottenuto.

Un ‘Personal Shopper’ per i dati AI

L’argomento e i concetti presentati nel totale delle immagini e dei video di Internet non riflettono necessariamente ciò che l’utente medio potrebbe richiedere da un sistema generativo; anche quando il contenuto e la domanda si incontrano (come nel caso della pornografia, che è ampiamente disponibile su Internet e di grande interesse per molti utenti di intelligenza artificiale), ciò potrebbe non allinearsi con l’intento e gli standard degli sviluppatori per un nuovo sistema generativo.

Oltre al grande volume di materiale NSFW caricato quotidianamente, una quantità sproporzionata del materiale disponibile su Internet è probabilmente proveniente da inserzionisti e coloro che tentano di manipolare il SEO. L’interesse commerciale di questo tipo rende la distribuzione dell’argomento ben lontana dall’essere imparziale; peggio ancora, è difficile sviluppare sistemi di filtraggio basati sull’intelligenza artificiale che possano affrontare il problema, poiché gli algoritmi e i modelli sviluppati da dati iperscalari significativi possono riflettere le tendenze e le priorità dei dati sorgente.

Pertanto, gli autori del nuovo lavoro hanno affrontato il problema invertendo la proposta, determinando cosa gli utenti probabilmente vorrebbero e ottenendo video che si allineano a queste esigenze.

In superficie, questo approccio sembra altrettanto probabile scatenare una corsa semantica verso il basso quanto raggiungere una neutralità equilibrata e simile a Wikipedia. Calibrare la cura dei dati attorno alla domanda degli utenti rischia di amplificare le preferenze del denominatore comune più basso mentre marginalizza gli utenti di nicchia, poiché gli interessi della maggioranza porteranno inevitabilmente un peso maggiore.

Nonostante ciò, esaminiamo come l’articolo affronta la sfida.

Distillare concetti con discrezione

I ricercatori hanno utilizzato il set di dati VidProM del 2024 come fonte per l’analisi degli argomenti che in seguito avrebbero informato il progetto di web scraping.

Questo set di dati è stato scelto, affermano gli autori, perché è l’unico set di dati pubblicamente disponibile da oltre 1 milione ‘scritto da utenti reali’ – e dovrebbe essere affermato che questo set di dati è stato curato dai due autori del nuovo articolo.

L’articolo spiega*:

‘Innanzitutto, incorporiamo tutti i 1,67 milioni di prompt da VidProM in vettori a 384 dimensioni utilizzando SentenceTransformers Successivamente, raggruppiamo questi vettori con K-means. Nota che qui impostiamo il numero di cluster su un valore relativamente grande, ovvero 2.000, e uniamo cluster simili nel passaggio successivo.

‘Infine, per ogni cluster, chiediamo a GPT-4o di concludere un argomento [una o due parole].’

Gli autori sottolineano che certi concetti sono distinti ma notevolmente adiacenti, come chiesa e cattedrale. Un criterio troppo granulare per casi di questo tipo porterebbe a incorporazioni di concetti (ad esempio) per ogni tipo di razza di cane, invece del termine cane; mentre un criterio troppo ampio potrebbe radunare un eccessivo numero di sottocconcetti in un unico concetto sovraccaricato; pertanto l’articolo sottolinea l’atto di equilibrio necessario per valutare tali casi.

Le forme singolari e plurali sono state unite, e i verbi ripristinati alle loro forme base (infinitive). I termini eccessivamente ampi – come animazione, scena, film e movimento – sono stati rimossi.

Così sono stati ottenuti 1.291 argomenti (con l’elenco completo disponibile nella sezione supplementare del articolo sorgente).

Selezione di web scraping

Successivamente, i ricercatori hanno utilizzato l’API ufficiale di YouTube per cercare video in base ai criteri distillati dal set di dati del 2024, cercando di ottenere 500 video per ogni argomento. Oltre alla licenza Creative Commons richiesta, ogni video doveva avere una risoluzione di 720p o superiore e doveva essere più breve di quattro minuti.

In questo modo sono stati raccolti 586.490 video da YouTube.

Gli autori hanno confrontato l’ID di YouTube dei video scaricati con una serie di set di dati popolari: OpenVid-1M; HD-VILA-100M; Intern-Vid; Koala-36M; LVD-2M; MiraData; Panda-70M; VidGen-1M; e WebVid-10M.

Hanno scoperto che solo 1.675 ID (lo 0,29% menzionato) delle clip VideoUFO figuravano in queste raccolte più vecchie, e deve essere ammesso che, sebbene l’elenco di confronto dei set di dati non sia esaustivo, include tutti i principali e più influenti attori nella scena dei video generativi.

Confronti

I ricercatori hanno ripetuto il processo di estrazione degli argomenti sui set di dati precedenti. Per questo, è stato necessario abbinare semanticamente le categorie derivate di VideoUFO alle categorie inevitabilmente diverse nelle altre raccolte; deve essere ammesso che tali processi forniscono solo categorie equivalenti approssimate, e quindi potrebbe essere un processo troppo soggettivo per garantire confronti empirici.

Nonostante ciò, nell’immagine sottostante vediamo i risultati che i ricercatori hanno ottenuto con questo metodo:

Confronto degli attributi fondamentali derivati attraverso VideoUFO e i set di dati precedenti.

I ricercatori ammettono che la loro analisi si è basata sulle didascalie e le descrizioni esistenti fornite in ogni set di dati. Ammettono che ricaptionare i set di dati più vecchi utilizzando lo stesso metodo di VideoUFO avrebbe potuto offrire un confronto più diretto. Tuttavia, data la grande quantità di punti dati, la loro conclusione che questo approccio sarebbe stato proibitivamente costoso sembra giustificata.

Generazione

Gli autori hanno sviluppato un benchmark per valutare le prestazioni dei modelli di testo-video su concetti focalizzati sull’utente, intitolato BenchUFO. Ciò ha comportato la selezione di 791 nomi da 1.291 argomenti distillati in VideoUFO. Per ogni argomento selezionato, sono stati scelti casualmente dieci prompt da VidProM.

Ogni prompt è stato passato a un modello di testo-video, con il Qwen2-VL-7B utilizzato per valutare i risultati generati. Con tutti i video generati così didascaliati, SentenceTransformers è stato utilizzato per calcolare la similarità coseno per sia il prompt di input che la descrizione di output (inferred) in ogni caso.

Schema per il processo BenchUFO.

I modelli generativi valutati sono stati: Mira; Show-1; LTX-Video; Open-Sora-Plan; Open Sora; TF-T2V; Mochi-1; HiGen; Pika; RepVideo; T2V-Zero; CogVideoX; Latte-1; Hunyuan Video; LaVie; e Pyramidal.

Oltre a VideoUFO, MVDiT-VidGen e MVDit-OpenVid sono stati gli altri set di dati di addestramento.

I risultati considerano i 10 argomenti peggiori e migliori in termini di prestazioni tra le architetture e i set di dati.

Risultati delle prestazioni dei modelli di testo-video pubblici rispetto ai modelli addestrati degli autori su BenchUFO.

Qui gli autori commentano:

‘I modelli di testo-video attuali non si comportano costantemente bene su tutti gli argomenti focalizzati sull’utente. In particolare, c’è una differenza di punteggio che va da 0,233 a 0,314 tra i 10 migliori e i 10 peggiori argomenti. Questi modelli potrebbero non comprendere efficacemente argomenti come “calamaro gigante”, “cellula animale”, “Van Gogh” e “egiziano antico” a causa di un addestramento insufficiente su tali video.’

‘I modelli di testo-video attuali mostrano un certo grado di coerenza nei loro argomenti migliori in termini di prestazioni. Scopriamo che la maggior parte dei modelli di testo-video eccelle nella generazione di video su argomenti relativi agli animali, come “gabbiano”, “panda”, “delfino”, “cammello” e “gufo”. Inferiamo che ciò è in parte dovuto a un bias verso gli animali nei set di dati video attuali.’

Conclusione

VideoUFO è un’offerta eccezionale se solo dal punto di vista dei dati freschi. Se non c’è stato un errore nella valutazione e nell’eliminazione degli ID di YouTube, e se il set di dati contiene così tanto materiale nuovo per la scena della ricerca, è una proposta rara e potenzialmente preziosa.

Il lato negativo è che è necessario dare credito alla metodologia di base; se non si crede che la domanda degli utenti debba informare le formule di web scraping, si starebbe acquistando un set di dati che viene con i propri insiemi di pregiudizi problematici.

Inoltre, l’utilità degli argomenti distillati dipende sia dall’affidabilità del metodo di distillazione utilizzato (che è generalmente ostacolato da vincoli di budget), sia dai metodi di formulazione per il set di dati del 2024 che fornisce il materiale sorgente.

Tuttavia, VideoUFO merita sicuramente un’ulteriore indagine – ed è disponibile su Hugging Face.

* La mia sostituzione delle citazioni degli autori con collegamenti ipertestuali.

Pubblicato per la prima volta mercoledì 5 marzo 2025