Reevaluarea antrenamentului inteligenței artificiale video cu date focalizate pe utilizator

Tipul de conținut pe care utilizatorii ar putea dori să îl creeze folosind un model generativ, cum ar fi Flux sau Hunyuan Video, nu este întotdeauna disponibil, chiar dacă cererea de conținut este destul de generică, și se poate presupune că generatorul ar putea să o gestioneze.

Un exemplu, ilustrat într-un articol nou pe care îl vom analiza în acest articol, notează că modelul OpenAI Sora, care este din ce în ce mai eclipsat, are dificultăți în a reprezenta un lăcustă anatomic corect, folosind promptul ‘O lăcustă strălucește pe o frunză de iarbă într-o noapte de vară liniștită’:

OpenAI Sora are o înțelegere puțin ciudată a anatomiei lăcustei. Sursă: https://arxiv.org/pdf/2503.01739

Deoarece rareori iau afirmații de cercetare la valoarea lor nominală, am testat același prompt pe Sora astăzi și am obținut un rezultat puțin mai bun. Cu toate acestea, Sora a eșuat încă să reprezinte strălucirea corect – în loc să ilumineze vârful cozii lăcustei, unde are loc bioluminescența, a plasat strălucirea lângă picioarele insectei:

Testul meu al promptului cercetătorilor în Sora produce un rezultat care arată că Sora nu înțelege de unde vine lumina lăcustei.

În mod ironic, motorul de difuzie generativ Adobe Firefly, antrenat pe fotografiile și videourile cu copyright ale companiei, a reușit doar o rată de succes de 1 la 3 în acest sens, când am încercat același prompt în funcția de inteligență artificială generativă a Photoshop:

Doar ultima dintre cele trei generații propuse ale promptului cercetătorilor produce o strălucire în Adobe Firefly (martie 2025), deși cel puțin strălucirea este situată în partea corectă a anatomiei insectei.

Acest exemplu a fost evidențiat de cercetători în noul articol pentru a ilustra faptul că distribuția, accentul și acoperirea în seturile de antrenament utilizate pentru a informa modelele de bază populare poate să nu se alinieze cu nevoile utilizatorilor, chiar dacă utilizatorul nu cere ceva deosebit de dificil – un subiect care ridică provocări în adaptarea seturilor de antrenament hiperscale pentru a obține rezultate performante ca modele generative.

Autorii afirmă:

‘[Sora] nu reușește să capteze conceptul unei lăcuste strălucitoare, în timp ce generează cu succes iarbă și o noapte [de vară]. Din perspectiva datelor, inferăm că acest lucru se datorează în principal faptului că [Sora] nu a fost antrenat pe subiecte legate de lăcuste, în timp ce a fost antrenat pe iarbă și noapte. Mai mult, dacă [Sora] ar fi văzut videoul prezentat în imaginea de mai sus, ar înțelege cum ar trebui să arate o lăcustă strălucitoare.’

Ei introduc un nou set de date curate și sugerează că metodologia lor ar putea fi rafinată în lucrări viitoare pentru a crea colecții de date care să se alinieze mai bine cu așteptările utilizatorilor decât multe dintre modelele existente.

Date pentru oameni

În esență, propunerea lor susține o abordare de curare a datelor care se situează undeva între datele personalizate pentru un tip de model, cum ar fi LoRA (și această abordare este prea specifică pentru utilizare generală); și colecțiile ample și relativ indiscriminate (cum ar fi setul de date LAION care alimentează Stable Diffusion) care nu sunt specific aliniate cu niciun scenariu de utilizare finală.

Noua abordare, atât ca metodologie, cât și ca set de date nou, se numește Users’ FOcus in text-to-video, sau VideoUFO. Setul de date VideoUFO cuprinde 1,9 milioane de clipuri video care acoperă 1291 de subiecte focalizate pe utilizator. Subiectele în sine au fost elaborate dintr-un set de date video existent și au fost analizate prin diverse modele de limbaj și tehnici de procesare a limbajului natural (NLP):

Exemple de subiecte distilate prezentate în noul articol.

Setul de date VideoUFO prezintă un volum mare de videouri noi, extrase din YouTube – ‘noi’ în sensul că videourile în cauză nu sunt prezente în seturile de date video actuale din literatura de specialitate, și, prin urmare, în multe dintre subseturile curate din acestea (iar multe dintre videouri au fost încărcate ulterior creării seturilor de date mai vechi menționate în articol).

De fapt, autorii afirmă că există doar 0,29% suprapunere cu seturile de date video existente – o demonstrație impresionantă a noutății.

Unul dintre motivele pentru aceasta ar putea fi faptul că autorii au acceptat doar videouri de pe YouTube cu o licență Creative Commons care ar fi mai puțin probabil să împiedice utilizatorii în viitor: este posibil ca această categorie de videouri să fi fost mai puțin prioritizată în scanările anterioare ale YouTube și ale altor platforme de volum mare.

În al doilea rând, videourile au fost solicitate pe baza unei nevoi preestimate a utilizatorilor (a se vedea imaginea de mai sus), și nu au fost extrase în mod indiscriminat. Aceste două factori combinați ar putea duce la o colecție atât de nouă. În plus, cercetătorii au verificat ID-urile YouTube ale videourilor contributoare (adică videourile care ar fi putut fi ulterior divizate și reimaginare pentru colecția VideoUFO) împotriva celor prezente în colecțiile existente, ceea ce sprijină afirmația.

Deși nu totul în noul articol este la fel de convingător, este o citire interesantă care subliniază măsura în care suntem încă destul de dependenți de distribuțiile inegale din seturile de date, în ceea ce privește obstacolele cu care este confruntată scena de cercetare în curarea seturilor de date.

Noul articol, intitulat VideoUFO: Un set de date la scară de milioane, focalizat pe utilizator, pentru generarea de texte în videoclipuri, provine de la doi cercetători, respectiv de la Universitatea Tehnologică din Sydney, Australia, și de la Universitatea Zhejiang, China.

Exemple selectate din setul de date final obținut.

Un ‘cumpărător personal’ pentru datele IA

Subiectele și conceptele prezentate în totalitatea imaginilor și videourilor de pe internet nu reflectă neapărat ceea ce utilizatorul mediu ar putea cere de la un sistem generativ; chiar și atunci când conținutul și cererea se potrivesc (cum ar fi pornografia, care este abundent disponibilă pe internet și de mare interes pentru mulți utilizatori de inteligență artificială), acest lucru nu se poate alinia cu intenția și standardele dezvoltatorilor pentru un nou sistem generativ.

Pe lângă volumul mare de material NSFW încărcat zilnic, o cantitate disproporționată de material disponibil pe internet este probabil să provină de la agenți de publicitate și de la cei care încearcă să manipuleze SEO. Interesele comerciale de acest fel fac ca distribuția subiectelor să fie departe de a fi imparțială; mai rău, este dificil să se dezvolte sisteme de filtrare bazate pe inteligență artificială care să poată face față problemei, deoarece algoritmii și modelele dezvoltate din date semnificative hiperscale pot reflecta în ele însele tendințele și prioritățile datelor sursă.

Prin urmare, autorii noului articol au abordat problema prin inversarea propunerii, prin determinarea a ceea ce utilizatorii sunt probabil să dorească și obținerea de videouri care se aliniază cu aceste nevoi.

La suprafață, această abordare pare la fel de probabilă să declanșeze o cursă semantică spre fundul ierarhiei, pe cât de probabilă să atingă o neutralitate echilibrată, de tip Wikipedia. Calibrarea curării datelor în jurul cererii utilizatorilor riscă să amplifice preferințele utilizatorilor cu cel mai mic numitor comun, în timp ce marginalizează utilizatorii de nișă, deoarece interesele majoritare vor purta întotdeauna o greutate mai mare.

Cu toate acestea, să aruncăm o privire la modul în care articolul abordează provocarea.

Distilarea conceptelor cu discreție

Cercetătorii au utilizat setul de date VidProM din 2024 ca sursă pentru analiza subiectelor care ar informa ulterior proiectul de extragere web.

Acest set de date a fost ales, afirmă autorii, deoarece este singurul set de date public disponibil cu peste 1 milion de intrări ‘scrise de utilizatori reali’ – și ar trebui menționat că acest set de date a fost curat de cei doi autori ai noului articol.

Articolul explică*:

‘Mai întâi, încorporăm toate 1,67 milioane de prompturi din VidProM în vectori de 384 de dimensiuni, utilizând SentenceTransformers. Apoi, grupăm aceste vectori cu K-means. Notă că aici setăm numărul de clusteri la o valoare relativ mare, adică 2.000, și vom combina clusterii asemănători în următoarea etapă.

‘În final, pentru fiecare cluster, cerem GPT-4o să concluzioneze un subiect [unul sau două cuvinte].’

Autorii subliniază că anumite concepte sunt distincte, dar notabil adiacente, cum ar fi biserică și catedrală. Un criteriu prea granular pentru astfel de cazuri ar duce la încorporarea conceptelor (de exemplu) pentru fiecare rasă de câine, în loc de termenul câine; în timp ce un criteriu prea larg ar putea corala un număr excesiv de sub-concepte într-un singur concept supraaglomerat; prin urmare, articolul notează actul de echilibru necesar pentru a evalua astfel de cazuri.

Formele singulare și plurale au fost combinate, iar verbele au fost restaurate la forma lor de bază (infinitiv). Termenii excesiv de largi – cum ar fi animatie, scenă, film și mișcare – au fost eliminate.

Astfel, au fost obținute 1.291 de subiecte (cu lista completă disponibilă în secțiunea suplimentară a articolului sursă).

Extragerea web selectivă

Următorul pas a fost ca cercetătorii să utilizeze API-ul oficial YouTube pentru a căuta videouri pe baza criteriilor distilate din setul de date din 2024, căutând să obțină 500 de videouri pentru fiecare subiect. Pe lângă licența Creative Commons necesară, fiecare videoclip trebuia să aibă o rezoluție de 720p sau mai mare și să fie mai scurt de patru minute.

În acest fel, au fost extrase 586.490 de videouri de pe YouTube.

Autorii au comparat ID-urile YouTube ale videourilor descărcate cu o serie de seturi de date populare: OpenVid-1M; HD-VILA-100M; Intern-Vid; Koala-36M; LVD-2M; MiraData; Panda-70M; VidGen-1M; și WebVid-10M.

Ei au descoperit că doar 1.675 de ID-uri (cele 0,29% menționate anterior) din clipurile VideoUFO au apărut în aceste colecții mai vechi, și trebuie să recunoaștem că, deși lista de seturi de date comparate nu este exhaustivă, include toți jucătorii importanți și influenți din scena video generativă.

Împărțire și evaluare

Videourile obținute au fost ulterior segmentate în multiple clipuri, conform metodologiei prezentate în articolul Panda-70M menționat mai sus. S-au estimat granițele de împușcare, s-au asamblat și s-au divizat videourile concatenate în clipuri individuale, cu captionuri scurte și detaliate furnizate.

Fiecare intrare de date în setul de date VideoUFO prezintă un clip, un ID, ore de început și de sfârșit, și o caption scurtă și una detaliată.

Captionurile scurte au fost gestionate de metoda Panda-70M, iar captionurile detaliate de videoclipuri de Qwen2-VL-7B, conform ghidurilor stabilite de Open-Sora-Plan. În cazurile în care clipurile nu au reușit să încarneze conceptul țintă, captionurile detaliate pentru fiecare clip au fost introduse în GPT-4o mini, pentru a determina dacă erau cu adevărat potrivite pentru subiect. Deși autorii ar fi preferat evaluarea prin GPT-4o, aceasta ar fi fost prea costisitoare pentru milioane de clipuri video.

Evaluarea calității videourilor a fost gestionată cu șase metode din proiectul VBench.

Comparații

Autorii au repetat procesul de extragere a subiectelor pe seturile de date anterioare. Pentru aceasta, a fost necesară o potrivire semantică a categoriilor derivate din VideoUFO cu categoriile inevitabil diferite din alte colecții; trebuie să recunoaștem că astfel de procese oferă doar categorii echivalente aproximative, și, prin urmare, aceasta poate fi prea subiectivă pentru a garanta comparații empirice.

În ciuda acestui fapt, în imaginea de mai jos vedem rezultatele obținute de cercetători prin această metodă:

Comparație a atributelor fundamentale derivate în VideoUFO și în seturile de date anterioare.

Cercetătorii recunosc că analiza lor s-a bazat pe captionurile și descrierile existente furnizate în fiecare set de date. Ei admit că re-etichetarea seturilor de date mai vechi utilizând aceeași metodă ca VideoUFO ar fi putut oferi o comparație mai directă. Cu toate acestea, dată fiind cantitatea uriașă de puncte de date, concluzia lor că această abordare ar fi fost prohibitiv de scumpă pare justificată.

Generare

Autorii au dezvoltat un benchmark pentru a evalua performanța modelelor de text în videoclipuri pe concepte focalizate pe utilizator, intitulat BenchUFO. Acesta a implicat selectarea a 791 de substantive din cele 1.291 de subiecte distilate în VideoUFO. Pentru fiecare subiect selectat, au fost alese aleatoriu zece prompturi de text din VidProM.

Fiecare prompt a fost trecut printr-un model de text în videoclipuri, cu captionatorul Qwen2-VL-7B utilizat pentru a evalua rezultatele generate. Cu toate videourile generate astfel captionate, SentenceTransformers a fost utilizat pentru a calcula similaritatea cosinus atât pentru promptul de intrare, cât și pentru descrierea (inferată) de ieșire în fiecare caz.

Schema procesului BenchUFO.

Modelele generative evaluate au fost: Mira; Show-1; LTX-Video; Open-Sora-Plan; Open Sora; TF-T2V; Mochi-1; HiGen; Pika; RepVideo; T2V-Zero; CogVideoX; Latte-1; Hunyuan Video; LaVie; și Pyramidal.

Pe lângă VideoUFO, MVDiT-VidGen și MVDit-OpenVid au fost seturile de date alternative de antrenament.

Rezultatele consideră subiectele cel mai slab și cel mai bine performant, de la 10 la 50, în arhitecturi și seturi de date.

Rezultate pentru performanța modelelor T2V publice versus modelele antrenate de autori, pe BenchUFO.

Aici, autorii comentează:

‘Modelele actuale de text în videoclipuri nu performează consistent bine pe toate subiectele focalizate pe utilizator. În special, există o diferență de scor cuprinsă între 0,233 și 0,314 între primele 10 și ultimele 10 subiecte. Aceste modele nu pot înțelege eficient subiecte precum “calamar uriaș”, “celulă animală”, “Van Gogh” și “egiptean antic” din cauza lipsei de antrenament pe astfel de videouri.’

‘Modelele actuale de text în videoclipuri prezintă un anumit grad de consistență în subiectele lor cele mai bine performante. Descoperim că majoritatea modelelor de text în videoclipuri excelează la generarea de videouri pe subiecte legate de animale, cum ar fi “pescăruș”, “pandă”, “delfin”, “cămilă” și “bufniță”. Inferăm că acest lucru se datorează parțial unei predispoziții către animale în seturile de date video actuale.’

Concluzie

VideoUFO este o ofertă remarcabilă, chiar și din perspectiva datelor noi. Dacă nu a existat nicio eroare în evaluarea și eliminarea ID-urilor YouTube, și dacă setul de date conține atât de mult material nou pentru scena de cercetare, este o propunere rară și potențial valoroasă.

Partea negativă este că trebuie să acordăm credibilitate metodologiei de bază; dacă nu credeți că cererea utilizatorului ar trebui să informeze formulele de extragere web, atunci ați cumpăra un set de date care vine cu propriile sale seturi de prejudecăți problematice.

Mai mult, utilitatea subiectelor distilate depinde atât de fiabilitatea metodei de distilare utilizate (care este, în general, împiedicată de constrângeri bugetare), cât și de metodele de formulare pentru setul de date din 2024 care oferă materialul sursă.

Spunând aceasta, VideoUFO merită cu siguranță o investigație ulterioară – și este disponibil la Hugging Face.

* Înlocuirea mea a citărilor autorilor cu legături.

Publicat pentru prima dată miercuri, 5 martie 2025