Die Neukonzeption der Video-KI-Schulung mit benutzerorientierten Daten

Die Art von Inhalten, die Benutzer möglicherweise mit einem generativen Modell wie Flux oder Hunyuan Video erstellen möchten, ist nicht immer leicht verfügbar, selbst wenn die Anfrage relativ generisch ist und man vermuten könnte, dass der Generator sie problemlos handhaben kann.

Ein Beispiel, das in einem neuen Paper erläutert wird, das wir in diesem Artikel betrachten, zeigt, dass das zunehmend veraltete OpenAI-Sora-Modell Schwierigkeiten hat, eine anatomisch korrekte Glühwürmchen-Darstellung zu erstellen, wenn es den Prompt ‘Eine Glühwürmchen leuchtet auf einem Grasblatt an einem ruhigen Sommerabend’ erhält:

OpenAI’s Sora hat ein leicht fehlerhaftes Verständnis der Anatomie von Glühwürmchen. Quelle: https://arxiv.org/pdf/2503.01739

Da ich Forschungsansprüche selten unkritisch akzeptiere, habe ich den gleichen Prompt heute bei Sora getestet und ein leicht besseres Ergebnis erhalten. Allerdings konnte Sora die Leuchtkraft nicht korrekt darstellen – anstelle der Leuchtkraft an der Spitze des Glühwürmchens, wo die Biolumineszenz auftritt, platzierte es die Leuchtkraft in der Nähe der Füße des Insekts:

Mein eigener Test des Forschungs-Prompts bei Sora ergibt ein Ergebnis, das zeigt, dass Sora nicht versteht, woher das Licht eines Glühwürmchens kommt.

Ironischerweise erreichte die Adobe Firefly -Generierungsmaschine, die auf den urheberrechtlich gesicherten Stockfotos und -videos des Unternehmens trainiert wurde, nur eine Erfolgsrate von 1:3, als ich den gleichen Prompt im generativen KI-Feature von Photoshop ausprobierte:

Nur die letzte von drei generierten Versionen des Forschungsprompts bei Adobe Firefly (März 2025) produziert überhaupt eine Leuchtkraft, wenn auch zumindest an der richtigen Stelle der Insektenanatomie.

Dieses Beispiel wurde von den Forschern in dem neuen Paper hervorgehoben, um zu zeigen, dass die Verteilung, Betonung und Abdeckung in den Trainingsdatensätzen, die zur Informierung populärer Grundmodelle verwendet werden, möglicherweise nicht mit den Bedürfnissen der Benutzer übereinstimmen, selbst wenn der Benutzer nicht nach etwas Besonderem fragt – ein Thema, das die Herausforderungen bei der Anpassung von hyperskaligen Trainingsdatensätzen an ihre effizientesten und leistungsfähigsten Ergebnisse als generative Modelle aufwirft.

Die Autoren erklären:

‘[Sora] kann das Konzept eines leuchtenden Glühwürmchens nicht erfassen, während es erfolgreich Gras und einen Sommer [Abend] generiert. Aus der Datenperspektive schließen wir, dass dies hauptsächlich daran liegt, dass [Sora] nicht auf Glühwürmchen-bezogene Themen trainiert wurde, während es auf Gras und Nacht trainiert wurde. Wenn [Sora] das in [oben] gezeigte Video gesehen hätte, würde es verstehen, wie ein leuchtendes Glühwürmchen aussehen sollte.’

Sie stellen ein neu kuratiertes Dataset vor und schlagen vor, dass ihre Methodik in zukünftigen Arbeiten verfeinert werden könnte, um Datenkollektionen zu erstellen, die besser mit den Benutzererwartungen übereinstimmen als viele bestehende Modelle.

Daten für die Menschen

Im Wesentlichen schlägt ihr Vorschlag einen Datenkurierungsansatz vor, der irgendwo zwischen den benutzerdefinierten Daten für ein Modell wie LoRA (und dieser Ansatz ist viel zu spezifisch für den allgemeinen Gebrauch) und den breiten, relativ undiskriminierenden Großvolumenkollektionen (wie das LAION-Dataset, das Stable Diffusion antreibt) liegt, die nicht speziell auf ein bestimmtes Endanwendungsszenario ausgerichtet sind.

Der neue Ansatz, sowohl als Methodik als auch als neuem Dataset, wird (ziemlich umständlich) Benutzerschwerpunkt in Text-zu-Video oder VideoUFO genannt. Das VideoUFO-Dataset umfasst 1,9 Millionen Video-Clips, die 1291 benutzerorientierte Themen abdecken. Die Themen selbst wurden aus einem bestehenden Video-Dataset entwickelt und mithilfe diverser Sprachmodelle und Techniken der natürlichen Sprachverarbeitung (NLP) verarbeitet:

Beispiele der destillierten Themen, die im neuen Paper vorgestellt werden.

Das VideoUFO-Dataset enthält eine große Anzahl neuer Videos, die aus YouTube gesammelt wurden – ‘neu’ in dem Sinne, dass die Videos in Frage nicht in Video-Datasets vorkommen, die derzeit in der Literatur populär sind, und daher in vielen der von ihnen kuratierten Untermengen nicht enthalten sind (und viele der Videos wurden tatsächlich nach der Erstellung der älteren Datasets hochgeladen).

Tatsächlich behaupten die Autoren, dass es nur 0,29% Überschneidung mit bestehenden Video-Datasets gibt – eine beeindruckende Demonstration der Neuheit.

Ein Grund dafür könnte sein, dass die Autoren nur YouTube-Videos mit einer Creative-Commons-Lizenz akzeptierten, die weniger wahrscheinlich Benutzer in Zukunft behindern würden: Es ist möglich, dass diese Kategorie von Videos in früheren Durchläufen von YouTube und anderen Hochvolumen-Plattformen weniger priorisiert wurde.

Zweitens wurden die Videos auf der Grundlage vorab geschätzter Benutzerbedürfnisse angefordert (siehe Bild oben) und nicht willkürlich gesammelt. Diese beiden Faktoren in Kombination könnten zu einer so neuen Kollektion führen. Darüber hinaus überprüften die Forscher die YouTube-IDs der heruntergeladenen Videos gegen die in bestehenden Sammlungen aufgeführten IDs, was die Behauptung untermauert.

Obwohl nicht alles in dem neuen Paper völlig überzeugend ist, ist es ein interessanter Lesestoff, der die Ausmaße hervorhebt, in denen wir immer noch den ungleichen Verteilungen in Datasets ausgeliefert sind, was die Herausforderungen betrifft, mit denen die Forschungsszene oft konfrontiert ist.

Die neue Arbeit trägt den Titel VideoUFO: Ein Millionenskalen-Benutzerorientiertes Dataset für Text-zu-Video-Generierung und stammt von zwei Forschern, jeweils von der University of Technology Sydney in Australien und der Zhejiang-Universität in China.

Ausgewählte Beispiele aus dem endgültigen erhaltenen Dataset.

Ein ‘Personal Shopper’ für KI-Daten

Die Themen und Konzepte, die in der Gesamtheit der Internetbilder und -videos vorkommen, spiegeln nicht unbedingt wider, was der durchschnittliche Endbenutzer von einem generativen System verlangen könnte; selbst wenn Inhalt und Nachfrage zusammenpassen (wie bei Pornografie, die reichlich im Internet verfügbar ist und von großem Interesse für viele KI-Benutzer ist), muss dies nicht mit den Absichten und Standards der Entwickler für ein neues generatives System übereinstimmen.

Abgesehen von der großen Menge an unangemessenen Inhalten, die täglich hochgeladen werden, ist ein unverhältnismäßig großer Teil des im Internet verfügbaren Materials wahrscheinlich von Werbetreibenden und solchen, die versuchen, SEO zu manipulieren. Der kommerzielle Eigeninteresse dieser Art macht die Verteilung der Themen weit von unparteiisch entfernt; schlimmer noch, ist es schwierig, KI-basierte Filterungssysteme zu entwickeln, die mit dem Problem umgehen können, da Algorithmen und Modelle, die aus sinnvollen hyperskaligen Daten entwickelt wurden, selbst die Tendenzen und Prioritäten der Quelldaten widerspiegeln können.

Daher haben die Autoren des neuen Papers den Ansatz umgekehrt, indem sie bestimmt haben, was Benutzer wahrscheinlich wollen, und Videos beschafft haben, die diesen Bedürfnissen entsprechen.

Bei oberflächlicher Betrachtung scheint dieser Ansatz genauso wahrscheinlich, einen semantischen Wettlauf nach unten auszulösen, wie ein ausgewogenes, wikipedia-ähnliches Neutrum zu erreichen. Die Ausrichtung der Datenkurierung auf Benutzerbedürfnisse riskiert, die Vorlieben der unteren Gemeinsamkeit zu verstärken und Nischenbenutzer zu marginalisieren, da Mehrheitsinteressen unweigerlich größeres Gewicht haben werden.

Trotzdem lassen wir uns von dem Paper leiten.

Konzepte mit Diskretion destillieren

Die Forscher verwendeten das 2024er VidProM-Dataset als Quelle für die Themenanalyse, die später die Web-Scraping-Formel informieren würde.

Das Dataset wurde ausgewählt, so die Autoren, weil es das einzige öffentlich verfügbare 1-Millionen-Plus-Dataset ist, das ‘von realen Benutzern’ geschrieben wurde – und es sollte erwähnt werden, dass dieses Dataset selbst von den beiden Autoren des neuen Papers kuratiert wurde.

Das Paper erklärt*:

‘Zuerst betten wir alle 1,67 Millionen Prompts aus VidProM in 384-dimensionale Vektoren ein, indem wir SentenceTransformers verwenden. Als nächstes gruppieren wir diese Vektoren mit K-Means. Beachten Sie, dass wir hier die Anzahl der Cluster auf einen relativ großen Wert vorsetzen, d. h. 2.000, und ähnliche Cluster im nächsten Schritt zusammenführen.

‘Schließlich bitten wir für jeden Cluster GPT-4o, ein Thema [ein oder zwei Wörter] zu schlussfolgern.’

Die Autoren weisen darauf hin, dass bestimmte Konzepte unterschiedlich, aber auffallend benachbart sind, wie Kirche und Kathedrale. Ein zu detailliertes Kriterium für Fälle dieser Art würde zu Konzept-Einbettungen (z. B. für jeden Hundezüchter) anstelle des Begriffs Hund führen; während ein zu breites Kriterium eine übermäßige Anzahl von Subkonzepten in ein einzelnes überfülltes Konzept einbeziehen könnte; daher betont das Paper die notwendige Balance bei der Bewertung solcher Fälle.

Einzahl- und Mehrzahlformen wurden zusammengeführt, und Verben in ihre Grundform (Infinitiv) zurückversetzt. Zu breite Begriffe wie Animation, Szene, Film und Bewegung wurden entfernt.

Somit wurden 1.291 Themen erhalten (mit der vollständigen Liste im Anhang des Quellpapers).

Auswahl-Web-Scraping

Als nächstes verwendeten die Forscher die offizielle YouTube-API, um Videos basierend auf den aus dem 2024er Dataset destillierten Kriterien zu suchen, und suchten 500 Videos für jedes Thema. Neben der erforderlichen Creative-Commons-Lizenz musste jedes Video eine Auflösung von 720p oder höher haben und kürzer als vier Minuten sein.

Auf diese Weise wurden 586.490 Videos von YouTube gesammelt.

Die Autoren verglichen die YouTube-IDs der heruntergeladenen Videos mit einer Reihe von populären Datasets: OpenVid-1M; HD-VILA-100M; Intern-Vid; Koala-36M; LVD-2M; MiraData; Panda-70M; VidGen-1M; und WebVid-10M.

Sie fanden heraus, dass nur 1.675 IDs (die oben genannten 0,29%) der VideoUFO-Clips in diesen älteren Sammlungen vorkamen, und es muss zugegeben werden, dass die Liste der Dataset-Vergleiche nicht erschöpfend ist, aber sie enthält alle größten und einflussreichsten Akteure in der generativen Video-Szene.

Aufteilung und Bewertung

Die erhaltenen Videos wurden anschließend in mehrere Clips unterteilt, gemäß der in dem oben genannten Panda-70M-Paper beschriebenen Methodik. Es wurden Schussgrenzen geschätzt, Assemblierungen genäht und die verketteten Videos in einzelne Clips unterteilt, wobei kurze und detaillierte Untertitel bereitgestellt wurden.

Jeder Datensatz in der VideoUFO-Datensammlung enthält einen Clip, eine ID, Start- und Endzeiten sowie einen kurzen und einen detaillierten Untertitel.

Die kurzen Untertitel wurden mit der Panda-70M-Methode bearbeitet, und die detaillierten Video-Untertitel mit Qwen2-VL-7B, entlang der Richtlinien, die in Open-Sora-Plan festgelegt sind. In Fällen, in denen Clips das beabsichtigte Zielkonzept nicht verkörperten, wurden die detaillierten Untertitel für jeden solchen Clip in GPT-4o mini eingegeben, um zu bestimmen, ob es tatsächlich ein passendes Thema war. Obwohl die Autoren eine Bewertung mit GPT-4o bevorzugt hätten, wäre dies für Millionen von Video-Clips zu teuer gewesen.

Die Videoqualitätsbewertung wurde mit sechs Methoden aus dem VBench-Projekt durchgeführt.

Vergleiche

Die Autoren wiederholten den Themenextraktionsprozess auf den oben genannten früheren Datasets. Dazu war es notwendig, die abgeleiteten Kategorien von VideoUFO semantisch mit den unvermeidlich unterschiedlichen Kategorien in den anderen Sammlungen abzugleichen; es muss zugegeben werden, dass solche Prozesse nur approximativ äquivalente Kategorien liefern und daher möglicherweise nicht empirisch vergleichbar sind.

Trotzdem sehen wir in dem unten angegebenen Bild die Ergebnisse, die die Forscher mit dieser Methode erzielten:

Vergleich der grundlegenden Attribute, die über VideoUFO und die früheren Datasets abgeleitet wurden.

Die Forscher räumen ein, dass ihre Analyse auf den bestehenden Untertiteln und Beschreibungen in jedem Dataset basierte. Sie geben zu, dass das erneute Untertiteln älterer Datasets mit der gleichen Methode wie VideoUFO eine direktere Vergleichsmöglichkeit geboten hätte. Allerdings scheint ihre Schlussfolgerung, dass dieser Ansatz aufgrund der enormen Menge an Datenpunkten prohibitiv teuer wäre, gerechtfertigt.

Generierung

Die Autoren entwickelten einen Benchmark, um die Leistung von Text-zu-Video-Modellen bei benutzerorientierten Konzepten zu bewerten, der BenchUFO genannt wird. Dies umfasste die Auswahl von 791 Nomen aus den 1.291 destillierten Benutzertopics in VideoUFO. Für jedes ausgewählte Thema wurden dann zehn Textprompts aus VidProM zufällig ausgewählt.

Jeder Prompt wurde an ein Text-zu-Video-Modell weitergeleitet, wobei der oben genannte Qwen2-VL-7B-Untertitler verwendet wurde, um die generierten Ergebnisse zu bewerten. Mit allen generierten Videos, die so untertitelt wurden, wurde SentenceTransformers verwendet, um die Kosinus-Ähnlichkeit für sowohl den Eingabeprompt als auch die (abgeleitete) Beschreibung in jedem Fall zu berechnen.

Schema für den BenchUFO-Prozess.

Die bewerteten generativen Modelle waren: Mira; Show-1; LTX-Video; Open-Sora-Plan; Open Sora; TF-T2V; Mochi-1; HiGen; Pika; RepVideo; T2V-Zero; CogVideoX; Latte-1; Hunyuan Video; LaVie; und Pyramidal.

Abgesehen von VideoUFO wurden MVDiT-VidGen und MVDit-OpenVid als alternative Trainingsdaten verwendet.

Die Ergebnisse berücksichtigen die 10 schlechtesten und besten Themen über die Architekturen und Datasets hinweg.

Ergebnisse für die Leistung von öffentlichen T2V-Modellen im Vergleich zu den von den Autoren trainierten Modellen auf BenchUFO.

Hier kommentieren die Autoren:

‘Aktuelle Text-zu-Video-Modelle erzielen nicht konsistent gute Ergebnisse über alle benutzerorientierten Themen hinweg. Insbesondere gibt es einen Punkteunterschied zwischen den Top-10 und den schlechtesten 10 Themen, der von 0,233 bis 0,314 reicht. Diese Modelle verstehen möglicherweise Themen wie “Riesenkalmar”, “Tierzelle”, “Van Gogh” und “altägyptisch” nicht ausreichend, da sie nicht ausreichend auf solche Videos trainiert wurden.’

‘Aktuelle Text-zu-Video-Modelle zeigen einen bestimmten Grad an Konsistenz in ihren besten Themen. Wir stellen fest, dass die meisten Text-zu-Video-Modelle Videos auf tierbezogene Themen wie “Möwe”, “Panda”, “Delfin”, “Kamel” und “Eule” gut generieren können. Wir schließen daraus, dass dies teilweise auf eine Voreingenommenheit gegenüber Tieren in den aktuellen Video-Datasets zurückzuführen ist.’

Fazit

VideoUFO ist ein hervorragendes Angebot, wenn man nur die frischen Daten betrachtet. Wenn es keine Fehler bei der Bewertung und Entfernung von YouTube-IDs gab und wenn das Dataset so viele neue Materialien enthält, die der Forschungsszene neu sind, ist es ein seltenes und potenziell wertvolles Angebot.

Der Nachteil ist, dass man dem Kernmethodik Glauben schenken muss; wenn man nicht glaubt, dass Benutzerbedürfnisse die Web-Scraping-Formeln informieren sollten, würde man in ein Dataset investieren, das seine eigenen problematischen Voreingenommenheiten mit sich bringt.

Weiterhin hängt die Nützlichkeit der destillierten Themen von der Zuverlässigkeit der verwendeten Destillationsmethode ab (die im Allgemeinen durch Budgetbeschränkungen behindert wird) und auch von den Formulierungsmethoden für das 2024-Dataset, das das Quellmaterial liefert.

Dennoch verdient VideoUFO weitere Untersuchung – und es ist auf Hugging Face verfügbar.

*Meine Ersetzung der Zitate der Autoren durch Hyperlinks.

Erstveröffentlichung am Mittwoch, den 5. März 2025