Andersons Blickwinkel

Warum AI-Videos manchmal rÞckwÃĪrts laufen

mm
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufÞgen
ChatGPT/Firefly image depicting a jet-skier impossibly leaving a wake in front of himself.

Wenn 2022 das Jahr war, in dem generative KI die Vorstellungskraft einer breiteren Öffentlichkeit eroberte, ist 2025 das Jahr, in dem die neue Generation generativer Video-Frameworks, die aus China stammt, anscheinend dasselbe tun wird.

Tencents Hunyuan-Video hat mit seiner Open-Source-VerÃķffentlichung eines vollstÃĪndigen Video-Diffusionsmodells, das Benutzer an ihre BedÞrfnisse anpassen kÃķnnen, einen großen Einfluss auf die AI-Hobbyistengemeinschaft.

Dicht gefolgt ist Alibabas jÞngstes Wan 2.1, eines der leistungsstÃĪrksten Bild-zu-Video-FOSS-LÃķsungen dieser Zeit – jetzt mit AnpassungsmÃķglichkeiten durch Wan LoRAs unterstÞtzt.

Abgesehen von der VerfÞgbarkeit des aktuellen humanzentrierten Grundmodells SkyReels warten wir zum Zeitpunkt des Schreibens auch auf die VerÃķffentlichung von Alibabas umfassendem VACE-Video-Erstellung- und -Bearbeitungspaket:

Bitte klicken Sie, um abzuspielen. Die bevorstehende VerÃķffentlichung von Alibabas multifunktionalem AI-Bearbeitungspaket VACE hat die Benutzercommunity begeistert. Quelle: https://ali-vilab.github.io/VACE-Page/

PlÃķtzlicher Einfluss

Die Szene der generativen Video-KI-Forschung ist selbst nicht weniger explosiv; es ist noch die erste HÃĪlfte des MÃĪrz, und die Einreichungen vom Dienstag bei Arxivs Computer-Vision-Sektion (einem Zentrum fÞr generative KI-Papiere) beliefen sich auf fast 350 EintrÃĪge – eine Zahl, die normalerweise mit dem HÃķhepunkt der Konferenzsaison assoziiert wird.

Die zwei Jahre seit der VerÃķffentlichung von Stable Diffusion im Sommer 2022 (und der anschließenden Entwicklung von Dreambooth und LoRA-Anpassungsmethoden) waren durch das Fehlen weiterer bedeutender Entwicklungen gekennzeichnet, bis zu den letzten Wochen, in denen neue VerÃķffentlichungen und Innovationen in einem solchen atemberaubenden Tempo voranschritten, dass es fast unmÃķglich ist, sich darÞber im Klaren zu sein, geschweige denn alles abzudecken.

Video-Diffusionsmodelle wie Hunyuan und Wan 2.1 haben das Problem der zeitlichen Konsistenz im Zusammenhang mit der Generierung von Menschen und grÃķßtenteils auch mit Umwelten und Objekten endlich gelÃķst.

Es kann kaum ein Zweifel daran bestehen, dass VFX-Studio derzeit Personal und Ressourcen einsetzen, um die neuen chinesischen Video-Modelle anzupassen, um sofortige Herausforderungen wie Gesichtsaustausch zu lÃķsen, trotz des aktuellen Fehlens von ControlNet-ÃĪhnlichen Hilfsmechanismen fÞr diese Systeme.

Es muss eine große Erleichterung sein, dass ein solches erhebliches Hindernis mÃķglicherweise Þberwunden wurde, wenn auch nicht auf den erwarteten Wegen.

Unter den verbleibenden Problemen ist dieses jedoch nicht unbedeutend:

Bitte klicken Sie, um abzuspielen. Basierend auf dem Prompt ‘Ein kleiner Stein rollt eine steile, felsige HÃĪnge hinunter, verschiebt Erde und kleine Steine’, macht Wan 2.1, das in der neuen Studie die hÃķchsten Punktzahlen erzielte, einen einfachen Fehler. Quelle: https://videophy2.github.io/

BergaufwÃĪrts

Alle text-zu-Video- und Bild-zu-Video-Systeme, die derzeit verfÞgbar sind, einschließlich kommerzieller Closed-Source-Modelle, neigen dazu, physikalische Fehler wie den oben gezeigten zu produzieren, bei dem das Video einen Stein zeigt, der bergaufwÃĪrts rollt, basierend auf dem Prompt ‘Ein kleiner Stein rollt eine steile, felsige HÃĪnge hinunter, verschiebt Erde und kleine Steine‘.

Eine Theorie, warum dies passiert, wurde kÞrzlich in einer akademischen Zusammenarbeit zwischen Alibaba und den Vereinigten Arabischen Emiraten vorgeschlagen, ist, dass Modelle immer auf einzelnen Bildern trainiert werden, in gewissem Sinne, auch wenn sie auf Videos trainieren (die fÞr Trainingszwecke in einzelne Bildsequenzen umgewandelt werden); und sie mÃķgen nicht unbedingt die richtige zeitliche Reihenfolge von ‘vorher’ und ‘nachher’ Bildern lernen.

Die wahrscheinlichste LÃķsung ist jedoch, dass die Modelle in Frage Data-Augmentation-Routinen verwendet haben, die das Vorzeigen eines Quell-Trainingsclips an das Modell sowohl vorwÃĪrts und rÞckwÃĪrts beinhalten, was die Trainingsdaten effektiv verdoppelt.

Es ist seit langem bekannt, dass dies nicht willkÞrlich erfolgen sollte, da einige Bewegungen rÞckwÃĪrts funktionieren, viele jedoch nicht. Eine Studie von 2019 der UniversitÃĪt Bristol im Vereinigten KÃķnigreich versuchte, eine Methode zu entwickeln, die ÃĪquivariante, invariante und irreversible Quell-Video-Clips in einem einzelnen Datensatz unterscheiden kann (siehe Bild unten), mit der Idee, dass ungeeignete Quell-Clips mÃķglicherweise aus Data-Augmentation-Routinen gefiltert werden kÃķnnten.

Beispiele fÞr drei Arten von Bewegungen, von denen nur eine frei rÞckwÃĪrts umkehrbar ist und dabei plausible physikalische Dynamiken beibehÃĪlt. Quelle: https://arxiv.org/abs/1909.09422

Beispiele fÞr drei Arten von Bewegungen, von denen nur eine frei rÞckwÃĪrts umkehrbar ist und dabei plausible physikalische Dynamiken beibehÃĪlt. Quelle: https://arxiv.org/abs/1909.09422

Die Autoren dieser Arbeit formulieren das Problem klar:

‘Wir stellen fest, dass die RealitÃĪt umgekehrter Videos durch Umkehrartefakte verraten wird, Aspekte der Szene, die in der realen Welt nicht mÃķglich wÃĪren. Einige Artefakte sind subtil, wÃĪhrend andere leicht zu erkennen sind, wie eine umgekehrte ‘Wurf’-Aktion, bei der das geworfene Objekt spontan vom Boden aufsteigt.

‘Wir beobachten zwei Arten von Umkehrartefakten, physikalische, die Verletzungen der Naturgesetze zeigen, und unwahrscheinliche, die ein mÃķgliches, aber unwahrscheinliches Szenario darstellen. Diese sind nicht exklusiv, und viele umgekehrte Aktionen leiden unter beiden Arten von Artefakten, wie z. B. beim GlÃĪtten eines Papiers.

‘Beispiele fÞr physikalische Artefakte sind: umgekehrte Schwerkraft (z. B. ‘etwas fallen lassen’), spontane Impulse auf Objekten (z. B. ‘einen Stift drehen’) und irreversible ZustandsÃĪnderungen (z. B. ‘eine Kerze anzÞnden’). Ein Beispiel fÞr ein unwahrscheinliches Artefakt: ein Tablett aus dem Schrank nehmen, es trocknen und auf ein Trockengestell legen.

‘Diese Art von Datenwiederverwendung ist sehr hÃĪufig wÃĪhrend des Trainings und kann nÞtzlich sein – beispielsweise kann sie dazu beitragen, dass das Modell nicht nur eine Ansicht eines Bildes oder Objekts lernt, das gedreht oder gespiegelt werden kann, ohne seine zentrale KohÃĪrenz und Logik zu verlieren.

‘Dies funktioniert jedoch nur fÞr Objekte, die wirklich symmetrisch sind; und das Lernen von Physik aus einem ‘umgekehrten’ Video funktioniert nur, wenn die umgekehrte Version genauso viel Sinn ergibt wie die VorwÃĪrtsversion.’

VorÞbergehende Umkehrungen

Wir haben keine Beweise dafÞr, dass Systeme wie Hunyuan-Video und Wan 2.1 willkÞrlich ‘umgekehrte’ Clips dem Modell wÃĪhrend des Trainings vorlegten (keine der Forschergruppen hat sich Þber Data-Augmentation-Routinen geÃĪußert).

Die einzige vernÞnftige alternative MÃķglichkeit wÃĪre jedoch, dass die hyperskaligen DatensÃĪtze, die diese Modelle antreiben, Clips enthalten, die tatsÃĪchlich Bewegungen in umgekehrter Reihenfolge zeigen.

Der Stein im oben eingebetteten Beispielvideo wurde mit Wan 2.1 generiert und ist Teil einer neuen Studie, die untersucht, wie gut Video-Diffusionsmodelle Physik handhaben.

Bei Tests fÞr dieses Projekt erzielte Wan 2.1 einen Punktestand von nur 22 % bei seiner FÃĪhigkeit, physikalische Gesetze konsistent einzuhalten.

Dennoch ist dies die beste Punktzahl aller getesteten Systeme, was darauf hindeutet, dass wir mÃķglicherweise unseren nÃĪchsten Hindernis fÞr Video-KI gefunden haben:

Punktzahlen, die von fÞhrenden Open-Source- und Closed-Source-Systemen erzielt wurden, wobei die Ausgabe der Frameworks von menschlichen Annotatoren bewertet wurde. Quelle: https://arxiv.org/pdf/2503.06800

Punktzahlen, die von fÞhrenden Open-Source- und Closed-Source-Systemen erzielt wurden, wobei die Ausgabe der Frameworks von menschlichen Annotatoren bewertet wurde. Quelle: https://arxiv.org/pdf/2503.06800

Die Autoren der neuen Arbeit haben ein Benchmarking-System entwickelt, jetzt in seiner zweiten Iteration, namens VideoPhy, mit dem Code verfÞgbar auf GitHub.

Obwohl der Umfang der Arbeit Þber das hinausgeht, was wir hier umfassend abdecken kÃķnnen, lassen Sie uns einen allgemeinen Blick auf ihre Methodik und ihr Potenzial werfen, um einen Maßstab zu etablieren, der den Kurs zukÞnftiger Modell-Trainings-Sitzungen von diesen seltsamen FÃĪllen von Umkehrungen ablenken kann.

Die Studie, durchgefÞhrt von sechs Forschern von der UCLA und Google Research, heißt VideoPhy-2: Eine anspruchsvolle aktionszentrierte physikalische Alltagsbewertung bei der Videogenerierung. Eine umfangreiche begleitende Projekt-Website ist ebenfalls verfÞgbar, zusammen mit Code und DatensÃĪtzen auf GitHub und einem Datensatz-Viewer auf Hugging Face.

Bitte klicken Sie, um abzuspielen. Der gefeierte OpenAI-Sora-Modell kann die Interaktionen zwischen Rudern und Reflexionen nicht verstehen und kann auch keine logische physikalische Fluss fÞr die Person im Boot oder die Art und Weise, wie das Boot mit ihr interagiert, bereitstellen.

Methode

Die Autoren beschreiben die neueste Version ihrer Arbeit, VideoPhy-2, als ‘anspruchsvolle Alltagsbewertung fÞr reale Aktionen’. Die Sammlung umfasst 197 Aktionen Þber eine breite Palette von verschiedenen physikalischen AktivitÃĪten wie Hula-Reifen, Turnen und Tennis, sowie Objektinteraktionen wie ein Objekt biegen, bis es bricht.

Ein großes Sprachmodell (LLM) wird verwendet, um 3840 Prompts aus diesen Ausgangsaktionen zu generieren, und die Prompts werden dann verwendet, um Videos Þber die verschiedenen Frameworks zu synthetisieren.

WÃĪhrend des gesamten Prozesses haben die Autoren eine Liste von ‘Kandidaten’ fÞr physikalische Regeln und Gesetze entwickelt, die von AI-generierten Videos erfÞllt werden sollten, unter Verwendung von Bild-Sprach-Modellen fÞr die Bewertung.

Die Autoren erklÃĪren:

‘Zum Beispiel in einem Video von einem Sportler, der Tennis spielt, wÃĪre eine physikalische Regel, dass ein Tennisball eine parabolische Flugbahn unter Schwerkraft beschreiben sollte. FÞr Gold-Standard-Urteile bitten wir menschliche Annotatoren, jedes Video anhand der allgemeinen semantischen Übereinstimmung und physikalischen AlltagsverstÃĪndnis zu bewerten und seine Übereinstimmung mit verschiedenen physikalischen Regeln zu markieren.’

Oben: Ein Text-Prompt wird aus einer Aktion unter Verwendung eines LLM generiert und verwendet, um ein Video mit einem Text-zu-Video-Generator zu erstellen. Ein Bild-Sprach-Modell beschriftet das Video und identifiziert mÃķgliche physikalische Regeln, die zur Anwendung kommen. Unten: Menschliche Annotatoren bewerten die Realistik des Videos, bestÃĪtigen Regelverletzungen, fÞgen fehlende Regeln hinzu und prÞfen, ob das Video dem ursprÞnglichen Prompt entspricht.

Oben: Ein Text-Prompt wird aus einer Aktion unter Verwendung eines LLM generiert und verwendet, um ein Video mit einem Text-zu-Video-Generator zu erstellen. Ein Bild-Sprach-Modell beschriftet das Video und identifiziert mÃķgliche physikalische Regeln, die zur Anwendung kommen. Unten: Menschliche Annotatoren bewerten die Realistik des Videos, bestÃĪtigen Regelverletzungen, fÞgen fehlende Regeln hinzu und prÞfen, ob das Video dem ursprÞnglichen Prompt entspricht.

UrsprÞnglich kuratierten die Forscher eine Reihe von Aktionen, um physikalische AlltagsverstÃĪndnis in AI-generierten Videos zu bewerten. Sie begannen mit Þber 600 Aktionen aus den Kinetics-, UCF-101– und SSv2-DatensÃĪtzen, mit dem Fokus auf AktivitÃĪten, die Sport, Objektinteraktionen und reale Physik beinhalten.

Zwei unabhÃĪngige Gruppen von STEM-ausgebildeten Studenten-Annotatoren (mit einem Mindestabschluss auf Bachelor-Niveau) ÞberprÞften und filterten die Liste, wÃĪhlten Aktionen aus, die Prinzipien wie Schwerkraft, Impuls und ElastizitÃĪt testeten, wÃĪhrend sie Aufgaben mit geringer Bewegung wie Tippen, ein Haustier streicheln oder Kauen entfernten.

Nach weiterer Verfeinerung mit Gemini-2.0-Flash-Exp zur Eliminierung von Duplikaten umfasste der endgÞltige Datensatz 197 Aktionen, von denen 54 Objektinteraktionen und 143 physikalische und sportliche AktivitÃĪten umfassten:

Beispiele aus den destillierten Aktionen.

Beispiele aus den destillierten Aktionen.

Im zweiten Schritt verwendeten die Forscher Gemini-2.0-Flash-Exp, um 20 Prompts fÞr jede Aktion im Datensatz zu generieren, was insgesamt 3.940 Prompts ergab. Der Generierungsprozess konzentrierte sich auf sichtbare physikalische Interaktionen, die klar in einem generierten Video dargestellt werden konnten. Dies schloss nicht-sichtbare Elemente wie Emotionen, SinneseindrÞcke und abstrakte Sprache aus, aber beinhaltete vielfÃĪltige Charaktere und Objekte.

Beispielsweise anstelle eines einfachen Prompts wie ‘Ein BogenschÞtze lÃĪsst den Pfeil los’ wurde das Modell angewiesen, eine detailliertere Version wie ‘Ein BogenschÞtze spannt die Bogensehne bis zum vollen Zug zurÞck und lÃĪsst den Pfeil los, der geradeaus fliegt und ein Bullseye auf einem Papierschuss trifft‘ zu produzieren.

Da moderne Video-Modelle lÃĪngere Beschreibungen interpretieren kÃķnnen, verfeinerten die Forscher die Beschriftungen mithilfe des Mistral-NeMo-12B-Instruct-Prompt-AufwÃĪrts-Scalings, um visuelle Details hinzuzufÞgen, ohne die ursprÞngliche Bedeutung zu ÃĪndern.

Beispiel-Prompts aus VideoPhy-2, nach physikalischen AktivitÃĪten oder Objektinteraktionen kategorisiert. Jeder Prompt ist mit seiner entsprechenden Aktion und dem relevanten physikalischen Prinzip, das er testet, verbunden.

Beispiel-Prompts aus VideoPhy-2, nach physikalischen AktivitÃĪten oder Objektinteraktionen kategorisiert. Jeder Prompt ist mit seiner entsprechenden Aktion und dem relevanten physikalischen Prinzip, das er testet, verbunden.

Im dritten Schritt wurden physikalische Regeln nicht aus Text-Prompts abgeleitet, sondern aus generierten Videos, da generative Modelle Schwierigkeiten haben kÃķnnen, konditionierten Text-Prompts zu folgen.

Videos wurden zuerst unter Verwendung von VideoPhy-2-Prompts erstellt, dann mit Gemini-2.0-Flash-Exp ‘hochbeschriftet’, um SchlÞsseldetails zu extrahieren. Das Modell schlug drei erwartete physikalische Regeln pro Video vor, die menschliche Annotatoren ÞberprÞften und erweiterten, indem sie zusÃĪtzliche potenzielle Verletzungen identifizierten.

Beispiele aus den hochbeschrifteten Beschriftungen.

Beispiele aus den hochbeschrifteten Beschriftungen.

Als nÃĪchstes, um die anspruchsvollsten Aktionen zu identifizieren, generierten die Forscher Videos unter Verwendung von CogVideoX-5B mit Prompts aus dem VideoPhy-2-Datensatz. Sie wÃĪhlten dann 60 Aktionen aus 197 aus, bei denen das Modell konsistent nicht in der Lage war, den Prompts und dem grundlegenden physikalischen AlltagsverstÃĪndnis zu folgen.

Diese Aktionen umfassten physikreiche Interaktionen wie Impulstransfer beim Diskuswerfen, ZustandsÃĪnderungen wie das Biegen eines Objekts, bis es bricht, Balancieraufgaben wie Seiltanz und komplexe Bewegungen, die RÞckwÃĪrtssaltos, Stabhochsprung und PizzawÞrfe umfassten. Insgesamt wurden 1.200 Prompts ausgewÃĪhlt, um die Schwierigkeit des Sub-Datensatzes zu erhÃķhen.

Der resultierende Datensatz umfasste 3.940 Beschriftungen – 5,72-mal mehr als die vorherige Version von VideoPhy. Die durchschnittliche LÃĪnge der ursprÞnglichen Beschriftungen betrÃĪgt 16 Token, wÃĪhrend die hochbeschrifteten Beschriftungen 138 Token erreichen – 1,88-mal und 16,2-mal lÃĪnger, jeweils.

Der Datensatz umfasst auch 102.000 menschliche Annotierungen, die semantische Übereinstimmung, physikalische AlltagsverstÃĪndnis und Regelverletzungen Þber mehrere Video-Generierungs-Modelle abdecken.

Bewertung

Die Forscher definierten dann klare Kriterien fÞr die Bewertung der Videos. Das Hauptziel bestand darin, zu bewerten, wie gut jedes Video seinem Eingabe-Prompt entsprach und grundlegende physikalische Prinzipien befolgte.

Anstatt die Videos einfach nach Vorliebe zu bewerten, verwendeten sie Bewertungen auf der Grundlage von Punktzahlen, um spezifische Erfolge und Misserfolge zu erfassen, wÃĪhrend die Bewertung auch ÞberprÞfte, ob die Videos verschiedenen physikalischen Regeln und Gesetzen folgten.

FÞr die menschliche Bewertung wurde eine Gruppe von 12 Annotatoren aus Tests auf Amazon Mechanical Turk (AMT) ausgewÃĪhlt und erhielt nach detaillierten Remote-Anweisungen Bewertungen. Aus FairnessgrÞnden wurden semantische Übereinstimmung und physikalische AlltagsverstÃĪndnis getrennt bewertet (in der ursprÞnglichen VideoPhy-Studie wurden sie gemeinsam bewertet).

Die Annotatoren bewerteten zunÃĪchst, wie gut die Videos ihren Eingabe-Prompts entsprachen, und bewerteten dann getrennt die physikalische PlausibilitÃĪt, indem sie Regelverletzungen und die allgemeine Realistik auf einer Skala von 1 bis 5 bewerteten. Es wurden nur die ursprÞnglichen Prompts angezeigt, um einen fairen Vergleich zwischen den Modellen zu gewÃĪhrleisten.

Die OberflÃĪche, die den AMT-Annotatoren prÃĪsentiert wurde.

Die OberflÃĪche, die den AMT-Annotatoren prÃĪsentiert wurde.

Obwohl menschliche Urteile der Goldstandard bleiben, sind sie teuer und haben eine Reihe von Nachteilen. Deshalb ist automatisierte Bewertung fÞr schnellere und skalierbarere Modellbewertungen unerlÃĪsslich.

Die Autoren der Studie testeten mehrere Video-Sprach-Modelle, darunter Gemini-2.0-Flash-Exp und VideoScore, auf ihre FÃĪhigkeit, Videos fÞr semantische Genauigkeit und ‘physikalische AlltagsverstÃĪndnis’ zu bewerten.

Die Modelle bewerteten jedes Video auf einer Skala von 1 bis 5, wÃĪhrend eine separate Klassifizierungsaufgabe bestimmt, ob physikalische Regeln befolgt, verletzt oder unklar waren.

Experiments zeigten, dass bestehende Video-Sprach-Modelle Schwierigkeiten hatten, menschliche Urteile zu treffen, hauptsÃĪchlich aufgrund schwacher physikalischer Argumentation und der KomplexitÃĪt der Prompts. Um die automatisierte Bewertung zu verbessern, entwickelten die Forscher VideoPhy-2-Autoeval, ein 7-B-Parameter-Modell, das darauf ausgelegt ist, genauere Vorhersagen Þber drei Kategorien zu liefern: semantische Übereinstimmung; physikalische AlltagsverstÃĪndnis; und RegelkonformitÃĪt, fein abgestimmt auf dem VideoCon-Physics-Modell unter Verwendung von 50.000 menschlichen Annotierungen*.

Daten und Tests

Mit diesen Werkzeugen an Bord testeten die Autoren eine Reihe von generativen Video-Systemen, sowohl durch lokale Installationen als auch, wo notwendig, Þber kommerzielle APIs: CogVideoX-5B; VideoCrafter2; HunyuanVideo-13B; Cosmos-Diffusion; Wan2.1-14B; OpenAI Sora; und Luma Ray.

Die Modelle wurden mit hochaufgelÃķsten Beschriftungen versehen, wo mÃķglich, mit Ausnahme davon, dass Hunyuan-Video und VideoCrafter2 unter 77-TOKEN-CLIP-EinschrÃĪnkungen operieren und keine Prompts Þber eine bestimmte LÃĪnge akzeptieren kÃķnnen.

Die generierten Videos wurden auf weniger als 6 Sekunden beschrÃĪnkt, da kÞrzere Ausgabe leichter zu bewerten ist.

Die treibenden Daten stammten aus dem VideoPhy-2-Datensatz, der in einen Benchmark- und Trainings-Satz aufgeteilt wurde. 590 Videos wurden pro Modell generiert, mit Ausnahme von Sora und Ray2; aufgrund des Kosteneffekts (ÃĪquivalente niedrigere Zahlen an Videos wurden fÞr diese generiert).

(Bitte beziehen Sie sich auf das Quellpapier fÞr weitere Bewertungsdetails, die dort ausfÞhrlich dokumentiert sind)

Die anfÃĪngliche Bewertung befasste sich mit physikalischen AktivitÃĪten/Sport (PA) und Objektinteraktionen (OI) und testete sowohl den allgemeinen Datensatz als auch die oben genannte ‘schwierigere’ Teilmenge:

Ergebnisse aus der ersten Runde.

Ergebnisse aus der ersten Runde.

Hier kommentieren die Autoren:

‘Sogar das am besten abschneidende Modell, Wan2.1-14B, erreicht nur 32,6 % und 21,9 % auf dem vollstÃĪndigen und harten Split unseres Datensatzes. Seine relativ starke Leistung im Vergleich zu anderen Modellen kann auf die Vielfalt seiner multimodalen Trainingsdaten und robuste Bewegungsfilterung zurÞckgefÞhrt werden, die hochwertige Videos Þber eine breite Palette von Aktionen hinweg beibehÃĪlt.

‘DarÞber hinaus beobachten wir, dass geschlossene Modelle wie Ray2 schlechter abschneiden als offene Modelle wie Wan2.1-14B und CogVideoX-5B. Dies deutet darauf hin, dass geschlossene Modelle nicht unbedingt besser sind als offene Modelle, wenn es um die Erfassung physikalischen AlltagsverstÃĪndnisses geht.

‘Bemerkenswerterweise erreicht Cosmos-Diffusion-7B die zweitbeste Punktzahl auf dem harten Split, sogar besser als das viel grÃķßere HunyuanVideo-13B-Modell. Dies kÃķnnte auf die hohe Darstellung von menschlichen Aktionen in seinen Trainingsdaten und synthetisch gerenderten Simulationen zurÞckzufÞhren sein.’

Die Ergebnisse zeigten, dass Video-Modelle mehr mit physikalischen AktivitÃĪten wie Sport zu kÃĪmpfen hatten als mit einfacheren Objektinteraktionen. Dies deutet darauf hin, dass die Verbesserung von AI-generierten Videos in diesem Bereich bessere DatensÃĪtze erfordern wird – insbesondere hochwertige Aufnahmen von Sportarten wie Tennis, Diskuswurf, Baseball und Cricket.

Die Studie untersuchte auch, ob die physikalische PlausibilitÃĪt eines Modells mit anderen Video-QualitÃĪtsmetriken wie Ästhetik und BewegungsglÃĪtte korrelierte. Die Ergebnisse zeigten, dass es keine starke Korrelation gibt, was bedeutet, dass ein Modell seine Leistung bei VideoPhy-2 nicht allein durch die Generierung visuell ansprechender oder flÞssiger Bewegungen verbessern kann – es benÃķtigt ein tieferes VerstÃĪndnis von physikalischen AlltagsverstÃĪndnis.

Obwohl die Studie eine FÞlle von qualitativen Beispielen liefert, scheinen wenige der statischen Beispiele, die im PDF bereitgestellt werden, mit den umfangreichen video-basierten Beispielen zusammenzuhÃĪngen, die die Autoren auf der Projekt-Website bereitstellen. Deshalb werden wir uns auf eine kleine Auswahl der statischen Beispiele und einige der tatsÃĪchlichen Projekt-Videos konzentrieren.

Die obere Zeile zeigt Videos, die von Wan2.1 generiert wurden. (a) In Ray2 bleibt das Jet-Ski auf der linken Seite zurÞck, bevor es rÞckwÃĪrts fÃĪhrt. (b) In Hunyuan-13B verformt sich der Vorschlaghammer wÃĪhrend des Schwungs und ein gebrochenes Holzbrett erscheint unerwartet. (c) In Cosmos-7B schleudert der Speer Sand aus, bevor er den Boden berÞhrt.

Die obere Zeile zeigt Videos, die von Wan2.1 generiert wurden. (a) In Ray2 bleibt das Jet-Ski auf der linken Seite zurÞck, bevor es rÞckwÃĪrts fÃĪhrt. (b) In Hunyuan-13B verformt sich der Vorschlaghammer wÃĪhrend des Schwungs und ein gebrochenes Holzbrett erscheint unerwartet. (c) In Cosmos-7B schleudert der Speer Sand aus, bevor er den Boden berÞhrt.

In Bezug auf die obige qualitative Bewertung kommentieren die Autoren:

‘[Wir] beobachten Verletzungen physikalischen AlltagsverstÃĪndnisses, wie z. B. Jet-Skis, die unnatÞrlich rÞckwÃĪrts fahren, und die Deformation eines festen Vorschlaghammers, der die Prinzipien der ElastizitÃĪt verletzt. Allerdings leidet auch Wan unter dem Mangel an physikalischen AlltagsverstÃĪndnis, wie im Clip zu sehen ist, der am Anfang dieses Artikels eingebettet ist.

‘In diesem Fall heben wir hervor, dass ein Stein beginnt, zu rollen und zu beschleunigen, bergaufwÃĪrts, was das physikalische Gesetz der Schwerkraft verletzt.’

Weitere Beispiele von der Projekt-Website:

Bitte klicken Sie, um abzuspielen. Die Beschriftung lautete ‘Eine Person dreht ein nasses Handtuch heftig, Wasser sprÞht in einem sichtbaren Bogen nach außen’ – aber die resultierende Wasserquelle sieht eher aus wie ein Wasserschlauch als ein Handtuch.

Bitte klicken Sie, um abzuspielen. Die Beschriftung lautete ‘Ein Chemiker gießt eine klare FlÞssigkeit aus einem Becher in ein Reagenzglas, vermeidet sorgfÃĪltig ÜberschÞsse’, aber wir kÃķnnen sehen, dass das Volumen des Wassers, das in den Becher gegeben wird, nicht mit der Menge Þbereinstimmt, die aus dem Krug austritt.

Wie ich zu Beginn erwÃĪhnte, Þbersteigt der Umfang des Materials, das mit diesem Projekt verbunden ist, bei weitem, was hier abgedeckt werden kann. Bitte beziehen Sie sich auf das Quellpapier, die Projekt-Website und die oben genannten verwandten Seiten, um einen umfassenden Überblick Þber die Verfahren der Autoren und viele weitere Testbeispiele und prozedurale Details zu erhalten.

 

* Was die Herkunft der Annotierungen betrifft, so spezifiziert das Papier nur ‘erworben fÞr diese Aufgaben’ – es scheint viel, um von 12 AMT-Arbeitern generiert worden zu sein.

ErstverÃķffentlichung Donnerstag, 13. MÃĪrz 2025

Schriftsteller Þber maschinelles Lernen, DomÃĪnen-Spezialist in der menschlichen Bildsynthese. Ehemaliger Leiter des Forschungsinhalts bei Metaphysic.ai, bis zu dessen AuflÃķsung in DNEG's Brahma.ai.
Portfolio-Seite: martinanderson.ai
Kontakt: [email protected]