Eine persönliche Einschätzung zu Trends in der Computer-Vision-Literatur im Jahr 2024

Ich habe die Forschungsszene im Bereich Computer-Vision (CV) und Bildsynthese auf Arxiv und anderswo über einen Zeitraum von etwa fünf Jahren kontinuierlich verfolgt, so dass Trends über die Zeit hinweg erkennbar werden und sich jedes Jahr in neue Richtungen bewegen.

Daher dachte ich, dass es an der Zeit sei, einige neue oder sich entwickelnde Merkmale in den Einreichungen auf Arxiv in der Sektion Computer-Vision und Mustererkennung zu betrachten. Diese Beobachtungen, die durch hunderte von Stunden des Studiums der Szene informiert sind, sind streng genommen Anekdoten.

Der anhaltende Aufstieg Ostasiens

Bis Ende 2023 hatte ich bemerkt, dass die Mehrheit der Literatur in der Kategorie “Stimmsynthese” aus China und anderen Regionen in Ostasien stammte. Ende 2024 muss ich feststellen (anekdotisch), dass dies nun auch für die Forschungsszene der Bild- und Videosynthese gilt.

Dies bedeutet nicht, dass China und angrenzende Länder notwendigerweise immer die beste Arbeit leisten (tatsächlich gibt es Beweise für das Gegenteil); noch bedeutet es, dass man den hohen Wahrscheinlichkeit in China (wie im Westen) berücksichtigt, dass einige der interessantesten und leistungsfähigsten neuen Systeme proprietär sind und aus der Forschungsliteratur ausgeschlossen werden.

Aber es deutet darauf hin, dass Ostasien den Westen in dieser Hinsicht übertrifft. Was das wert ist, hängt davon ab, inwieweit man an die Wirksamkeit von Edison-Style-Persistenz glaubt, die normalerweise unwirksam bei unüberwindbaren Hindernissen ist.

Es gibt viele solcher Hindernisse in generativer KI, und es ist nicht leicht zu wissen, welche durch die Bearbeitung bestehender Architekturen gelöst werden können und welche neu konzipiert werden müssen.

Obwohl Forscher aus Ostasien anscheinend eine größere Anzahl von Computer-Vision-Papieren produzieren, habe ich eine Zunahme der Häufigkeit von “Frankenstein”-Style-Projekten festgestellt – Initiativen, die eine Kombination vorheriger Arbeiten darstellen, während sie begrenzte architektonische Neuheit (oder möglicherweise nur eine andere Art von Daten) hinzufügen.

In diesem Jahr schienen eine viel größere Anzahl von ostasiatischen (hauptsächlich chinesischen oder chinesisch-beteiligten Kollaborationen) Einreichungen quotengetrieben zu sein, anstatt von Verdiensten getrieben, was das Signal-Rausch-Verhältnis in einem bereits überbeschriebenen Feld erheblich erhöhte.

Gleichzeitig haben auch eine größere Anzahl von ostasiatischen Papieren meine Aufmerksamkeit und Bewunderung im Jahr 2024 erregt. Wenn also alles ein Zahlen-Spiel ist, funktioniert es nicht – aber es ist auch nicht billig.

Zunehmende Anzahl von Einreichungen

Die Anzahl der Papiere, aus allen Herkunftsländern, ist offensichtlich im Jahr 2024 zugenommen.

Der beliebteste Publikationstag verschiebt sich im Laufe des Jahres; derzeit ist es Dienstag, wenn die Anzahl der Einreichungen in der Sektion Computer-Vision und Mustererkennung oft um 300-350 an einem einzigen Tag in den “Spitzenzeiten” (Mai-August und Oktober-Dezember, d. h. Konferenzsaison und “Jahresquoten-Frist” Saison) liegt.

Jenseits meiner eigenen Erfahrung berichtet Arxiv selbst über einen Rekord an Einreichungen im Oktober 2024, mit 6000 neuen Einreichungen, und die Computer-Vision-Sektion ist die zweitmeist eingereichte Sektion nach dem Maschinellen Lernen.

Arxivs eigene Statistiken zeigen deutlich, dass die Informatik der klare Leader bei den Einreichungen ist:

Computer Science (CS) dominiert die Einreichungsstatistiken bei Arxiv über die letzten fünf Jahre. Quelle: https://info.arxiv.org/about/reports/submission_category_by_year.html

Die AI-Index-Report 2024 der Stanford-Universität, der noch nicht in der Lage ist, die neuesten Statistiken zu berichten, betont auch den bemerkenswerten Anstieg der Einreichungen akademischer Papiere im Bereich des Maschinellen Lernens in den letzten Jahren:

Mit Zahlen, die nicht für 2024 verfügbar sind, zeigt der Bericht der Stanford-Universität dennoch dramatisch den Anstieg der Einreichungsvolumina für Maschinelles-Lernen-Papiere. Quelle: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

Diffusion-Mesh-Frameworks verbreiten sich

Ein weiterer klarer Trend, der für mich erkennbar wurde, war ein großer Anstieg an Papieren, die sich mit der Nutzung von Latent-Diffusions-Modellen (LDMs) als Generatoren von mesh-basierten, “traditionellen” CGI-Modellen beschäftigen.

Projekte dieser Art umfassen Tencents InstantMesh3D, 3Dtopia, Diffusion², V3D, MVEdit und GIMDiffusion, unter einer Vielzahl ähnlicher Angebote.

Mesh-Generierung und -Verfeinerung über einen Diffusions-basierten Prozess in 3Dtopia. Quelle: https://arxiv.org/pdf/2403.02234

Dieser aufkommende Forschungsstrang könnte als stillschweigende Anerkennung der anhaltenden Unüberwindbarkeit von generativen Systemen wie Diffusionsmodellen angesehen werden, die vor zwei Jahren noch als potenzieller Ersatz für alle Systeme angesehen wurden, die Diffusion-Mesh-Modelle jetzt zu bevölkern suchen; Diffusion wird auf die Rolle eines Werkzeugs in Technologien und Workflows reduziert, die auf 30 oder mehr Jahre zurückgehen.

Stability.ai, die Ursprungssteller des Open-Source-Stable-Diffusion-Modells, haben gerade Stable Zero123 veröffentlicht, das unter anderem eine Neural-Radiance-Feld (NeRF)-Interpretation eines von KI generierten Bildes als Brücke verwenden kann, um ein explizites, mesh-basiertes CGI-Modell zu erstellen, das in CGI-Arenen wie Unity, in Videospielen, Augmented Reality und in anderen Plattformen verwendet werden kann, die explizite 3D-Koordinaten erfordern, im Gegensatz zu den impliziten (versteckten) Koordinaten von kontinuierlichen Funktionen.

Bitte klicken Sie, um abzuspielen. Bilder, die in Stable Diffusion generiert werden, können in rationale CGI-Meshes konvertiert werden. Hier sehen wir das Ergebnis eines Bild-zu-CGI-Workflows mit Stable Zero 123. Quelle: https://www.youtube.com/watch?v=RxsssDD48Xc

3D-Semantik

Der generative KI-Raum unterscheidet zwischen 2D- und 3D-Systemen für die Implementierung von Vision und generativen Systemen. Zum Beispiel Facial-Landmarking-Frameworks, obwohl sie 3D-Objekte (Gesichter) in allen Fällen darstellen, berechnen nicht unbedingt adressierbare 3D-Koordinaten.

Das beliebte FANAlign-System, das weithin in Deepfake-Architekturen der Ära 2017 (und anderen) verwendet wird, kann beide Ansätze aufnehmen:

Oben werden 2D-Landmarken auf der Grundlage erkannter Gesichtslineamente und -merkmale generiert. Unten werden sie in 3D-X/Y/Z-Raum rationalisiert. Quelle: https://github.com/1adrianb/face-alignment

So wie “Deepfake” zu einem vieldeutigen und entführten Begriff geworden ist, ist auch “3D” zu einem verwirrenden Begriff in der Computer-Vision-Forschung geworden.

Für Verbraucher hat es typischerweise stereo-aktivierte Medien (wie Filme, bei denen der Zuschauer spezielle Brillen tragen muss) bedeutet; für visuelle Effekt-Praktiker und Modelleure stellt es die Unterscheidung zwischen 2D-Kunst (wie Konzeptskizzen) und mesh-basierten Modellen dar, die in einem “3D-Programm” wie Maya oder Cinema4D manipuliert werden können.

Aber in der Computer-Vision bedeutet es einfach, dass ein kartesisches Koordinatensystem irgendwo im latenten Raum des Modells existiert – nicht, dass es notwendigerweise von einem Benutzer adressiert oder direkt manipuliert werden kann; zumindest nicht ohne dritte CGI-basierte Systeme wie 3DMM oder FLAME.

Daher ist der Begriff Diffusion-3D ungenau; nicht nur kann jedes Bild (einschließlich eines echten Fotos) als Eingabe verwendet werden, um ein generatives CGI-Modell zu erstellen, sondern der weniger mehrdeutige Begriff “Mesh” ist angemessener.

Um die Mehrdeutigkeit jedoch zu verschlimmern, ist Diffusion notwendig, um das Quellbild in eine Mesh umzuwandeln, in den meisten aufkommenden Projekten. Eine bessere Beschreibung wäre also Bild-zu-Mesh, während Bild-Diffusion-Mesh eine noch genauere Beschreibung ist.

Aber das ist ein harter Verkauf in einem Vorstandsmeeting oder in einer Pressemitteilung, die darauf abzielt, Investoren zu gewinnen.

Beweise für architektonische Sackgassen

Selbst im Vergleich zu 2023 zeigt die letzte Ernte von Papieren in den letzten 12 Monaten eine wachsende Verzweiflung bei der Beseitigung der harten praktischen Grenzen der diffusionsbasierten Generierung.

Das wichtigste Hindernis bleibt die Generierung von narrativ und zeitlich konsistenten Videos und die Aufrechterhaltung eines konsistenten Aussehens von Charakteren und Objekten – nicht nur über verschiedene Video-Clips hinweg, sondern auch über die kurze Laufzeit eines einzelnen generierten Video-Clips.

Die letzte epochale Innovation in der diffusionsbasierten Synthese war die Einführung von LoRA im Jahr 2022. Während neuere Systeme wie Flux einige der Outlier-Probleme verbessert haben, wie z. B. die frühere Unfähigkeit von Stable Diffusion, Textinhalte in einem generierten Bild wiederzugeben, und die Gesamtbildqualität verbessert wurde, waren die meisten Papiere, die ich 2024 studierte, im Wesentlichen nur das Essen auf dem Teller herumrührend.

Diese Sackgassen sind bereits zuvor aufgetreten, mit Generativen Adversarial-Netzwerken (GANs) und mit Neuralen Radiance-Feldern (NeRF), die beide nicht ihren anfänglichen Potenzialen gerecht wurden – und die beide zunehmend in konventionelleren Systemen eingesetzt werden (wie die Verwendung von NeRF in Stable Zero 123, siehe oben). Dies scheint auch bei Diffusionsmodellen der Fall zu sein.

Gaussian-Splatting-Forschung ändert die Richtung

Es schien Ende 2023, dass die Raster-Verfahrensweise 3D-Gaussian-Splatting (3DGS), die in den frühen 1990er Jahren als medizinische Bildgebungs-Technik debütierte, plötzlich die autoencoder-basierten Systeme der menschlichen Bildsynthese-Herausforderungen (wie Gesichtssimulation und -rekonstruktion sowie Identitätsübertragung) überholen würde.

Das ASH-Papier von 2023 versprach vollständige 3DGS-Menschen, während Gaussian-Avatars eine massiv verbesserte Detailgenauigkeit (im Vergleich zu Autoencoder- und anderen konkurrierenden Methoden) boten, zusammen mit beeindruckender Cross-Reenactment.

Im Laufe dieses Jahres jedoch gab es relativ wenige Durchbruchmomente für 3DGS-Menschensynthese; die meisten Papiere, die sich mit diesem Problem beschäftigten, waren entweder abgeleitet von den oben genannten Arbeiten oder konnten ihre Fähigkeiten nicht übertreffen.

Stattdessen lag der Schwerpunkt auf 3DGS in der Verbesserung seiner architektonischen Machbarkeit, was zu einer Reihe von Papieren führte, die verbesserte 3DGS-Außenumgebungen anbieten. Besondere Aufmerksamkeit wurde der Simultaneous Localization and Mapping (SLAM) 3DGS-Ansätze gewidmet, in Projekten wie Gaussian Splatting SLAM, Splat-SLAM, Gaussian-SLAM, DROID-Splat, unter vielen anderen.

Die Projekte, die versuchten, die Splat-basierte Menschensynthese fortzusetzen oder zu erweitern, umfassten MIGS, GEM, EVA, OccFusion, FAGhead, HumanSplat, GGHead, HGM und Topo4D. Obwohl es noch andere gibt, konnte keines dieser Ausflüge den anfänglichen Einfluss der Papiere, die Ende 2023 auftraten, erreichen.

Die ‘Weinstein-Ära’ der Testproben ist im (langsamem) Niedergang

Forschung aus Südostasien im Allgemeinen (und China im Besonderen) zeigt oft Testbeispiele, die problematisch sind, um sie in einem Überprüfungsartikel zu veröffentlichen, da sie Material enthalten, das ein bisschen “scharf” ist.

Ob dies daran liegt, dass Forscher in diesem Teil der Welt versuchen, Aufmerksamkeit für ihre Arbeit zu gewinnen, ist fraglich; aber in den letzten 18 Monaten haben eine zunehmende Anzahl von Papieren über generative KI (Bild und/oder Video) auf junge und leicht bekleidete Frauen und Mädchen in Projektbeispielen zurückgegriffen. Grenzwertige NSFW-Beispiele dafür sind UniAnimate, ControlNext und sogar sehr “trockene” Papiere wie Evaluating Motion Consistency by Fréchet Video Motion Distance (FVMD).

Dies folgt den allgemeinen Trends von Subreddits und anderen Gemeinschaften, die sich um Latent-Diffusions-Modelle (LDMs) gesammelt haben, wo Rule 34 immer noch sehr präsent ist.

Celebrity Face-Off

Diese Art von unangemessenen Beispielen überlappt mit der wachsenden Erkenntnis, dass KI-Prozesse nicht willkürlich Prominenten-Ähnlichkeiten ausbeuten sollten – insbesondere in Studien, die unkritisch Beispiele verwenden, die attraktive Prominente, oft weiblich, darstellen und sie in fragwürdigen Kontexten platzieren.

Ein Beispiel ist AnyDressing, das neben sehr jungen Anime-Style-Weiblichkeitsfiguren auch die Identitäten von Klassik-Prominenten wie Marilyn Monroe liberal verwendet und aktuelle Prominente wie Anne Hathaway (die diese Art von Nutzung sehr lautstark verurteilt hat).

Willkürliche Verwendung von aktuellen und ‘klassischen’ Prominenten ist noch immer ziemlich häufig in Papieren aus Südostasien, obwohl die Praxis leicht rückläufig ist. Quelle: https://crayon-shinchan.github.io/AnyDressing/

In westlichen Papieren ist diese spezifische Praxis im Laufe des Jahres 2024 deutlich rückläufig, angeführt von den größeren Veröffentlichungen von FAANG und anderen hochrangigen Forschungseinrichtungen wie OpenAI. Kritisch bewusst für die potenzielle zukünftige Klage sind diese großen korporativen Akteure offensichtlich zunehmend unwillig, auch nur fiktive photorealistische Menschen darzustellen.

Obwohl die Systeme, die sie erstellen (wie Imagen und Veo2), offensichtlich in der Lage sind, solche Ausgaben zu produzieren, tendieren die Beispiele von westlichen generativen KI-Projekten nun zu “süßen”, Disney-fizierten und extrem “sicheren” Bildern und Videos.

Trotz der Ankündigung von Imagens Fähigkeit, ‘photorealistische’ Ausgaben zu erstellen, sind die von Google Research beworbenen Beispiele typischerweise fantastisch, ‘familienfreundlich’ – photorealistische Menschen werden sorgfältig vermieden oder minimale Beispiele bereitgestellt. Quelle: https://imagen.research.google/

Gesichtswäsche

In der westlichen CV-Literatur ist dieser unaufrichtige Ansatz besonders in Evidenz für Anpassungssysteme – Methoden, die in der Lage sind, konsistente Ähnlichkeiten einer bestimmten Person über mehrere Beispiele hinweg zu erstellen (d. h. wie LoRA und die ältere DreamBooth).

Beispiele umfassen orthogonale visuelle Einbettung, LoRA-Composer, Google’s InstructBooth und viele mehr.

Google’s InstructBooth dreht den Süßigkeitsfaktor auf 11, obwohl die Geschichte nahelegt, dass Benutzer eher an der Erstellung von photorealistischen Menschen als an flauschigen oder pelzigen Charakteren interessiert sind. Quelle: https://sites.google.com/view/instructbooth

Die Zunahme der “süßen Beispiele” ist jedoch in anderen CV- und Synthese-Forschungssträngen zu sehen, in Projekten wie Comp4D, V3D, DesignEdit, UniEdit, FaceChain (das auf seiner GitHub-Seite realistischere Benutzererwartungen einräumt), und DPG-T2I, unter vielen anderen.

Die Leichtigkeit, mit der solche Systeme (wie LoRAs) von Heimanwendern mit relativ bescheidener Hardware erstellt werden können, hat zu einer Explosion von frei verfügbaren, herunterladbaren Prominenten-Modellen auf der civit.ai-Domain und in der Community geführt. Eine solche illegale Verwendung bleibt durch die Open-Source-Architekturen wie Stable Diffusion und Flux möglich.

Obwohl es oft möglich ist, die Sicherheitsfunktionen von generativen Text-zu-Bild- (T2I) und Text-zu-Video- (T2V) Systemen zu umgehen, um Material zu produzieren, das durch die Nutzungsbedingungen einer Plattform verboten ist, schließt die Lücke zwischen den eingeschränkten Fähigkeiten der besten Systeme (wie RunwayML und Sora) und den unbegrenzten Fähigkeiten der nur leistungsfähigen Systeme (wie Stable Video Diffusion, CogVideo und lokale Bereitstellungen von Hunyuan) nicht wirklich, wie viele glauben.

Stattdessen drohen diese proprietären und Open-Source-Systeme, gleichermaßen nutzlos zu werden: teure und hyperskalierbare T2V-Systeme können aufgrund von Klageängsten übermäßig behindert werden, während der Mangel an Lizenzinfrastruktur und Datensatzüberwachung in Open-Source-Systemen sie vollständig aus dem Markt ausschließen könnte, wenn strengere Vorschriften in Kraft treten.

Erstveröffentlicht am Dienstag, den 24. Dezember 2024