En personlig tilgang til computer vision litteraturtrends i 2024

Jeg har følget computer vision (CV) og billedsyntheseforskningsscenen på Arxiv og andre steder i omkring fem år, så trends bliver tydelige over tid, og de skifter i nye retninger hvert år.

Derfor, da 2024 nærmer sig afslutningen, mente jeg, det var på tide at kaste et blik på nogle nye eller udviklende karakteristika i Arxiv-indlæg i Computer Vision og Pattern Recognition sektion. Disse observationer, selvom de er informeret af hundredvis af timer med at studere scenen, er strengt anekdotiske.

Den fortsatte opstigning af Østasien

Ved udgangen af 2023 havde jeg bemærket, at flertallet af litteraturen i ‘stemmesyntese’-kategorien kom fra Kina og andre regioner i Østasien. Ved udgangen af 2024 må jeg konstatere (anekdotisk), at dette nu også gælder for billed- og videosynteseforskningsscenen.

Dette betyder ikke, at Kina og tilstødende lande nødvendigvis altid producerer det bedste arbejde (i virkeligheden er der nogen beviser på det modsatte); og det tager ikke hensyn til den høje sandsynlighed i Kina (ligesom i Vesten), at nogle af de mest interessante og kraftfulde nye udviklingsystemer er proprietære og udelukket fra forskningslitteraturen.

Men det antyder, at Østasien slår Vesten i antal i denne henseende. Hvad det er værd afhænger af, i hvilken udstrækning du tror på virkningen af Edison-stil-persistens, som normalt viser sig at være ineffektivt i mødet med uovervindelige hindringer.

Der er mange sådanne vejblokkeringer i generativ AI, og det er ikke let at vide, hvilke der kan løses ved at adresse eksisterende arkitekturer, og hvilke der vil kræve at blive genovervejet fra scratch.

Selvom forskere fra Østasien synes at producere et større antal computer vision-papirer, har jeg bemærket en øget frekvens af ‘Frankenstein’-lignende projekter – initiativer, der udgør en sammensætning af tidligere arbejder, mens de tilføjer begrænset arkitektonisk nytænkning (eller muligvis blot en anden type data).

Dette år så et langt højere antal østasiatiske (primært kinesiske eller kinesisk-involverede samarbejder) indlæg ud til at være kvote-drevne snarere end merit-drevne, hvilket betydeligt øgede signal-til-støj-forholdet i et allerede over-tegningsfuldt felt.

Samtidig har et større antal østasiatiske papirer også fanget min opmærksomhed og beundring i 2024. Så hvis dette er et nummerspil, så fejler det ikke – men det er heller ikke billigt.

Øget volumen af indlæg

Volumen af papirer, over alle oprindelseslande, har åbenbart øget i 2024.

Den mest populære publiceringsdag skifter gennem året; lige nu er det tirsdag, hvor antallet af indlæg til Computer Vision og Pattern Recognition-sektionen ofte er omkring 300-350 på en enkelt dag, i ‘peak’-perioder (maj-august og oktober-december, dvs. konference-sæson og ‘årlig kvote-deadline’-sæson, henholdsvis).

Ud over min egen erfaring rapporterer Arxiv selv om et rekordstort antal indlæg i oktober 2024, med 6000 nye indlæg i alt, og Computer Vision-sektionen som den næst mest indsendte sektion efter Machine Learning.

Men da Machine Learning-sektionen på Arxiv ofte bruges som en ’tilføjet’ eller samlet super-kategori, taler dette for, at Computer Vision og Pattern Recognition i virkeligheden er den mest indsendte Arxiv-kategori.

Arxivs eget statistik viser bestemt, at datalogi er den klare leder i indlæg:

Datalogi (CS) dominerer indlægsstatistik på Arxiv over de sidste fem år. Kilde: https://info.arxiv.org/about/reports/submission_category_by_year.html

Stanford Universitets 2024 AI-index, selvom det ikke kan rapportere om de seneste statistikker endnu, fremhæver også den bemærkelsesværdige stigning i indlæg af akademiske papirer omkring maskinlæring i de seneste år:

Med tal, der ikke er tilgængelige for 2024, viser Stanfords rapport alligevel dramatisk den stigning i indlægsvolumen for maskinlæringspapirer. Kilde: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

Diffusion>Mesh-rammer spreder sig

En anden tydelig trend, der opstod for mig, var en stor opsving i papirer, der beskæftiger sig med at udnytte Latent Diffusion Models (LDM’er) som generatore for mesh-baserede, ‘traditionelle’ CGI-modeller.

Projekter af denne type omfatter Tencents InstantMesh3D, 3Dtopia, Diffusion², V3D, MVEdit og GIMDiffusion, blandt mange andre lignende tilbud.

Mesh-generering og -forbedring via en diffusion-baseret proces i 3Dtopia. Kilde: https://arxiv.org/pdf/2403.02234

Dette nye forskningsstråg kan ses som en underforstået koncession til den fortsatte uovervindelighed af generative systemer som diffusion-modeller, som for blot to år siden blev fremhævet som en potentiel erstatning for alle de systemer, som diffusion>mesh-modellerne nu søger at udfylde; og som reducerer diffusion til en værktøj i teknologier og arbejdsgange, der daterer tilbage mere end 30 år.

Stability.ai, ophavsmændene bag den open-source Stable Diffusion-model, har lige udgivet Stable Zero123, som kan, blandt andet, bruge en Neural Radiance Fields (NeRF)-fortolkning af en AI-genereret billed som en bro til at skabe en eksplitt, mesh-baseret CGI-model, der kan bruges i CGI-arenaer som Unity, i videospil, augmented reality og på andre platforme, der kræver eksplitt 3D-koordinater, modsat de implicite (skjulte) koordinater i kontinuerte funktioner.

Klik for at afspille. Billeder genereret i Stable Diffusion kan konverteres til rationelle CGI-mesh. Her ser vi resultatet af en billed>CGI-arbejdsgang med Stable Zero 123. Kilde: https://www.youtube.com/watch?v=RxsssDD48Xc

3D-semantik

Det generative AI-rum skaber en forskel mellem 2D- og 3D-systemimplementeringer af vision og generative systemer. For eksempel facial landmarking-rammer, selvom de repræsenterer 3D-objekter (ansigter) i alle tilfælde, behøver ikke alle nødvendigvis at beregne adressable 3D-koordinater.

Den populære FANAlign-system, der blev bredt brugt i 2017-æraens deepfake-arkitekturer (blandt andre), kan håndtere begge disse tilgange:

Ovenfor er 2D-landemærker genereret på basis af blot erkendte ansigtslinjer og -træk. Nedenfor er de rationaliseret til 3D X/Y/Z-rum. Kilde: https://github.com/1adrianb/face-alignment

Sådan som ‘deepfake’ er blevet et tvetydigt og kapret udtryk, er ‘3D’ blevet et forvirrende udtryk i computer vision-forskning.

For forbrugere har det typisk betydet stereo-aktiveret medie (såsom film, hvor seeren skal bære specielle briller); for visuelle effektekspertise og modellører giver det forskellen mellem 2D-kunst (såsom konceptuelle skitser) og mesh-baserede modeller, der kan manipuleres i en ‘3D-program’ som Maya eller Cinema4D.

Men i computer vision betyder det blot, at et Cartesian-koordinatsystem findes et sted i latent rummet i modellen – ikke, at det nødvendigvis kan adresseres eller direkte manipuleres af en bruger; i hvert fald ikke uden tredjepartsfortolkende CGI-baserede systemer som 3DMM eller FLAME.

Derfor er begrebet diffusion>3D ikke præcist; ikke kun kan enhver type billed (herunder et virkeligt foto) bruges som input til at producere en generativ CGI-model, men det mindre tvetydige udtryk ‘mesh’ er mere passende.

Men for at komplicere tvetydigheden er diffusion nødvendigt for at fortolke kildebilledet til en mesh, i de fleste nye projekter. Så en bedre beskrivelse kan være billed-til-mesh, mens billed>diffusion>mesh er en endnu mere præcis beskrivelse.

Men det er svært at sælge det på et bestyrelsesmøde eller i en pressemeddelelse designet til at engagere investorer.

Bevis for arkitektoniske dødvande

Selv sammenlignet med 2023, viser de sidste 12 måneders afgrøde af papirer en voksende desperation omkring at fjerne de hårde praktiske begrænsninger for diffusion-baseret generation.

Hovedhindringen er stadig genereringen af narrativt og temporalt konsistent video, og opretholdelse af en konsistent fremtoning af karakterer og objekter – ikke kun på tværs af forskellige video-klip, men også på tværs af den korte køretid af en enkelt genereret video-klip.

Den sidste epokale innovation i diffusion-baseret syntese var introduktionen af LoRA i 2022. Selvom nyere systemer som Flux har forbedret nogle af outlier-problemerne, såsom Stable Diffusions tidligere manglende evne til at genskabe tekstindhold i et genereret billed, og den samlede billedkvalitet er forbedret, var de fleste papirer, jeg studerede i 2024, grundlæggende bare flyttede maden rundt på tallerkenen.

Disse dødvande er sket før, med Generative Adversarial Networks (GAN’er) og Neural Radiance Fields (NeRF), som begge ikke har levet op til deres åbenlyse initiale potentiale – og begge er blevet mere og mere brugt i mere konventionelle systemer (såsom brugen af NeRF i Stable Zero 123, se ovenfor). Det ser ud til, at det samme sker med diffusion-modeller.

Gaussian Splatting-forskning skifter retning

Det så ud til, at rasteriseringsmetoden 3D Gaussian Splatting (3DGS), der debuterede som en medicinsk billedteknik i begyndelsen af 1990’erne, var på vej til pludselig at overhale autoencoder-baserede systemer af menneskesyntese-udfordringer (såsom ansigtssimulation og genskabelse samt identitets-overføring).

2023 ASH-papiret lovede fuld-legems 3DGS-mennesker, mens Gaussian Avatars tilbød massivt forbedret detalje (i forhold til autoencoder og andre konkurrerende metoder), sammen med imponerende cross-reenactment.

Men dette år har været relativt kort på sådanne gennembrudsøjeblikke for 3DGS-menneskesyntese; de fleste papirer, der tog sig af problemet, var enten afledt af ovennævnte arbejder eller formåede ikke at overgå deres evner.

I stedet har fokus på 3DGS været på at forbedre dets grundlæggende arkitektoniske gennemførlighed, hvilket har ført til en række papirer, der tilbyder forbedrede 3DGS-ydre miljøer. Særlig opmærksomhed er blevet givet til Simultaneous Localization and Mapping (SLAM) 3DGS-tilgange, i projekter som Gaussian Splatting SLAM, Splat-SLAM, Gaussian-SLAM, DROID-Splat, blandt mange andre.

Projekter, der forsøgte at fortsætte eller udvide splat-baseret menneskesyntese, omfattede MIGS, GEM, EVA, OccFusion, FAGhead, HumanSplat, GGHead, HGM og Topo4D. Selvom der er andre end disse, matchede ingen af disse udgaver den initiale indvirkning af de papirer, der opstod i slutningen af 2023.

‘Weinstein-æraen’ af testsamples er i (langsom) tilbagegang

Forskning fra Sydøstasien generelt (og Kina i særdeleshed) viser ofte testeksempler, der er problematiske at genudgive i en anmeldelsesartikel, fordi de indeholder materiale, der er lidt ‘spicy’.

Enten er det, fordi forskere i den del af verden søger at tiltrække opmærksomhed til deres output, eller ej; men i de sidste 18 måneder er der blevet flere og flere papirer omkring generativ AI (billed- og/eller video), der som standard bruger unge og letklædte kvinder og piger i projekteksempler. Grænseoverskridende eksempler på dette omfatter UniAnimate, ControlNext og endda meget ‘tørre’ papirer som Evaluating Motion Consistency by Fréchet Video Motion Distance (FVMD).

Dette følger de generelle trends i subreddits og andre fællesskaber, der er samlet omkring Latent Diffusion Models (LDM’er), hvor Regel 34 stadig er meget til stede.

Celebrity Face-Off

Dette type upassende eksempel overlapper med den voksende erkendelse af, at AI-processer ikke skal arbitrært udnytte berømtheds-lignelser – især i studier, der ukritisk bruger eksempler featuring attraktive berømtheder, ofte kvindelige, og placerer dem i tvivlsomme sammenhænge.

Et eksempel er AnyDressing, der, ud over at fremvise meget unge anime-stil kvindelige karakterer, også frit bruger identiteterne af klassiske berømtheder som Marilyn Monroe, og nuværende som Anne Hathaway (der har fordømt denne type brug meget højlydt).

Arbitrær brug af nuværende og ‘klassiske’ berømtheder er stadig ret almindeligt i papirer fra Sydøstasien, selvom praksisen er lidt på tilbagegang. Kilde: https://crayon-shinchan.github.io/AnyDressing/

I vestlige papirer er denne praksis dog bemærkelsesværdigt på tilbagegang i løbet af 2024, ledet af de større udgivelser fra FAANG og andre højtstående forskningsinstitutioner som OpenAI. Kritisk bevidste om muligheden for fremtidig retsforfølgelse, synes disse store korporative spillere mere og mere uvillige til at repræsentere selv fiktive fotorealistiske personer.

Selvom de systemer, de skaber (såsom Imagen og Veo2), åbenbart er i stand til sådant output, tenderer eksempler fra vestlige generative AI-projekter nu mod ‘søde’, Disney-fiede og ekstremt ‘sikre’ billeder og videoer.

Selvom Imagen er i stand til at skabe ‘fotorealistisk’ output, er de eksempler, der fremmes af Google Research, typisk fantastiske, ‘familie’-venlige – fotorealistiske mennesker undgås omhyggeligt, eller kun minimale eksempler er til stede. Kilde: https://imagen.research.google/

Ansigt-vask

I den vestlige CV-litteratur er denne uærlige tilgang særlig tydelig for tilpasnings-systemer – metoder, der kan skabe konsistente lignelser af en bestemt person på tværs af flere eksempler (dvs. som LoRA og den ældre DreamBooth).

Eksempler omfatter ortogonalt visuelt indlejring, LoRA-Composer, Googles InstructBooth og mange flere.

Googles InstructBooth drejer sødme-faktoren op til 11, selvom historien antyder, at brugere er mere interesseret i at skabe fotorealistiske mennesker end pelsklædte eller fluffige karakterer. Kilde: https://sites.google.com/view/instructbooth

Men stigningen i ‘søde eksempler’ ses i andre CV- og syntese-forskningsstrømme, i projekter som Comp4D, V3D, DesignEdit, UniEdit, FaceChain (der indrømmer mere realistiske brugerforventninger på sin GitHub-side), og DPG-T2I, blandt mange andre.

Lettelsen, hvormed sådanne systemer (såsom LoRAs) kan skabes af hjemmebrugere med relativt beskedent hardware, har ført til en eksplosion af frit-downloadbare berømthedsmodeller på civit.ai-domænet og -fællesskab. Sådan ulovlig brug er stadig mulig gennem open-sourcing af arkitekturer som Stable Diffusion og Flux.

Selvom det ofte er muligt at gennembryde sikkerhedsfunktionerne i generative tekst-til-billed (T2I) og tekst-til-video (T2V) systemer for at producere materiale, der er forbudt af en platforms vilkår, lukker gapet mellem de begrænsede evner i de bedste systemer (såsom RunwayML og Sora) og de ubegrænsede evner i de mere gennemførlige systemer (såsom Stable Video Diffusion, CogVideo og lokale installationer af Hunyuan), ikke rigtig lukker, som mange tror.

I stedet truer disse proprietære og open-source-systemer, henholdsvis, med at blive lige så ubrugelige: dyre og hyperskala T2V-systemer kan blive excessivt handicappet på grund af frygt for retsforfølgelse, mens manglen på licensieringsinfrastruktur og datasæt-tilsyn i open-source-systemer kan låse dem helt ude af markedet, når strengere reguleringer kommer til at gælde.

Offentliggjort tirsdag, 24. december 2024