En personlig vurdering av trender i datavisjonslitteratur i 2024

Jeg har følgt datavisjons- (CV) og bilde syntese forsknings scenen på Arxiv og andre steder i omtrent fem år, så trendene blir tydelige over tid, og de skifter i nye retninger hver år.

Derfor, da 2024 nærmer seg slutten, tenkte jeg det var på tide å se på noen nye eller utviklende karakteristika i Arxiv-innsendelser i datavisjon og mønster gjenkjennelse seksjon. Disse observasjonene, selv om de er informert av hundrevis av timer med studier av scenen, er strengt anekdotiske.

Den pågående økningen i Øst-Asia

Ved slutten av 2023 hadde jeg lagt merke til at majoriteten av litteraturen i kategorien “stemme syntese” kom fra Kina og andre regioner i Øst-Asia. Ved slutten av 2024 må jeg observere (anekdotisk) at dette nå også gjelder for bilde- og video syntese forsknings scenen.

Dette betyr ikke at Kina og tilstøtende land nødvendigvis alltid produserer det beste arbeidet (i virkeligheten er det noen bevis til det motsatte); heller ikke tar det med i beregningen den høye sannsynligheten i Kina (som i Vesten) at noen av de mest interessante og kraftfulle nye systemer er proprietære og ekskludert fra forskningslitteraturen.

Men det antyder at Øst-Asia slår Vesten i volum, i denne sammenhengen. Hva det er verdt avhenger av hvor mye du tror på Edisons metode for å gjøre fremskritt gjennom persistering, som vanligvis viser seg å være ineffektivt i møte med uovervinnelige hindringer.

Det finnes mange slike hindringer i generativ AI, og det er ikke lett å vite hvilke som kan løses ved å adresse eksisterende arkitekturer, og hvilke som må vurderes fra null.

Selv om forskere fra Øst-Asia ser ut til å produsere en større mengde datavisjons papirer, har jeg lagt merke til en økning i hyppigheten av “Frankenstein”-lignende prosjekter – initiativ som utgjør en sammenslåing av tidligere arbeid, mens de legger til begrenset arkitektonisk nyskaping (eller kanskje bare en annen type data).

I år var det et langt høyere antall østasiatiske (primært kinesiske eller kinesisk-orienterte samarbeid) innsendelser som syntes å være kvote-drevne fremfor meritter-drevne, og økte signal-til-støy-forholdet i et allerede overtegnet felt.

Samtidig har et større antall østasiatiske papirer også fanget min oppmerksomhet og beundring i 2024. Så hvis dette er et tallspill, er det ikke feil, men heller ikke billig.

Økende volum av innsendelser

Volumet av papirer, over alle opphavsland, har åpenbart økt i 2024.

Den mest populære publikasjonsdagen skifter gjennom året; for øyeblikket er det tirsdag, når antallet innsendelser til datavisjon og mønster gjenkjennelse seksjonen ofte er rundt 300-350 på en enkelt dag, i “topp” perioder (mai-august og oktober-desember, dvs. konferanse sesong og “årlig kvote deadline” sesong, henholdsvis).

Utenfor min egen erfaring, rapporterer Arxiv selv en rekordhøyt antall innsendelser i oktober 2024, med 6000 nye innsendelser totalt, og datavisjon seksjonen som den nest mest innsendte seksjonen etter maskinlæring.

Likevel, siden maskinlæring seksjonen på Arxiv ofte brukes som en “tilleggs” eller aggregert super-kategori, kan dette tyde på at datavisjon og mønster gjenkjennelse faktisk er den mest innsendte Arxiv kategorien.

Arxivs egne statistikker viser også at datavitenskap er den klare lederen i innsendelser:

Datavitenskap (CS) dominerer innsendelsesstatistikk på Arxiv over de siste fem årene. Kilde: https://info.arxiv.org/about/reports/submission_category_by_year.html

Stanford Universitys 2024 AI-indeks, selv om den ikke kan rapportere om de siste statistikkene ennå, understreker også den betydelige økningen i innsendelser av akademiske papirer om maskinlæring i de siste årene:

Med tall som ikke er tilgjengelige for 2024, viser Stanfords rapport likevel dramatisk økning i innsendelsesvolum for maskinlæring papirer. Kilde: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

Diffusjon>Mesh-rammeverk

En annen tydelig trend som oppstod for meg var en stor økning i papirer som handler om å utnytte Latent Diffusjonsmodeller (LDMs) som generatore for mesh-baserte, ‘tradisjonelle’ CGI-modeller.

Prosjekter av denne typen inkluderer Tencents InstantMesh3D, 3Dtopia, Diffusjon², V3D, MVEdit, og GIMDiffusion, blant mange andre lignende tilbud.

Mesh-generering og -forbedring via en diffusjonsbasert prosess i 3Dtopia. Kilde: https://arxiv.org/pdf/2403.02234

Dette nye forskningsstråket kan sees som en taktisk innrømmelse av den pågående uovervinneligheten av generative systemer som diffusjonsmodeller, som bare to år siden ble fremmet som en potensiell erstatning for alle systemene som diffusjon>mesh-modellene nå søker å befolke; og som nå søker å legge diffusjon til side som et verktøy i teknologier og arbeidsflyter som daterer tilbake til tretti eller flere år.

Stability.ai, opphavet til den åpne kildekoden Stable Diffusion-modellen, har nettopp lansert Stable Zero123, som kan, blant annet, bruke en Neural Radiance Fields (NeRF) tolkning av en AI-generert bilde som en bro til å skape en eksplisitt, mesh-basert CGI-modell som kan brukes i CGI-arenaer som Unity, i videospill, augmented reality og i andre plattformer som krever eksplisitte 3D-koordinater, i motsetning til de implisitte (skjulte) koordinatene i kontinuerlige funksjoner.

Klikk for å spille. Bilder generert i Stable Diffusion kan konverteres til rasjonelle CGI-mesh. Her ser vi resultatet av en bilde>CGI-arbeidsflyt som bruker Stable Zero 123. Kilde: https://www.youtube.com/watch?v=RxsssDD48Xc

3D Semantikk

Det generative AI-rommet gjør en distinksjon mellom 2D- og 3D-systemimplementeringer av visjon og generative systemer. For eksempel ansiktslandmerke-rammeverk, selv om de representerer 3D-objekter (ansikter) i alle tilfeller, gjør ikke alle nødvendigvis beregner adressebare 3D-koordinater.

Det populære FANAlign-systemet, som ble mye brukt i 2017-æras deepfake-arkitekturer (blant andre), kan håndtere begge disse tilnærmingene:

Ovenfor er 2D-landmerker generert basert på gjenkjente ansiktslinjer og -trekk. Nedenfor er de rasjonalisert i 3D X/Y/Z-rom. Kilde: https://github.com/1adrianb/face-alignment

Så, likesom ‘deepfake’ har blitt et tvetydig og kapret begrep, har ‘3D’ også blitt et forvirrende begrep i datavisjonsforskning.

For forbrukere har det vanligvis betydd stereo-aktiver media (slik som filmer der seeren må bruke spesielle briller); for visuelle effekter-utøvere og modellører gir det distinksjonen mellom 2D-kunst (slik som konseptuelle skisser) og mesh-baserte modeller som kan manipuleres i en ‘3D-program’ som Maya eller Cinema4D.

Men i datavisjon betyr det bare at et kartesisk koordinatsystem eksisterer et sted i latent rommet i modellen – ikke at det kan nødvendigvis adresse eller direkte manipuleres av en bruker; at minst ikke uten tredjeparts tolkende CGI-baserte systemer som 3DMM eller FLAME.

Derfor er begrepet diffusjon>3D uklart; ikke bare kan enhver type bilde (inkludert et ekte foto) brukes som inndata for å produsere en generativ CGI-modell, men det mindre tvetydige begrepet ‘mesh’ er mer passende.

Likevel, for å forsterke tvetydigheten, er diffusjon nødvendig for å tolke kildebildet til en mesh, i de fleste nye prosjektene. Så en bedre beskrivelse kan være bilde-til-mesh, mens bilde>diffusjon>mesh er en enda mer nøyaktig beskrivelse.

Men det er en vanskelig salgsargument på et styremøte eller i en pressemelding designet for å engasjere investorer.

Bevis på arkitektoniske dødpunkter

Selv sammenlignet med 2023, viser de siste 12 måneders avhandlinger en økende desperation rundt å fjerne de harde praktiske grensene for diffusjonsbasert generering.

Hovedhindringen er genereringen av narrativt og temporelt konsistent video, og opprettholdelse av en konsistent utseende av karakterer og objekter – ikke bare over forskjellige video klipp, men også over den korte løpetiden av en enkelt generert video klipp.

Den siste epokale innovasjonen i diffusjonsbasert syntese var introduksjonen av LoRA i 2022. Mens nyere systemer som Flux har forbedret noen av outlier-problemene, som Stable Diffusions tidligere evne til å gjengi tekst innhold i en generert bilde, og den generelle bildekvaliteten har forbedret, var de fleste avhandlinger jeg studerte i 2024 i realiteten bare flytter maten rundt på tallerkenen.

Disse dødpunktene har skjedd før, med Generative Adversarial Networks (GANs) og med Neural Radiance Fields (NeRF), som begge ikke levde opp til deres åpenbare innledende potensiale – og begge er nå i økende grad i bruk i mer konvensjonelle systemer (som bruk av NeRF i Stable Zero 123, se over).

Gaussian Splatting-forskningssving

Det syntes som om den rasterbaserte metoden 3D Gaussian Splatting (3DGS), som debuterte som en medisinsk bildebehandlingsteknikk i begynnelsen av 1990-årene, var klar til å overta autoencoder-baserte systemer for menneskebilde syntese utfordringer (slik som ansikts simulering og rekonstruksjon, samt identitetsoverføring).

I 2023-loftet ASH-papiret fullkropp 3DGS-mennesker, mens Gaussian Avatars tilbød massivt forbedret detalj (i forhold til autoencoder og andre konkurrerende metoder), sammen med imponerende kryss-reenactment.

I år, derimot, har vært relativt kort på slike gjennombruddsmomenter for 3DGS-menneskesyntese; de fleste avhandlinger som tok seg av problemet var enten avledede av ovennevnte arbeid eller klarte ikke å overgå deres evner.

I stedet har fokuset på 3DGS vært på å forbedre dens grunnleggende arkitektoniske mulighet, og har ført til en rekke avhandlinger som tilbyr forbedrede 3DGS ytre miljøer. Spesiell oppmerksomhet har vært rettet mot Samtidig lokaliserings- og kartlegging (SLAM) 3DGS-tilnærminger, i prosjekter som Gaussian Splatting SLAM, Splat-SLAM, Gaussian-SLAM, DROID-Splat, blant mange andre.

Prosjekter som forsøkte å fortsette eller utvide splat-basert menneskesyntese inkluderte MIGS, GEM, EVA, OccFusion, FAGhead, HumanSplat, GGHead, HGM, og Topo4D. Selv om det finnes andre enn disse, matchet ingen av disse utgangene den innledende innvirkningen av papirene som dukket opp i slutten av 2023.

Den ‘Weinstein-æra’ av testeksempler er i (langsom) nedgang

Forskning fra Sørøst-Asia generelt (og Kina spesielt) inkluderer ofte testeksempler som er problematiske å gjenpublisere i en gjennomgangsartikkel, fordi de inneholder materiale som er litt ‘spicy’.

Enten dette skyldes at forskere i denne delen av verden søker å skaffe oppmerksomhet for sine utgaver, er oppe til debatt; men i løpet av de siste 18 månedene har et økende antall papirer om generativ AI (bilde og/eller video) som standard brukt unge og avklede kvinner og jenter i prosjekt eksempler. Grenseoverskridende eksempler på dette inkluderer UniAnimate, ControlNext, og selv svært ‘tørre’ papirer som Evaluering av bevegelseskonsekvens ved Fréchet Video Bevegelsesavstand (FVMD).

Dette følger de generelle trendene i subreddits og andre samfunn som har samlet seg rundt Latent Diffusjonsmodeller (LDMs), hvor Regel 34 fortsatt er meget til stede.

Celebrity Face-Off

Dette type upassende eksempel overlapper med den økende erkjennelsen av at AI-prosesser ikke skal arbitrært utnytte kjendislikheter – spesielt i studier som ukritisk bruker eksempler som inkluderer attraktive kjendiser, ofte kvinner, og plasserer dem i tvilsomme sammenhenger.

Et eksempel er AnyDressing, som, foruten å inkludere svært unge anime-stil kvinner, også fritt bruker identiteter av klassiske kjendiser som Marilyn Monroe, og nåværende som Anne Hathaway (som har fordømt denne type bruk ganske høyt).

Arbitrær bruk av nåværende og ‘klassiske’ kjendiser er fortsatt ganske vanlig i papirer fra Sørøst-Asia, selv om praksisen er noe på nedgang. Kilde: https://crayon-shinchan.github.io/AnyDressing/

I vestlige papirer har denne praksisen vært merkbart på nedgang gjennom 2024, ledet av de større utgivelsene fra FAANG og andre høynivå forskningsinstitusjoner som OpenAI. Kritisk bevisst på den potensielle fremtidige rettssaken, ser disse store korporative aktørene ut til å bli stadig mindre villige til å representere selv fiktive fotorealistiske mennesker.

Selv om systemene de skaper (slik som Imagen og Veo2) åpenbart er i stand til å produsere slike utgang, trenden for eksempler fra vestlige generative AI-prosjekter går nå mot ‘cute’, Disney-fiede og ekstremt ‘sikre’ bilder og videoer.

Til tross for å fremheve Imagens evne til å skape ‘fotorealistisk’ utgang, er eksemplene som fremmes av Google Research vanligvis fantastiske, ‘familie’-vennlige – fotorealistiske mennesker unngås nøye, eller minimalt eksempler gitt. Kilde: https://imagen.research.google/

Ansikt-vasking

I den vestlige CV-litteraturen er denne uærlige tilnærmingen særlig tydelig for tilpassing systemer – metoder som kan skape konsistente likheter av en bestemt person over flere eksempler (dvs. som LoRA og den eldre DreamBooth).

Eksempler inkluderer ortogonalt visuelt innlejring, LoRA-Composer, Googles InstructBooth, og mange flere.

Googles InstructBooth setter søtheten til 11, selv om historien antyder at brukerne er mer interesserte i å skape fotorealistiske mennesker enn pelskledde eller fluffige karakterer. Kilde: https://sites.google.com/view/instructbooth

Likevel, økningen av ‘cute’-eksemplene sees i andre CV- og syntese-forskningsstråler, i prosjekter som Comp4D, V3D, DesignEdit, UniEdit, FaceChain (som innrømmer mer realistiske brukerforventninger på sin GitHub-side), og DPG-T2I, blant mange andre.

Lettheten med hvilken slike systemer (som LoRAs) kan skapes av hjemmebrukere med relativt beskjedne maskiner har ført til en eksplosjon av fritt nedlastbare kjendis-modeller på civit.ai-domene og -samfunn. Slike ulovlige bruksformer forblir mulige gjennom åpne kildekoder av arkitekturer som Stable Diffusion og Flux.

Selv om det ofte er mulig å bryte gjennom sikkerhetsfunksjonene i generative tekst-til-bilde (T2I) og tekst-til-video (T2V) systemer for å produsere materiale forbudt av en plattforms vilkår, lukker gapet mellom de begrensede evnene til de beste systemene (som RunwayML og Sora), og de ubegrensede evnene til de mer performante systemene (som Stable Video Diffusion, CogVideo og lokale installasjoner av Hunyuan), ikke virkelig lukker, som mange tror.

Snarere, disse proprietære og åpne kildekodesystemene, henholdsvis, truer med å bli like nytteløse: dyre og hyperskala T2V-systemer kan bli for hamstrung på grunn av frykt for rettssaker, mens mangelen på lisensieringsinfrastruktur og datasett-overvåking i åpne kildekodesystemer kan låse dem helt ute av markedet når strengere reguleringer innføres.

Først publisert tirsdag, 24. desember 2024