Een persoonlijke kijk op trends in computer vision literatuur in 2024

Ik volg de computer vision (CV) en image synthesis research scene op Arxiv en elders al ongeveer vijf jaar, dus trends worden over tijd zichtbaar en veranderen elk jaar van richting.

Daarom dacht ik dat het passend was om, nu 2024 ten einde loopt, te kijken naar enkele nieuwe of evoluerende kenmerken in Arxiv-inzendingen in de Computer Vision en Pattern Recognition sectie. Deze observaties, hoewel geïnformeerd door honderden uren studie van de scene, zijn strikt anecdotisch.

De voortdurende opkomst van Oost-Azië

Aan het einde van 2023 had ik opgemerkt dat de meerderheid van de literatuur in de ‘voice synthesis’ categorie afkomstig was uit China en andere regio’s in Oost-Azië. Aan het einde van 2024 moet ik (anekdotisch) constateren dat dit nu ook geldt voor de image en video synthesis research scene.

Dit betekent niet dat China en aangrenzende landen noodzakelijkerwijs altijd het beste werk produceren (inderdaad, er is enige bewijs voor het tegendeel); noch houdt het rekening met de grote waarschijnlijkheid in China (net als in het Westen) dat sommige van de meest interessante en krachtige nieuwe ontwikkelde systemen propriëtair zijn en uitgesloten van de onderzoeksliteratuur.

Maar het suggereert wel dat Oost-Azië de westerse wereld overtreft in volume, in deze zin. Wat dat waard is, hangt af van de mate waarin je gelooft in de levensvatbaarheid van Edison-stijl volharding, die meestal bewezen ondoeltreffend in het licht van onoverkomelijke obstakels.

Er zijn veel dergelijke roadblocks in generatieve AI, en het is niet gemakkelijk te weten welke kunnen worden opgelost door bestaande architectuur aan te pakken en welke opnieuw moeten worden overwogen vanuit het niets.

Hoewel onderzoekers uit Oost-Azië lijken een groter aantal computer vision papers te produceren, heb ik een toename van de frequentie van ‘Frankenstein’-stijl projecten opgemerkt – initiatieven die een mengeling van eerder werk vormen, met beperkte architecturale noviteit (of mogelijk alleen een ander type data).

Dit jaar leken een veel groter aantal Oost-Aziatische (voornamelijk Chinese of Chinese-samenwerkings) inzendingen quota-gedreven te zijn in plaats van kwaliteit-gedreven, waardoor de signaal-ruisverhouding in een al overvol veld aanzienlijk toenam.

Tegelijkertijd hebben veel meer Oost-Aziatische papers mijn aandacht en bewondering getrokken in 2024. Dus als dit allemaal een kwestie van aantallen is, faalt het niet – maar het is ook niet goedkoop.

Toename van het volume van inzendingen

Het volume van papers, afkomstig uit alle landen, is duidelijk toegenomen in 2024.

De meest populaire publicatiedag verschuift gedurende het jaar; op dit moment is het dinsdag, wanneer het aantal inzendingen voor de Computer Vision en Pattern Recognition sectie vaak rond de 300-350 bedraagt in één dag, in de ‘piek’ periodes (mei-augustus en oktober-december, d.w.z. conferentie-seizoen en ‘jaarlijkse quotum-deadline’ seizoen, respectievelijk).

Behalve mijn eigen ervaring, meldt Arxiv zelf een recordaantal inzendingen in oktober 2024, met 6000 totale nieuwe inzendingen, en de Computer Vision sectie de op één na meest ingediende sectie na Machine Learning.

Hoewel de Machine Learning sectie op Arxiv vaak wordt gebruikt als een ‘aanvullende’ of geaggregeerde super-categorie, pleit dit voor Computer Vision en Pattern Recognition als de meest ingediende Arxiv categorie.

De eigen statistieken van Arxiv laten duidelijk zien dat computerwetenschap de duidelijke leider is in inzendingen:

Computer Science (CS) domineert de inzendingenstatistieken op Arxiv in de afgelopen vijf jaar. Bron: https://info.arxiv.org/about/reports/submission_category_by_year.html

Stanford University’s 2024 AI Index, hoewel niet in staat om de meest recente statistieken te melden, benadrukt ook de opvallende toename van inzendingen van academische papers over machine learning in de afgelopen jaren:

Met cijfers die niet beschikbaar zijn voor 2024, toont Stanford’s rapport niettemin dramatisch de toename van de inzendingen van machine learning papers. Bron: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

Diffusion>Mesh Frameworks Proliferate

Een andere duidelijke trend die voor mij naar voren kwam, was een grote toename van papers die betrekking hebben op het gebruik van Latent Diffusion Models (LDM’s) als generators van mesh-gebaseerde, ‘traditionele’ CGI-modellen.

Projecten van dit type omvatten Tencent’s InstantMesh3D, 3Dtopia, Diffusion², V3D, MVEdit, en GIMDiffusion, onder vele andere.

Mesh generatie en verfijning via een Diffusion-gebaseerd proces in 3Dtopia. Bron: https://arxiv.org/pdf/2403.02234

Dit opkomende onderzoeksgebied kan worden gezien als een impliciete erkenning van de voortdurende onoverkomelijkheid van generatieve systemen zoals diffusiemodellen, die twee jaar geleden nog werden gepresenteerd als een potentieel vervangingsmiddel voor alle systemen die diffusie>mesh-modellen nu proberen te bevolken; diffusie wordt hiermee teruggebracht tot de rol van een instrument in technologieën en workflows die dateren uit dertig of meer jaar geleden.

Stability.ai, de oorsprong van het open-source Stable Diffusion model, heeft zojuist Stable Zero123 uitgebracht, dat onder andere een Neural Radiance Fields (NeRF) interpretatie van een AI-gegenereerde afbeelding kan gebruiken als een brug om een expliciete, mesh-gebaseerde CGI-model te creëren dat kan worden gebruikt in CGI-arenas zoals Unity, in videogames, augmented reality en in andere platforms die expliciete 3D-coördinaten vereisen, in tegenstelling tot de impliciete (verborgen) coördinaten van continue functies.

Klik om af te spelen. Afbeeldingen gegenereerd in Stable Diffusion kunnen worden omgezet in rationele CGI-meshes. Hier zien we het resultaat van een image>CGI-workflow met behulp van Stable Zero 123. Bron: https://www.youtube.com/watch?v=RxsssDD48Xc

3D Semantiek

De generatieve AI-ruimte maakt onderscheid tussen 2D- en 3D-systemenimplementaties van visie en generatieve systemen. Bijvoorbeeld, facial landmarking frameworks, hoewel 3D-objecten (gezichten) vertegenwoordigend in alle gevallen, berekenen niet allemaal noodzakelijkerwijs adresseerbare 3D-coördinaten.

De populaire FANAlign systeem, breed gebruikt in 2017-era deepfake architectuur (onder andere), kan beide benaderingen accommoderen:

Boven, 2D-landmarks worden gegenereerd op basis van alleen herkende gezichtslijnen en kenmerken. Onder, worden ze gerationaliseerd in 3D X/Y/Z-ruimte. Bron: https://github.com/1adrianb/face-alignment

Net zoals ‘deepfake’ een dubbelzinnige en gehijackte term is geworden, is ‘3D’ eveneens een verwarrende term in computer vision onderzoek.

Voor consumenten heeft het meestal stereo-geactiveerde media betekend (zoals films waarbij de kijker speciale bril moet dragen); voor visuele effectenbeoefenaars en modelleurs biedt het het onderscheid tussen 2D-kunst (zoals conceptuele schetsen) en mesh-gebaseerde modellen die kunnen worden gemanipuleerd in een ‘3D-programma’ zoals Maya of Cinema4D.

Maar in computer vision betekent het simpelweg dat een Cartesiaans coördinatensysteem ergens in de latent ruimte van het model bestaat – niet dat het noodzakelijkerwijs kan worden geadresseerd of direct gemanipuleerd door een gebruiker; tenminste, niet zonder derde partij interpretatieve CGI-gebaseerde systemen zoals 3DMM of FLAME.

Derhalve is het concept van diffusie>3D onnauwkeurig; niet alleen kan elk type afbeelding (inclusief een echte foto) worden gebruikt als invoer om een generatief CGI-model te produceren, maar de minder dubbelzinnige term ‘mesh’ is meer geschikt.

Maar om de dubbelzinnigheid te verergeren, is diffusie nodig om de bronafbeelding te interpreteren in een mesh, in de meeste opkomende projecten. Een betere beschrijving zou image-to-mesh zijn, terwijl image>diffusion>mesh een nog nauwkeurigere beschrijving is.

Maar dat is een moeilijke verkoop bij een bestuursvergadering of in een publiciteitsuitgave ontworpen om investeerders te betrekken.

Bewijs van architecturale impasses

Zelfs in vergelijking met 2023, vertoont de oogst van papers van de afgelopen 12 maanden een groeiende wanhoop rond het verwijderen van de harde praktische beperkingen op diffusie-gebaseerde generatie.

Het belangrijkste obstakel blijft de generatie van narratief en temporeel consistente video, en het behoud van een consistente verschijning van personages en objecten – niet alleen over verschillende videoclips, maar zelfs over de korte looptijd van een enkele gegenereerde videoclip.

De laatste epochale innovatie in diffusie-gebaseerde synthese was de introduktie van LoRA in 2022. Terwijl nieuwere systemen zoals Flux enkele van de outlier-problemen hebben verbeterd, zoals de voormalige onmogelijkheid van Stable Diffusion om tekstinhoud binnen een gegenereerde afbeelding te reproduceren, en de algehele beeldkwaliteit is verbeterd, waren de meeste papers die ik in 2024 bestudeerde, in wezen gewoon het eten dat rondgeschoven werd op het bord.

Deze impasses zijn eerder voorgekomen, met Generatieve Adversarial Networks (GAN’s) en met Neurale Radiance Fields (NeRF), die beiden niet hebben voldaan aan hun aanvankelijke potentieel – en die beiden steeds vaker worden gebruikt in meer conventionele systemen (zoals het gebruik van NeRF in Stable Zero 123, zie hierboven). Dit lijkt ook te gebeuren met diffusiemodellen.

Gaussian Splatting Onderzoeks Pivots

Het leek er aan het einde van 2023 op dat de rasterisatiemethode 3D Gaussian Splatting (3DGS), die in de vroege jaren negentig debuteerde als een medische beeldvormingstechniek, plotseling zou overtreffen autoencoder-gebaseerde systemen van menselijke beeldsynthese-uitdagingen (zoals gezichtssimulatie en -recreatie, evenals identiteitsOverdracht).

De 2023 ASH-paper beloofde volledige lichaam 3DGS-mensen, terwijl Gaussian Avatars aanzienlijk verbeterde details boden (in vergelijking met autoencoder en andere concurrerende methoden), samen met indrukwekkende cross-reenactment.

Dit jaar is echter relatief schaars aan dergelijke doorbraakmomenten voor 3DGS-mensensynthese; de meeste papers die dit probleem aanpakten, waren ofwel afgeleid van het bovengenoemde werk, of slaagden er niet in hun capaciteiten te overtreffen.

In plaats daarvan is de nadruk op 3DGS gelegd op het verbeteren van de fundamentele architecturale haalbaarheid, wat heeft geleid tot een reeks papers die verbeterde 3DGS-buitenkant-omgevingen bieden. Bijzondere aandacht is besteed aan Simultaneous Localization and Mapping (SLAM) 3DGS-benaderingen, in projecten zoals Gaussian Splatting SLAM, Splat-SLAM, Gaussian-SLAM, DROID-Splat, onder vele anderen.

Die projecten die wel probeerden om door te gaan of uit te breiden met splat-gebaseerde mensensynthese, omvatten MIGS, GEM, EVA, OccFusion, FAGhead, HumanSplat, GGHead, HGM, en Topo4D. Hoewel er nog meer zijn, hebben geen van deze uitstapjes het initiële effect van de papers die eind 2023 verschenen, geëvenaard.

Het ‘Weinstein-tijdperk’ van testmonsters is in (langzame) neergang

Onderzoek uit Zuidoost-Azië in het algemeen (en China in het bijzonder) bevat vaak testvoorbeelden die problematisch zijn om te publiceren in een reviewartikel, omdat ze materiaal bevatten dat een beetje ‘pittig’ is.

Of dit komt doordat onderzoekers in die regio van de wereld proberen aandacht te trekken voor hun output, is onderwerp van discussie; maar gedurende de afgelopen 18 maanden zijn een toenemend aantal papers over generatieve AI (beeld en/of video) overgegaan op het gebruik van jonge en schaars geklede vrouwen en meisjes in projectvoorbeelden. Grensgevallen van dit type omvatten UniAnimate, ControlNext, en zelfs zeer ‘droge’ papers zoals Evaluating Motion Consistency by Fréchet Video Motion Distance (FVMD).

Dit volgt de algemene trends van subreddits en andere gemeenschappen die zijn ontstaan rond Latent Diffusion Models (LDM’s), waar Rule 34 nog steeds erg actueel is.

Celebrity Face-Off

Dit type ongepaste voorbeeld overlapt met de groeiende erkenning dat AI-processen niet willekeurig beroemdheden mogen exploiteren – met name in studies die onkritisch voorbeelden gebruiken van aantrekkelijke beroemdheden, vaak vrouwelijk, en deze plaatsen in twijfelachtige contexten.

Een voorbeeld is AnyDressing, dat, naast het gebruik van zeer jonge anime-stijl vrouwelijke personages, ook vrijelijk de identiteiten van klassieke beroemdheden zoals Marilyn Monroe gebruikt, en hedendaagse beroemdheden zoals Anne Hathaway (die dit soort gebruik zeer luidkeels heeft veroordeeld).

Willekeurig gebruik van huidige en ‘klassieke’ beroemdheden is nog steeds vrij algemeen in papers uit Zuidoost-Azië, hoewel de praktijk een beetje in neergang is. Bron: https://crayon-shinchan.github.io/AnyDressing/

In westerse papers is deze specifieke praktijk aanzienlijk in neergang in 2024, geleid door de grotere releases van FAANG en andere hoogwaardige onderzoeksinstellingen zoals OpenAI. Kritisch bewust van het potentieel voor toekomstige rechtszaken, lijken deze grote corporate spelers steeds minder bereid om zelfs fictieve fotorealistische personages voor te stellen.

Hoewel de systemen die ze creëren (zoals Imagen en Veo2) duidelijk in staat zijn om dergelijke output te produceren, zijn de voorbeelden van westerse generatieve AI-projecten nu meer gericht op ‘schattige’, Disneyfied en extreem ‘veilige’ beelden en video’s.

Ondanks het feit dat Imagen in staat is om ‘fotorealistische’ output te produceren, zijn de voorbeelden die door Google Research worden gepromoot, meestal fantastisch, ‘familie’ materiaal – fotorealistische mensen worden zorgvuldig vermeden of er worden minimale voorbeelden gegeven. Bron: https://imagen.research.google/

Face-Washing

In de westerse CV-literatuur is deze oneerlijke benadering bijzonder zichtbaar voor aanpassing systemen – methoden die in staat zijn om consistente gelijkenissen van een specifiek persoon te creëren over meerdere voorbeelden (d.w.z. zoals LoRA en de oudere DreamBooth).

Voorbeelden zijn orthogonale visuele insluiting, LoRA-Composer, Google’s InstructBooth, en vele anderen.

Google’s InstructBooth zet de schattigheidsfactor op 11, hoewel de geschiedenis suggereert dat gebruikers meer geïnteresseerd zijn in het creëren van fotorealistische mensen dan in schattige of pluizige personages. Bron: https://sites.google.com/view/instructbooth

De toename van het ‘schattige voorbeeld’ is ook zichtbaar in andere CV- en syntheseonderzoeksgebieden, in projecten zoals Comp4D, V3D, DesignEdit, UniEdit, FaceChain (die op de GitHub-pagina toegeeft aan realistischere gebruikersverwachtingen), en DPG-T2I, onder vele anderen.

De gemakkelijkheid waarmee dergelijke systemen (zoals LoRAs) kunnen worden gemaakt door thuisgebruikers met relatief bescheiden hardware, heeft geleid tot een explosie van gratis te downloaden beroemdhedenmodellen op het civit.ai-domein en -gemeenschap. Dergelijk ongeoorloofd gebruik blijft mogelijk door het opensourcen van architectuur zoals Stable Diffusion en Flux.

Hoewel het vaak mogelijk is om door de beveiligingsfuncties van generatieve tekst-naar-afbeelding (T2I) en tekst-naar-video (T2V) systemen heen te breken om materiaal te produceren dat door een platform verboden is, sluit de kloof tussen de beperkte capaciteiten van de beste systemen (zoals RunwayML en Sora) en de onbeperkte capaciteiten van de enkel presterende systemen (zoals Stable Video Diffusion, CogVideo en lokale implementaties van Hunyuan), niet echt dicht; veel mensen denken van wel.

Integendeel, deze propriëtaire en open-source systemen dreigen even nutteloos te worden: dure en hyperschaalbare T2V-systemen kunnen excessief worden gehinderd door angst voor rechtszaken, terwijl het ontbreken van licentie-infrastructuur en dataset-toezicht in open-source systemen hen volledig uit de markt kan sluiten als strengere regelgeving van kracht wordt.

Publicatie op dinsdag 24 december 2024