En personlig syn på datorseende-litteraturtrender 2024

Jag har kontinuerligt följt datorseende- (CV) och bildsyntesforsknings scenen på Arxiv och andra platser i cirka fem år, så trender blir tydliga över tid, och de skiftar i nya riktningar varje år.

Därför, när 2024 närmar sig sitt slut, tyckte jag att det var lämpligt att titta på några nya eller utvecklande egenskaper i Arxiv-insändningar i avdelningen för datorseende och mönsterigenkänning section. Dessa observationer, som är informerade av hundratals timmar av studier av scenen, är strikt anekdotiska.

Den pågående uppgången av Östasien

Vid slutet av 2023 hade jag märkt att majoriteten av litteraturen i kategorin “röstsyntes” kom från Kina och andra regioner i Östasien. Vid slutet av 2024 måste jag observera (anekdotiskt) att detta nu också gäller för bild- och videosyntesforsknings scenen.

Detta betyder inte att Kina och angränsande länder nödvändigtvis alltid producerar det bästa arbetet (i själva verket finns det viss bevis för motsatsen); och det tar inte hänsyn till den höga sannolikheten i Kina (liksom i väst) att vissa av de mest intressanta och kraftfulla nya systemen som utvecklas är proprietära och exkluderade från forskningslitteraturen.

Men det tyder på att Östasien slår väst i volym, i detta avseende. Vad det är värt beror på i vilken utsträckning du tror på livskraften i Edisonska uthållighet, som vanligtvis visar sig vara ineffektiv i mötet med oövervinnliga hinder.

Det finns många sådana vägspärrar i generativ AI, och det är inte lätt att veta vilka som kan lösas genom att adressera befintliga arkitekturer, och vilka som kommer att behöva omprövas från scratch.

Även om forskare från Östasien tycks producera ett större antal datorseendepapper, har jag märkt en ökning av frekvensen av “Frankensteins”-liknande projekt – initiativ som utgör en sammanslagning av tidigare arbeten, medan de lägger till begränsad arkitektonisk nyhet (eller möjligen bara en annan typ av data).

I år tycktes ett betydligt större antal östasiatiska (främst kinesiska eller kinesiska involverade samarbeten) insändningar vara kvantitetsdrivna snarare än meritbaserade, vilket betydligt ökade signal-till-brus-förhållandet i ett redan övertecknat område.

Samtidigt har ett större antal östasiatiska papper också väckt min uppmärksamhet och beundran under 2024. Så om detta är ett nummerspel, så fungerar det inte – men det är inte heller billigt.

Ökande volym av insändningar

Volymen av papper, över alla ursprungsländer, har uppenbarligen ökat under 2024.

Den mest populära publiceringsdagen skiftar under året; just nu är det tisdag, när antalet insändningar till avdelningen för datorseende och mönsterigenkänning ofta är runt 300-350 på en enda dag, under “toppperioderna” (maj-augusti och oktober-december, dvs. konferenssäsong och “årlig kvotdeadline”-säsong, respektive).

Förutom min egen erfarenhet rapporterar Arxiv själv om en rekordstort antal insändningar i oktober 2024, med 6000 totala nya insändningar, och datorseendeavdelningen som den näst mest insända avdelningen efter maskinlärning.

Men eftersom maskinlärningsavdelningen på Arxiv ofta används som en “ytterligare” eller sammanfogad superkategori, talar detta för att datorseende och mönsterigenkänning faktiskt är den mest insända Arxiv-kategorin.

Arxivs egna statistik visar tydligt att datavetenskap är den tydliga ledaren i insändningar:

Datavetenskap (CS) dominerar insändningsstatistik på Arxiv under de senaste fem åren. Källa: https://info.arxiv.org/about/reports/submission_category_by_year.html

Stanford Universitys 2024 AI-index, som inte kan rapportera om de senaste statistiken ännu, betonar också den anmärkningsvärda ökningen av insändningar av akademiska papper om maskinlärning under de senaste åren:

Med siffror som inte är tillgängliga för 2024 visar Stanfords rapport ändå dramatiskt den ökande volymen av insändningar för maskinlärningspapper. Källa: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

Diffusion>Mesh-ramverk sprids

En annan tydlig trend som framkom för mig var en stor uppgång i papper som handlar om att utnyttja Latenta Diffusionsmodeller (LDM) som genererare av mesh-baserade, “traditionella” CGI-modeller.

Projekt av denna typ inkluderar Tencents InstantMesh3D, 3Dtopia, Diffusion², V3D, MVEdit, och GIMDiffusion, bland många andra liknande erbjudanden.

Mesh-generering och -förfining via en diffusionsbaserad process i 3Dtopia. Källa: https://arxiv.org/pdf/2403.02234

Denna framväxande forskningssträng kan ses som en tyst erkänsla av den pågående olösligheten hos generativa system som diffusionsmodeller, som för bara två år sedan sågs som en potentiell ersättning för alla system som diffusions>mesh-modellerna nu försöker att befolka; och som nu reducerar diffusionsmodellerna till rollen som ett verktyg i teknologier och arbetsflöden som går tillbaka trettio eller fler år.

Stability.ai, ursprunget till den öppna källkoden Stable Diffusion-modellen, har just släppt Stable Zero123, som kan, bland annat, använda en Neural Radiance Fields (NeRF)-tolkning av en AI-genererad bild som en bro för att skapa en explicit, mesh-baserad CGI-modell som kan användas i CGI-arenor som Unity, i videospel, förstärkt verklighet och i andra plattformar som kräver explicita 3D-koordinater, till skillnad från de implicita (dolda) koordinaterna i kontinuerliga funktioner.

Klicka för att spela. Bilder genererade i Stable Diffusion kan konverteras till rationella CGI-nät. Här ser vi resultatet av en bild>CGI-arbetsflöde med hjälp av Stable Zero 123. Källa: https://www.youtube.com/watch?v=RxsssDD48Xc

3D-semantik

Den generativa AI-rymden gör en distinktion mellan 2D- och 3D-systemimplementeringar av vision och generativa system. Till exempel ansiktslandmärkesramverk, som representerar 3D-objekt (ansikten) i alla fall, beräknar inte alltid adresserbara 3D-koordinater.

Det populära FANAlign-systemet, som användes i 2017 års deepfake-arkitekturer (bland annat), kan hantera båda dessa tillvägagångssätt:

Ovan, 2D-landmärken genereras baserat enbart på igenkända ansiktslinjament och funktioner. Nedan, de rationaliseras till 3D X/Y/Z-utrymme. Källa: https://github.com/1adrianb/face-alignment

Så, liksom “deepfake” har blivit ett tvetydigt och kapad term, har “3D” också blivit en förvirrande term i datorseende-forskning.

För konsumenter har det vanligtvis betytt stereoaktiverad media (såsom filmer där tittaren måste bära speciella glasögon); för visuella effekter och modelleringar utgör det skillnaden mellan 2D-konst (såsom konceptuella skisser) och mesh-baserade modeller som kan manipuleras i ett “3D-program” som Maya eller Cinema4D.

Men i datorseende betyder det helt enkelt att ett Cartesian-koordinatsystem finns någonstans i latent utrymme i modellen – inte att det nödvändigtvis kan adresseras eller direkt manipuleras av en användare; åtminstone inte utan tredjeparts tolkningsbaserade CGI-system som 3DMM eller FLAME.

Därför är begreppet diffusion>3D otillräckligt; inte bara kan vilken typ av bild (inklusive en riktig foto) användas som ingång för att producera en generativ CGI-modell, utan den mindre tvetydiga termen “mesh” är mer lämplig.

Men för att förvärra tvetydigheten behövs diffusionsmodell för att tolka källbilden till en mesh, i de flesta framväxande projekt. Så en bättre beskrivning kan vara bild-till-mesh, medan bild>diffusion>mesh är en ännu mer exakt beskrivning.

Men det är en svår försäljning på ett styrelsemöte eller i en pressrelease som är utformad för att engagera investerare.

Bevis på arkitektoniska dödlägen

Även jämfört med 2023, visar de senaste 12 månadernas skörd av papper en växande desperation kring att ta bort de hårda praktiska gränserna för diffusionsbaserad generering.

Den viktigaste hinderstenen kvarstår genereringen av narrativt och temporalt konsekvent video, och att upprätthålla en konsekvent utseende av karaktärer och föremål – inte bara över olika videoklipp, utan även över den korta löptiden för en enda genererad videoklipp.

Den senaste epokala innovationen inom diffusionsbaserad syntes var introduktionen av LoRA 2022. Medan nyare system som Flux har förbättrat vissa av de avvikande problemen, såsom Stable Diffusions tidigare oförmåga att reproducera textinnehåll i en genererad bild, och den övergripande bildkvaliteten har förbättrats, var de flesta papper jag studerade 2024 i princip bara flyttade maten runt på tallriken.

Dessa dödlägen har inträffat tidigare, med Generativa Adversarial Networks (GAN) och med Neural Radiance Fields (NeRF), som båda misslyckades med att infria sitt till synes initiala potential – och båda som nu alltmer används i mer konventionella system (såsom användningen av NeRF i Stable Zero 123, se ovan). Detta verkar också hända med diffusionsmodeller.

Gaussisk splattning-forskning svänger

Det verkade som att slutet av 2023 att rasteriseringsmetoden 3D Gaussisk Splattning (3DGS), som debuterade som en medicinsk avbildningsteknik i början av 1990-talet, var på väg att plötsligt överträffa autoencoder-baserade system för mänsklig bildsyntes utmaningar (såsom ansiktssimulering och återställning, samt identitetstransfer).

2023 års ASH-papper lovade fullkropps 3DGS-människor, medan Gaussiska Avatars erbjöd kraftigt förbättrad detalj (jämfört med autoencoder och andra konkurrerande metoder), tillsammans med imponerande cross-reenactment.

Men i år har det varit relativt kort på sådana genombrottsögonblick för 3DGS-mänsklig syntes; de flesta papper som angrep problemet var antingen derivat av ovanstående arbeten eller misslyckades med att överträffa deras förmågor.

Istället har fokus på 3DGS varit på att förbättra dess grundläggande arkitektoniska genomförbarhet, vilket har lett till en mängd papper som erbjuder förbättrade 3DGS-yttre miljöer. Särskild uppmärksamhet har ägnats åt Simultaneous Localization and Mapping (SLAM) 3DGS-tillvägagångssätt, i projekt som Gaussisk Splattning SLAM, Splat-SLAM, Gaussisk-SLAM, DROID-Splat, bland många andra.

De projekt som försökte fortsätta eller utöka splattbaserad mänsklig syntes inkluderade MIGS, GEM, EVA, OccFusion, FAGhead, HumanSplat, GGHead, HGM, och Topo4D. Även om det finns fler utöver dessa, matchade ingen av dessa utgångar den initiala inverkan av de papper som dök upp i slutet av 2023.

Den “Weinstein-eran” av testexempel är i (långsam) nedgång

Forskning från Sydostasien i allmänhet (och Kina i synnerhet) tenderar ofta att innehålla testexempel som är problematiska att återpublicera i en översiktsartikel, eftersom de innehåller material som är lite “späckat”.

Om detta beror på att forskare i den delen av världen försöker skapa uppmärksamhet för sin utgång är öppet för debatt; men under de senaste 18 månaderna har ett ökande antal papper om generativ AI (bild och/eller video) som standard använt unga och lättklädda kvinnor och flickor i projektexempel. Gränsöverskridande exempel på detta inkluderar UniAnimate, ControlNext, och till och med mycket “torra” papper som Evaluating Motion Consistency by Fréchet Video Motion Distance (FVMD).

Detta följer de allmänna trenderna för subreddits och andra samhällen som har samlats kring Latenta Diffusionsmodeller (LDM), där regel 34 fortfarande är mycket närvarande.

Celebrity Face-Off

Denna typ av olämpligt exempel överlappar med den växande erkänslan att AI-processer inte bör godtyckligt utnyttja kändislikheter – särskilt i studier som okritiskt använder exempel som innehåller attraktiva kändisar, ofta kvinnor, och placerar dem i tvivelaktiga sammanhang.

Ett exempel är AnyDressing, som, förutom att den innehåller mycket unga anime-liknande kvinnliga karaktärer, också fritt använder identiteter av klassiska kändisar som Marilyn Monroe, och nuvarande som Anne Hathaway (som har fördömt denna typ av användning ganska högljutt).

Godtycklig användning av nuvarande och “klassiska” kändisar är fortfarande ganska vanligt i papper från Sydostasien, även om praktiken är något på nedgång. Källa: https://crayon-shinchan.github.io/AnyDressing/

I västerländska papper har denna specifika praktik varit tydligt på nedgång under 2024, lett av de större utgåvorna från FAANG och andra högnivåforskningsorgan som OpenAI. Kritiskt medvetna om den potentiella framtida rättsliga processen, verkar dessa stora företagsaktörer alltmer ovilliga att representera även fiktiva fotorealistiska människor.

Även om systemen de skapar (såsom Imagen och Veo2) tydligt är kapabla till sådant utmatning, tenderar exempel från västerländska generativa AI-projekt nu att gå mot “söta”, Disney-liknande och extremt “säkra” bilder och videor.

Trots att Imagen har kapacitet att skapa “fotorealistisk” utmatning, är proverna som främjas av Google Research vanligtvis fantastiska, “familjevänliga” – fotorealistiska människor undviks noggrant, eller minimala exempel tillhandahålls. Källa: https://imagen.research.google/

Ansiktsrensning

I västerländska CV-litteraturen är denna oärliga tillvägagångssätt särskilt tydlig för anpassningssystem – metoder som kan skapa konsekventa likheter av en specifik person över flera exempel (dvs. som LoRA och den äldre DreamBooth).

Exempel inkluderar ortogonala visuella inbäddningar, LoRA-Composer, Googles InstructBooth, och många fler.

Googles InstructBooth vrider sötighetsfaktorn upp till 11, även om historien tyder på att användare är mer intresserade av att skapa fotorealistiska människor än pälsiga eller fluffiga karaktärer. Källa: https://sites.google.com/view/instructbooth

Men den ökande trenden av “söta exempel” ses i andra CV- och syntesforskningssträngar, i projekt som Comp4D, V3D, DesignEdit, UniEdit, FaceChain (som medger mer realistiska användarväntningar på sin GitHub-sida), och DPG-T2I, bland många andra.

Lättheten med vilken sådana system (såsom LoRAs) kan skapas av hemmaanvändare med relativt modest hårdvara har lett till en explosion av fritt nedladdningsbara kändismodeller på civit.ai-domänen och samhället. Sådan olaglig användning förblir möjlig genom öppen källkod av arkitekturer som Stable Diffusion och Flux.

Även om det ofta är möjligt att bryta igenom säkerhetsfunktionerna i generativa text-till-bild (T2I) och text-till-video (T2V)-system för att producera material som är förbjudet av en plattforms användarvillkor, är gapet mellan de begränsade förmågorna hos de bästa systemen (såsom RunwayML och Sora) och de obegränsade förmågorna hos de mer presterande systemen (såsom Stable Video Diffusion, CogVideo och lokala distributioner av Hunyuan), är inte riktigt på väg att stängas, som många tror.

Istället hotar dessa proprietära och öppen källkods-system, respektive, att bli lika värdelösa: dyra och hyperskala T2V-system kan bli alltför hämmade på grund av rädsla för rättsliga processer, medan bristen på licensieringsinfrastruktur och datatillsyn i öppen källkod kan låsa dem helt utanför marknaden när mer stränga regler träder i kraft.

Publicerad första gången tisdag, 24 december 2024