O perspectivă personală asupra tendințelor literaturii de vedere computerizată în 2024

Am urmărit în mod constant scena de cercetare a viziunii calculate (CV) și a sintezei de imagini la Arxiv și în alte locuri, timp de aproximativ cinci ani, astfel încât tendințele devin evidente în timp și se schimbă în direcții noi în fiecare an.

Prin urmare, pe măsură ce 2024 se apropie de sfârșit, am considerat că este oportun să examinez unele caracteristici noi sau în evoluție în depunerile Arxiv în secțiunea Viziunea calculată și recunoașterea modelelor secțiune. Aceste observații, deși informate de sute de ore de studiu a scenei, sunt strict anecdotice.

Creșterea continuă a Asiei de Est

La sfârșitul anului 2023, observasem că majoritatea literaturii din categoria “sinteză de voce” provenea din China și alte regiuni din Asia de Est. La sfârșitul anului 2024, trebuie să observ (anecdotic) că acest lucru se aplică acum și scenei de cercetare a sintezei de imagini și video.

Aceasta nu înseamnă că China și țările adiacente produc întotdeauna cea mai bună muncă (într-adevăr, există unele dovezi contrare); nici nu ține cont de probabilitatea ridicată în China (la fel ca și în Occident) că unele dintre cele mai interesante și puternice sisteme noi în dezvoltare sunt proprietare și excluse din literatura de cercetare.

Dar sugerează că Asia de Est depășește Occidentul în ceea ce privește volumul, în acest sens. Ce valoare are depinde de măsura în care credeți în viabilitatea persistenței lui Edison, care de obicei se dovedește ineficientă în fața obstacolelor intractabile.

Există multe astfel de blocaje în inteligența artificială generativă, și nu este ușor de știut care dintre ele pot fi rezolvate prin abordarea arhitecturilor existente și care vor trebui să fie reconsiderate de la zero.

Deși cercetătorii din Asia de Est par să producă un număr mai mare de lucrări de viziune calculată, am observat o creștere a frecvenței proiectelor de tip “Frankenstein” – inițiative care constituie o combinare a lucrărilor anterioare, cu o noutate arhitecturală limitată (sau poate doar un tip diferit de date).

Acest an, un număr mult mai mare de intrări din Asia de Est (în special colaborări chineze sau chinezo-implicate) au părut a fi conduse de cote, mai degrabă decât de merite, crescând semnificativ raportul semnal-zgomot într-un domeniu deja supraîncărcat.

În același timp, un număr mai mare de lucrări din Asia de Est au atras și atenția și admirația mea în 2024. Așadar, dacă acesta este un joc de numere, nu este un eșec – dar nici nu este ieftin.

Crescerea volumului de depuneri

Volumul de lucrări, din toate țările de origine, a crescut evident în 2024.

Ziua de publicare cea mai populară se schimbă de-a lungul anului; în prezent, este marțea, când numărul de depuneri în secțiunea Viziunea calculată și recunoașterea modelelor este adesea de aproximativ 300-350 într-o singură zi, în perioadele de vârf (mai-august și octombrie-decembrie, adică sezonul conferințelor și “sezonul cotei anuale”, respectiv).

Dincolo de experiența mea, Arxiv însuși raportează un număr record de depuneri în octombrie 2024, cu 6000 de noi depuneri totale, și secțiunea Viziunea calculată fiind a doua cea mai depusă secțiune după Învățarea automată.

Cu toate acestea, deoarece secțiunea Învățarea automată de la Arxiv este adesea utilizată ca o “categorie suplimentară” sau agregată, acest lucru argumentează că Viziunea calculată și recunoașterea modelelor este de fapt cea mai depusă categorie Arxiv.

Statisticii proprii ale Arxiv arată cu siguranță că știința calculatoarelor este liderul clar în ceea ce privește depunerile:

Știința calculatoarelor (CS) domină statisticile de depunere la Arxiv în ultimii cinci ani. Sursă: https://info.arxiv.org/about/reports/submission_category_by_year.html

Indexul de inteligență artificială al Universității Stanford din 2024, deși nu poate raporta încă statistici recente, subliniază și el creșterea remarcabilă a depunerilor de lucrări academice despre învățarea automată în ultimii ani:

Cu cifre nu disponibile pentru 2024, raportul Stanford arată totuși dramatic creșterea volumului de depuneri pentru lucrări despre învățarea automată. Sursă: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

Diffusion>Mesh Frameworks proliferează

O altă tendință clară care a apărut pentru mine a fost o creștere semnificativă a lucrărilor care se ocupă de utilizarea modelelor de difuziune latente (LDM) ca generatoare de modele de rețea tradiționale, bazate pe CGI.

Proiecte de acest tip includ InstantMesh3D de la Tencent, 3Dtopia, Diffusion², V3D, MVEdit și GIMDiffusion, printre multe alte oferte similare.

Generarea și rafinarea rețelei prin procesul de difuziune în 3Dtopia. Sursă: https://arxiv.org/pdf/2403.02234

Acestă direcție de cercetare emergentă poate fi considerată o concesie tacită a intractabilității continue a sistemelor generative, cum ar fi modelele de difuziune, care doar cu doi ani în urmă erau considerate un posibil substitut pentru toate sistemele pe care modelele de difuziune>rețea le caută acum să le populeze; relegând difuzia la rolul de instrument în tehnologii și fluxuri de lucru care datează cu treizeci de ani sau mai mult.

Stability.ai, originatorii modelului de difuziune deschis Stable Diffusion, au lansat recent Stable Zero123, care poate, printre altele, utiliza o interpretare a unui model de difuziune neurală a unui câmp de radianță (NeRF) ca punte pentru a crea un model de rețea explicit, bazat pe CGI, care poate fi utilizat în arene de CGI, cum ar fi Unity, în jocuri video, realitate augmentată și în alte platforme care necesită coordonate 3D explicite, în contrast cu coordonatele implicite (ascunse) ale funcțiilor continue.

Apăsați pentru a reda. Imaginile generate în Stable Diffusion pot fi convertite în rețele de CGI raționale. Aici vedem rezultatul unui flux de lucru imagine>CGI folosind Stable Zero 123. Sursă: https://www.youtube.com/watch?v=RxsssDD48Xc

Semantica 3D

Spatiul inteligenței artificiale generative face o distincție între sistemele 2D și 3D de implementare a viziunii și a sistemelor generative. De exemplu, cadrele de repere faciale, deși reprezintă obiecte 3D (fețe) în toate cazurile, nu toate calculează coordonate 3D adresabile.

Sistemul popular FANAlign, utilizat pe scară largă în arhitecturile de deepfake din 2017 (printre altele), poate gestiona ambele abordări:

Mai sus, reperele 2D sunt generate pe baza liniamentelor și caracteristicilor recunoscute ale feței. Mai jos, ele sunt raționalizate în spațiul 3D X/Y/Z. Sursă: https://github.com/1adrianb/face-alignment

Așadar, la fel cum “deepfake” a devenit un termen ambiguu și deturnat, “3D” a devenit, de asemenea, un termen confuz în cercetarea viziunii calculate.

Pentru consumatori, a însemnat de obicei media stereo (cum ar fi filmele în care spectatorul trebuie să poarte ochelari speciali); pentru practicienii de efecte vizuale și modelatori, oferă distincția dintre arta 2D (cum ar fi schițele conceptuale) și modelele de rețea care pot fi manipulate într-un program “3D” precum Maya sau Cinema4D.

În viziunea calculată, însă, pur și simplu înseamnă că un sistem de coordonate cartezian există undeva în spațiul latent al modelului – nu că acesta poate fi adresat sau manipulat direct de un utilizator; cel puțin, nu fără sisteme interpretative de CGI de tipul 3DMM sau FLAME.

Prin urmare, noțiunea de difuziune>3D este inexactă; nu numai că orice tip de imagine (inclusiv o fotografie reală) poate fi utilizată ca intrare pentru a produce un model de rețea generativ CGI, dar termenul mai puțin ambiguu “rețea” este mai adecvat.

Cu toate acestea, pentru a complica ambiguitatea, difuzia este necesară pentru a interpreta fotografia sursă într-o rețea, în majoritatea proiectelor emergente. Așadar, o descriere mai bună ar fi imagine>rețea, în timp ce imagine>difuziune>rețea este o descriere și mai precisă.

Dar acesta este un vânzător dificil la o ședință a consiliului de administrație sau într-un comunicat de presă destinat investitorilor.

Dovezi ale impasului arhitectural

Chiar și în comparație cu 2023, recolta de lucrări din ultimii 12 luni prezintă o creștere a disperării în jurul eliminării limitele practice dure ale generării bazate pe difuziune.

Principala piedică rămâne generarea de videoclipuri narative și temporale coerente, și menținerea unei aparențe consistente a personajelor și obiectelor – nu numai în diferite clipuri video, ci și în timpul scurt al unui singur videoclip generat.

Ultima inovație epocală în sinteza bazată pe difuziune a fost apariția LoRA în 2022. În timp ce sistemele mai noi, cum ar fi Flux, au îmbunătățit unele dintre problemele outlier, cum ar fi fostă incapacitatea lui Stable Diffusion de a reproduce conținutul textului într-o imagine generată, și calitatea generală a imaginii s-a îmbunătățit, majoritatea lucrărilor pe care le-am studiat în 2024 au fost, în esență, doar mutarea alimentelor pe farfurie.

Aceste impasuri au apărut și înainte, cu Rețelele Adversative Generative (GAN) și cu Câmpurile de Radiație Neuronale (NeRF), ambele fiind incapabile să își atingă potențialul aparent inițial – și ambele fiind din ce în ce mai mult utilizate în sisteme mai convenționale (cum ar fi utilizarea NeRF în Stable Zero 123, vezi mai sus). Acest lucru pare să se întâmple și cu modelele de difuziune.

Cercetarea Gaussian Splatting se schimbă

Părea la sfârșitul anului 2023 că metoda de rasterizare 3D Gaussian Splatting (3DGS), care a debutat ca o tehnică de imagistică medicală la începutul anilor 1990, era pe cale să depășească sistemele bazate pe autoencoder în provocările de sinteză a imaginilor umane (cum ar fi simularea și reînvierea feței, precum și transferul de identitate).

Lucrarea ASH din 2023 a promis oameni completi 3DGS, în timp ce Gaussian Avatars a oferit detalii masiv îmbunătățite (în comparație cu metodele autoencoder și alte metode concurente), împreună cu o reîntrupare impresionantă.

În acest an, însă, a fost relativ scurtă pe astfel de momente de înfrângere pentru sinteza umană 3DGS; majoritatea lucrărilor care au abordat această problemă au fost fie derivate din lucrările de mai sus, fie nu au reușit să le depășească capacitățile.

În schimb, accentul pe 3DGS a fost pus pe îmbunătățirea fezabilității sale arhitecturale, ceea ce a dus la o serie de lucrări care oferă medii exterioare 3DGS îmbunătățite. Atenția specială a fost acordată abordărilor 3DGS de localizare și cartografiere simultană (SLAM), în proiecte cum ar fi Gaussian Splatting SLAM, Splat-SLAM, Gaussian-SLAM, DROID-Splat, printre multe altele.

Proiectele care au încercat să continue sau să extindă sinteza umană bazată pe 3DGS au inclus MIGS, GEM, EVA, OccFusion, FAGhead, HumanSplat, GGHead, HGM și Topo4D. Deși există și altele, niciuna dintre aceste ieșiri nu a egalat impactul inițial al lucrărilor care au apărut la sfârșitul anului 2023.

Era “Weinstein” a mostrelor de test este în declin (lent)

Cercetarea din Asia de Sud-Est, în general (și China, în special), prezintă adesea exemple de test care sunt problematice pentru a fi republicate într-un articol de recenzie, deoarece conțin material care este un pic “picant”.

Indiferent dacă acest lucru se datorează faptului că oamenii de știință din acea parte a lumii încearcă să atragă atenția asupra rezultatelor lor este supus dezbaterii; dar, în ultimele 18 luni, un număr tot mai mare de lucrări despre inteligență artificială generativă (imagine și/sau video) au recurs la utilizarea femeilor și fetelor tinere și slab îmbrăcate în exemple de proiect.

Acest lucru se suprapune cu tendințele generale ale comunităților care s-au adunat în jurul modelelor de difuziune latentă (LDM), unde Regula 34 rămâne foarte mult în evidență.

Confruntarea fațelor celebre

Acest tip de exemplu inadecvat se suprapune cu recunoașterea în creștere a faptului că procesele de inteligență artificială nu ar trebui să exploateze arbitrar asemănările celebre – în special în studii care utilizează exemple care prezintă celebrități atractive, adesea feminine, și le plasează în contexte discutabile.

Un exemplu este AnyDressing, care, pe lângă faptul că prezintă personaje feminine anime tinere, utilizează și liber identitățile unor celebrități clasice, cum ar fi Marilyn Monroe, și actuale, cum ar fi Ann Hathaway (care a condamnat această utilizare foarte vocal).

Utilizarea arbitrară a celebrităților actuale și “clasice” este încă destul de comună în lucrări din Asia de Sud-Est, deși această practică este ușor în declin. Sursă: https://crayon-shinchan.github.io/AnyDressing/

În lucrările “occidentale”, această practică particulară a fost în declin pe tot parcursul anului 2024, condusă de lansările mai mari de la FAANG și alte organizații de cercetare de nivel înalt, cum ar fi OpenAI. Conștienți de potențialul litigiilor viitoare, acești mari jucători corporatiști par din ce în ce mai reticenți să reprezinte chiar și personaje fictive fotorealiste.

Deși sistemele pe care le creează (cum ar fi Imagen și Veo2) sunt în mod evident capabile de astfel de ieșiri, exemplele din proiectele de inteligență artificială generativă “occidentale” tind acum spre imagini și videoclipuri “drăguțe”, “disneyficte” și extrem de “sigure”.

În ciuda capacității Imagen de a crea ieșiri “fotorealiste”, exemplele promovate de Google Research sunt, de obicei, fantastice, “de familie” – oameni fotorealiști sunt evitați cu grijă, sau se oferă exemple minimale. Sursă: https://imagen.research.google/

Spălarea feței

În literatura de viziune calculată “occidentală”, această abordare disingenuă este particulară evidentă pentru sistemele de personalizare – metode care pot crea asemănări consistente ale unei persoane particulare în multiple exemple (de exemplu, LoRA și mai vechiul DreamBooth).

Exemple includ încorporarea vizuală ortogonală, LoRA-Composer, InstructBooth de la Google, și multe altele.

InstructBooth de la Google ridică factorul de “drăguțenie” la 11, deși istoria sugerează că utilizatorii sunt mai interesați de a crea oameni fotorealiști decât personaje “drăguțe” sau “pufos”. Sursă: https://sites.google.com/view/instructbooth

Creșterea “exemplului drăguț” este vizibilă și în alte direcții de cercetare a viziunii calculate și sintezei, în proiecte cum ar fi Comp4D, V3D, DesignEdit, UniEdit, FaceChain (care recunoaște așteptările mai realiste ale utilizatorilor pe pagina sa GitHub), și DPG-T2I, printre multe altele.

Ușurința cu care astfel de sisteme (cum ar fi LoRAs) pot fi create de utilizatorii casnici cu hardware relativ modest a dus la o explozie de modele de celebrități disponibile pentru descărcare la domeniul civit.ai și comunitate. Astfel de utilizări ilicite rămân posibile prin deschiderea arhitecturilor precum Stable Diffusion și Flux.

Deși adesea este posibil să “spargi” caracteristicile de siguranță ale sistemelor de imagine-text și video-text pentru a produce material interzis de termenii de utilizare ai unei platforme, golul dintre capacitățile restrânse ale celor mai bune sisteme (cum ar fi RunwayML și Sora) și capacitățile nelimitate ale sistemelor performante (cum ar fi Stable Video Diffusion, CogVideo și implementări locale ale Hunyuan), nu se închide cu adevărat, așa cum cred mulți.

În schimb, aceste sisteme proprietare și deschise, respectiv, amenință să devină la fel de inutile: sistemele T2V scumpe și hiperscalabile pot deveni excesiv încetinite din cauza temerilor de litigii, în timp ce lipsa infrastructurii de licențiere și a supravegherii seturilor de date în sistemele deschise ar putea să le blocheze complet de pe piață pe măsură ce se adoptă reguli mai stricte.

Publicat pentru prima dată marți, 24 decembrie 2024