Una prospettiva personale sulle tendenze della letteratura sulla visione artificiale nel 2024

Ho seguito costantemente la scena della ricerca sulla visione artificiale (CV) e sulla sintesi di immagini su Arxiv e altrove per circa cinque anni, quindi le tendenze diventano evidenti nel tempo e si spostano in nuove direzioni ogni anno.

Pertanto, mentre il 2024 si avvicina alla fine, ho pensato che fosse opportuno dare uno sguardo ad alcune nuove o evolutive caratteristiche nelle pubblicazioni su Arxiv nella sezione Computer Vision e Pattern Recognition section. Queste osservazioni, sebbene informate da centinaia di ore di studio della scena, sono strettamente anecdoti.

La continua ascesa dell’Asia orientale

Alla fine del 2023, avevo notato che la maggior parte della letteratura nella categoria della sintesi vocale proveniva dalla Cina e da altre regioni dell’Asia orientale. Alla fine del 2024, devo osservare (anecdoticamente) che ciò si applica ora anche alla scena della ricerca sulla sintesi di immagini e video.

Ciò non significa che la Cina e i paesi adiacenti stiano necessariamente producendo sempre il miglior lavoro (in effetti, c’è alcune prove del contrario); né tiene conto della alta probabilità che in Cina (come in Occidente) alcuni dei sistemi più interessanti e potenti in via di sviluppo siano proprietari e esclusi dalla letteratura di ricerca.

Ma suggerisce che l’Asia orientale sta battendo l’Occidente per volume, in questo senso. Quello che vale dipende dall’estensione in cui si crede nella fattibilità della persistenza di Edison, che di solito si rivela inefficace di fronte a ostacoli intractabili.

Ci sono molti di questi ostacoli nell’intelligenza artificiale generativa, e non è facile sapere quali possono essere risolti affrontando le architetture esistenti e quali richiederanno di essere ripensate da zero.

Sebbene i ricercatori dell’Asia orientale sembrino produrre un maggior numero di articoli sulla visione artificiale, ho notato un aumento della frequenza di progetti di tipo “Frankenstein” – iniziative che costituiscono una fusione di lavori precedenti, aggiungendo una limitata novità architettonica (o forse solo un tipo diverso di dati).

Quest’anno un numero molto maggiore di contributi dell’Asia orientale (in particolare cinesi o collaborazioni che coinvolgono la Cina) sembravano essere guidati da quote piuttosto che dal merito, aumentando notevolmente il rapporto segnale/rumore in un campo già sovraffollato.

Allo stesso tempo, un numero maggiore di articoli dell’Asia orientale ha anche attirato la mia attenzione e ammirazione nel 2024. Quindi, se questo è tutto un gioco di numeri, non sta fallendo – ma non è nemmeno economico.

Aumento del volume delle pubblicazioni

Il volume di articoli, provenienti da tutti i paesi di origine, è evidentemente aumentato nel 2024.

Il giorno di pubblicazione più popolare cambia nel corso dell’anno; attualmente è il martedì, quando il numero di pubblicazioni nella sezione Computer Vision e Pattern Recognition è spesso intorno a 300-350 in un solo giorno, nei periodi di “picco” (maggio-agosto e ottobre-dicembre, ovvero la stagione delle conferenze e la “stagione della scadenza della quota annuale”, rispettivamente).

Oltre alla mia esperienza personale, Arxiv stesso segnala un nuovo record di pubblicazioni nel mese di ottobre 2024, con 6000 nuove pubblicazioni totali, e la sezione Computer Vision la seconda più pubblicata dopo Machine Learning.

Tuttavia, poiché la sezione Machine Learning su Arxiv è spesso utilizzata come “aggiuntiva” o come super-categoria aggregata, ciò suggerisce che la Computer Vision e il riconoscimento di pattern siano in realtà la categoria più pubblicata su Arxiv.

Le statistiche di Arxiv stesse mostrano chiaramente che la scienza dei computer è il leader assoluto per numero di pubblicazioni:

La scienza dei computer (CS) domina le statistiche di pubblicazione su Arxiv negli ultimi cinque anni. Fonte: https://info.arxiv.org/about/reports/submission_category_by_year.html

L’indice AI del 2024 di Stanford University , sebbene non possa ancora segnalare le statistiche più recenti, sottolinea anche la notevole ascesa del numero di pubblicazioni accademiche nel campo dell’apprendimento automatico negli ultimi anni:

Con i dati non disponibili per il 2024, il rapporto di Stanford mostra comunque in modo drammatico l’aumento del volume di pubblicazioni per gli articoli sull’apprendimento automatico. Fonte: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

Diffusion>Mesh Frameworks si moltiplicano

Un’altra chiara tendenza che è emersa per me è stata una grande impennata di articoli che trattano di sfruttare i Modelli di Diffusione Latente (LDM) come generatori di modelli di mesh basati su CGI “tradizionali”.

Progetti di questo tipo includono InstantMesh3D di Tencent, 3Dtopia, Diffusion², V3D, MVEdit e GIMDiffusion, tra molti altri.

Generazione e raffinamento di mesh tramite un processo basato sulla diffusione in 3Dtopia. Fonte: https://arxiv.org/pdf/2403.02234

Questa emergente linea di ricerca potrebbe essere considerata come una tacita ammissione della continua intractabilità dei sistemi generativi come i modelli di diffusione, che solo due anni fa erano considerati come una potenziale sostituzione per tutti i sistemi che i modelli di diffusione>mesh stanno ora cercando di popolare; relegando la diffusione al ruolo di uno strumento in tecnologie e flussi di lavoro che risalgono a trent’anni o più.

Stability.ai, gli originatori del modello open source Stable Diffusion, hanno appena rilasciato Stable Zero123, che può, tra le altre cose, utilizzare un’interpretazione di Neural Radiance Fields (NeRF) di un’immagine generata da AI come ponte per creare un modello di mesh basato su CGI esplicito che può essere utilizzato in arene di CGI come Unity, in videogiochi, realtà aumentata e in altre piattaforme che richiedono coordinate 3D esplicite, a differenza delle coordinate implicite (nascoste) delle funzioni continue.

Clicca per riprodurre. Le immagini generate in Stable Diffusion possono essere convertite in mesh di CGI razionali. Qui vediamo il risultato di un flusso di lavoro immagine>CGI utilizzando Stable Zero 123. Fonte: https://www.youtube.com/watch?v=RxsssDD48Xc

3D Semantics

Lo spazio dell’intelligenza artificiale generativa fa una distinzione tra sistemi di visione e generazione 2D e 3D. Ad esempio, i framework di landmarking facciale, sebbene rappresentino oggetti 3D (volti) in tutti i casi, non tutti necessariamente calcolano coordinate 3D indirizzabili.

Il popolare sistema FANAlign, ampiamente utilizzato nelle architetture di deepfake del 2017 (tra le altre), può ospitare entrambi questi approcci:

Sopra, i landmark 2D vengono generati in base ai soli lineamenti e caratteristiche del viso riconosciuti. Sotto, vengono razionalizzati nello spazio 3D X/Y/Z. Fonte: https://github.com/1adrianb/face-alignment

Quindi, proprio come ‘deepfake’ è diventato un termine ambiguo e sequestrato, ‘3D’ è diventato un termine confuso nella ricerca sulla visione artificiale.

Per i consumatori, ha solitamente significato media stereo-abilitate (come film in cui lo spettatore deve indossare occhiali speciali); per gli operatori di effetti visivi e i modellisti, fornisce la distinzione tra arte 2D (come schizzi concettuali) e modelli di mesh che possono essere manipolati in un “programma 3D” come Maya o Cinema4D.

Ma nella visione artificiale, significa semplicemente che esiste un sistema di coordinate cartesiane da qualche parte nello spazio latente del modello – non che possa necessariamente essere indirizzato o manipolato direttamente da un utente; almeno, non senza sistemi di interpretazione CGI di terze parti come 3DMM o FLAME.

Pertanto, la nozione di diffusione>3D è inesatta; non solo può qualsiasi tipo di immagine (inclusa una foto reale) essere utilizzato come input per produrre un modello di mesh generativo CGI, ma il termine meno ambiguo ‘mesh’ è più appropriato.

Tuttavia, per aggravare l’ambiguità, la diffusione è necessaria per interpretare la foto di origine in una mesh, nella maggior parte dei progetti emergenti. Quindi, una descrizione migliore potrebbe essere immagine>mesh, mentre immagine>diffusione>mesh è una descrizione ancora più precisa.

Ma questo è un discorso difficile da fare in una riunione di consiglio o in un comunicato stampa progettato per coinvolgere gli investitori.

Prove di stallo architettonico

Anche rispetto al 2023, la raccolta di articoli degli ultimi 12 mesi mostra una crescente disperazione intorno all’eliminazione dei limiti pratici difficili sulla generazione basata sulla diffusione.

L’ostacolo chiave rimane la generazione di video narrativamente e temporalmente coerenti, e il mantenimento di un aspetto coerente di personaggi e oggetti – non solo tra diversi clip video, ma anche all’interno della breve durata di un singolo clip video generato.

L’ultima innovazione epocale nella sintesi basata sulla diffusione è stata l’avvento di LoRA nel 2022. Mentre sistemi più recenti come Flux hanno migliorato alcuni dei problemi outlier, come l’incapacità precedente di Stable Diffusion di riprodurre contenuti di testo all’interno di un’immagine generata, e la qualità generale delle immagini è migliorata, la maggior parte degli articoli che ho esaminato nel 2024 erano essenzialmente solo un rimescolamento del cibo nel piatto.

Questi stalli si sono verificati in precedenza, con le Reti Generative Avversarie (GAN) e con i Campi di Radiance Neurale (NeRF), entrambi dei quali non hanno mantenuto le loro potenzialità iniziali apparenti – e entrambi sono stati sempre più utilizzati in sistemi più convenzionali (come l’uso di NeRF in Stable Zero 123, vedi sopra). Ciò sembra anche accadere con i modelli di diffusione.

Ricerca su Gaussian Splatting si sposta

Sembra che alla fine del 2023 il metodo di rasterizzazione 3D Gaussian Splatting (3DGS), che debuttò come tecnica di imaging medico nei primi anni ’90, stesse per superare i sistemi basati su autoencoder nei challenge di sintesi di immagini umane (come la simulazione e la ricreazione facciale, nonché il trasferimento di identità).

Il paper ASH del 2023 prometteva umani 3DGS a corpo intero, mentre Gaussian Avatars offriva un dettaglio notevolmente migliorato (rispetto ai metodi autoencoder e ad altri metodi in concorrenza), insieme a un cross-reenactment impressionante.

Tuttavia, quest’anno è stato relativamente povero di momenti di rottura per la sintesi umana 3DGS; la maggior parte degli articoli che hanno affrontato il problema erano o derivati dai lavori sopra menzionati o non sono riusciti a superare le loro capacità.

Invece, l’attenzione si è concentrata sul miglioramento della fattibilità architettonica di base del 3DGS, portando a una serie di articoli che offrono ambienti esterni 3DGS migliorati. Particolare attenzione è stata rivolta alle approcci di Localizzazione e Mapping Simultaneo (SLAM) 3DGS, in progetti come Gaussian Splatting SLAM, Splat-SLAM, Gaussian-SLAM, DROID-Splat, tra molti altri.

I progetti che hanno tentato di continuare o estendere la sintesi umana basata su splat includevano MIGS, GEM, EVA, OccFusion, FAGhead, HumanSplat, GGHead, HGM e Topo4D. Sebbene ce ne siano altri oltre a questi, nessuno di questi ha eguagliato l’impatto iniziale dei paper emersi alla fine del 2023.

L’era ‘Weinstein’ dei campioni di test è in (lenta) declino

La ricerca proveniente dal sud-est asiatico in generale (e dalla Cina in particolare) spesso presenta esempi di test che sono problematici da ripubblicare in un articolo di revisione, poiché presentano materiale che è un po’ ‘piccante’.

Se ciò sia dovuto al fatto che gli scienziati della ricerca in quella parte del mondo stanno cercando di attirare l’attenzione per i loro output è aperto al dibattito; ma per gli ultimi 18 mesi, un numero crescente di articoli sulla intelligenza artificiale generativa (immagine e/o video) hanno utilizzato come esempi donne e ragazze giovani e seminude. Esempi borderline NSFW di ciò includono UniAnimate, ControlNext e persino articoli molto ‘secchi’ come Evaluating Motion Consistency by Fréchet Video Motion Distance (FVMD).

Ciò segue le tendenze generali dei subreddit e di altre comunità che si sono radunate intorno ai Modelli di Diffusione Latente (LDM), dove la regola 34 rimane molto in evidenza.

Confronto di volti celebri

Questo tipo di esempio inappropriato si sovrappone con il crescente riconoscimento che i processi di intelligenza artificiale non dovrebbero sfruttare arbitrariamente le somiglianze dei celebri – in particolare negli studi che utilizzano esempi che presentano celebrità attraenti, spesso femmine, e le pongono in contesti discutibili.

Un esempio è AnyDressing, che, oltre a presentare personaggi femminili anime molto giovani, utilizza anche liberamente le identità di celebrità classiche come Marilyn Monroe e attuali come Ann Hathaway (che ha condannato questo tipo di utilizzo in modo molto chiaro).

L’uso arbitrario di celebrità attuali e ‘classiche’ è ancora abbastanza comune negli articoli del sud-est asiatico, sebbene questa pratica sia leggermente in declino. Fonte: https://crayon-shinchan.github.io/AnyDressing/

Negli articoli occidentali, questa particolare pratica è stata notevolmente in declino nel corso del 2024, guidata dalle maggiori uscite di importanti enti di ricerca come FAANG e altri importanti organismi di ricerca come OpenAI. Consapevoli del potenziale per future azioni legali, questi grandi giocatori aziendali sembrano sempre più riluttanti a rappresentare anche personaggi fotorealistici fittizi.

Sebbene i sistemi che stanno creando (come Imagen e Veo2) siano chiaramente in grado di produrre tali output, gli esempi provenienti da progetti di intelligenza artificiale generativa occidentali tendono ora verso immagini e video ‘carini’, Disneyfied e estremamente ‘sicuri’.

Nonostante la capacità di Imagen di creare output ‘fotorealistici’, i campioni promossi da Google Research sono tipicamente fantascienza, ‘per famiglie’ – gli esseri umani fotorealistici vengono accuratamente evitati o vengono forniti esempi minimi. Fonte: https://imagen.research.google/

Lavaggio di facce

Nella letteratura CV occidentale, questo approccio disingenuo è particolarmente evidente per i sistemi di personalizzazione – metodi in grado di creare somiglianze coerenti di una persona specifica in più esempi (ad esempio, come LoRA e il più vecchio DreamBooth).

Esempi includono l’incorporamento visivo ortogonale, LoRA-Composer, InstructBooth di Google, e molti altri.

InstructBooth di Google alza il fattore di ‘carineria’ a 11, anche se la storia suggerisce che gli utenti sono più interessati a creare esseri umani fotorealistici che personaggi o animali ‘carini’. Fonte: https://sites.google.com/view/instructbooth

Tuttavia, l’ascesa dell’esempio ‘carino’ si vede anche in altre aree di ricerca sulla visione artificiale e sulla sintesi, in progetti come Comp4D, V3D, DesignEdit, UniEdit, FaceChain (che ammette aspettative di utente più realistiche nella sua pagina GitHub), e DPG-T2I, tra molti altri.

La facilità con cui tali sistemi (come LoRAs) possono essere creati da utenti domestici con hardware relativamente modesto ha portato a un’esplosione di modelli di celebrità scaricabili gratuitamente nel dominio civit.ai e nella comunità. Un tale utilizzo illecito rimane possibile attraverso l’open sourcing di architetture come Stable Diffusion e Flux.

Sebbene spesso sia possibile aggirare le funzionalità di sicurezza dei sistemi di testo-immagine (T2I) e testo-video (T2V) per produrre materiale vietato dalle condizioni d’uso di una piattaforma, il divario tra le capacità limitate dei migliori sistemi (come RunwayML e Sora) e le capacità illimitate dei sistemi solo performanti (come Stable Video Diffusion, CogVideo e distribuzioni locali di Hunyuan), non sta realmente chiudendosi, come molti credono.

Piuttosto, questi sistemi proprietari e open source, rispettivamente, minacciano di diventare ugualmente inutili: i sistemi T2V hyperscale e costosi potrebbero diventare eccessivamente limitati a causa della paura delle azioni legali, mentre la mancanza di infrastrutture di licenza e di controllo dei dati nei sistemi open source potrebbe bloccarli completamente dal mercato man mano che si introducono regolamenti più stringenti.

Pubblicato per la prima volta martedì, 24 dicembre 2024