Portare le analogie visive all’intelligenza artificiale

I modelli di intelligenza artificiale attuali non riescono a riconoscere le “somiglianze relazionali” nelle immagini, come ad esempio come gli strati della Terra sono simili a quelli di una pesca, mancando di un aspetto fondamentale di come gli esseri umani percepiscono le immagini.

Sebbene ci siano molti modelli di visione artificiale in grado di confrontare immagini e trovare somiglianze tra loro, l’attuale generazione di sistemi di confronto ha poca o nessuna capacità immaginativa. Consideriamo alcune delle liriche della canzone classica degli anni ’60, Windmills of Your Mind:

Come una giostra che gira, correndo intorno alla luna
Come un orologio le cui mani scorrono oltre i minuti del suo volto
E il mondo è come una mela che gira silenziosamente nello spazio

Confronti di questo tipo rappresentano un dominio di allusione poetica che è significativo per gli esseri umani in un modo che va ben oltre l’espressione artistica; piuttosto, è legato a come sviluppiamo i nostri sistemi percettivi; mentre creiamo il nostro “dominio degli oggetti”, sviluppiamo una capacità per la somiglianza visiva, in modo che – ad esempio – sezioni trasversali che mostrano una pesca e il pianeta Terra, o ricorsioni frattali come spirali di caffè e rami di galassie, appaiono come analoghi per noi.

In questo modo possiamo dedurre connessioni tra oggetti e tipi di oggetti apparentemente non collegati e inferire sistemi (come la gravità, la quantità di moto e la coesione superficiale) che possono applicarsi a una varietà di domini a diverse scale.

Vedere le cose

Anche l’ultima generazione di sistemi di confronto di immagini, come Learned Perceptual Image Patch Similarity (LPIPS) e DINO, che sono informati dal feedback umano, eseguono solo confronti superficiali letterali.

La loro capacità di trovare volti dove non ce ne sono – cioè pareidolia – non rappresenta il tipo di meccanismi di somiglianza visiva che gli esseri umani sviluppano, ma piuttosto si verifica perché gli algoritmi di ricerca di volti utilizzano caratteristiche di basso livello della struttura del volto caratteristiche che a volte si accordano con oggetti casuali:

Esempi di falsi positivi per il riconoscimento facciale nel set di dati ‘Faces with Things’. Fonte

Per determinare se le macchine possano realmente sviluppare la nostra capacità immaginativa di riconoscere la somiglianza visiva tra domini, i ricercatori negli Stati Uniti hanno condotto uno studio sulla similitudine visiva relazionale, curando e addestrando un nuovo set di dati progettato per far formare relazioni astratte tra oggetti diversi che sono comunque legati da una relazione astratta:

La maggior parte dei modelli di intelligenza artificiale riconosce solo la somiglianza quando le immagini condividono tratti superficiali come forma o colore, ed è per questo che collegano solo il Gruppo B (in alto) al riferimento. Gli esseri umani, al contrario, vedono anche il Gruppo A come simile – non perché le immagini si assomigliano, ma perché seguono la stessa logica sottostante, come ad esempio mostrare una trasformazione nel tempo. Il nuovo lavoro tenta di riprodurre questo tipo di somiglianza strutturale o relazionale, mirando a portare la percezione della macchina più vicina alla ragione umana. Fonte: https://arxiv.org/pdf/2512.07833

Il sistema di didascalia sviluppato per il set di dati facilita annotazioni astratte insolite, progettate per far concentrare i sistemi di intelligenza artificiale sui caratteri di base piuttosto che sui dettagli locali specifici:

Le didascalie ‘anonime’ previste che contribuiscono alla metrica ‘relsim’ degli autori.

Il set di dati curato e lo stile di didascalia insolito alimentano la nuova metrica proposta dagli autori relsim, che gli autori hanno affinato in un modello di visione-linguaggio (VLM).

Un confronto tra lo stile di didascalia dei set di dati tipici, che si concentra sulla somiglianza degli attributi, mentre l’approccio relsim (riga inferiore) enfatizza la somiglianza relazionale.

Il nuovo approccio si basa su metodologie della scienza cognitiva, in particolare la teoria della mappatura della struttura di Dedre Gentner (uno studio dell’analogia) e la definizione di Amos Tversky della somiglianza relazionale e della somiglianza degli attributi.

Dal sito web del progetto associato, un esempio di somiglianza relazionale. Fonte

Gli autori affermano:

‘[Gli esseri umani] processano la somiglianza degli attributi percettivamente, ma la somiglianza relazionale richiede un’astrazione concettuale, spesso supportata dal linguaggio o dalla conoscenza precedente. Ciò suggerisce che il riconoscimento della somiglianza relazionale richiede prima la comprensione dell’immagine, l’utilizzo della conoscenza e l’astrazione della sua struttura sottostante.’

Il nuovo articolo si intitola Similitudine visiva relazionale e include un sito web del progetto (vedi video incorporato alla fine di questo articolo).

Metodo

I ricercatori hanno utilizzato uno dei set di dati iperscala più noti come punto di partenza per la loro raccolta – LAION-2B:

Metadati per un elemento nella raccolta LAION-2B. Fonte

114.000 immagini che contengono probabilmente strutture relazionali elastiche sono state estratte da LAION-2B, coinvolgendo la filtrazione delle molte immagini di bassa qualità presenti nel set di dati minimamente curato.

Per creare una pipeline per questo processo di selezione, gli autori hanno utilizzato Qwen2.5-VL-7B, sfruttando 1.300 esempi positivi e 11.000 esempi negativi etichettati dagli esseri umani:

Il sistema relsim viene addestrato in tre fasi: filtraggio delle immagini da LAION-2B per contenuto relazionale; assegnazione a ogni gruppo di una didascalia condivisa anonima che cattura la loro logica sottostante; e apprendimento dell’associazione di immagini a quelle didascalie utilizzando una perdita contrastiva.

L’articolo afferma:

‘Gli annotatori sono stati istruiti: “Puoi vedere un modello relazionale, una logica o una struttura in questa immagine che potrebbe essere utile per creare o collegare un’altra immagine?”. Il modello affinato raggiunge il 93% di accordo con i giudizi umani, e quando applicato a LAION-2B, produce N = 114k immagini identificate come relazionalmente interessanti.’

Per generare etichette relazionali, i ricercatori hanno sollecitato il modello Qwen a descrivere la logica condivisa dietro insiemi di immagini senza nominare oggetti specifici. Questa astrazione è stata difficile da ottenere quando il modello vedeva solo un’immagine, ma è diventata fattibile quando più esempi hanno dimostrato il modello sottostante.

I risultati hanno sostituito termini specifici con segnaposto come ‘{Soggetto}’ o ‘{Tipo di movimento}’, rendendoli ampiamente applicabili.

Dopo la verifica umana, ogni didascalia è stata accoppiata con tutte le immagini del suo gruppo. Più di 500 gruppi del genere sono stati utilizzati per addestrare il modello, che è stato quindi applicato alle 114.000 immagini filtrate per produrre un grande set di campioni annotati in modo relazionale e astratto.

Dati e test

Dopo l’estrazione delle caratteristiche relazionali con Qwen2.5-VL-7B, un modello è stato affinato sui dati utilizzando LoRA, per 15.000 passi, tramite otto GPU A100*. Per il lato testuale, le didascalie relazionali sono state incorporate utilizzando all-MiniLM-L6-v2 dalla libreria Sentence-Transformers.

Il set di dati di 114.000 immagini con didascalia è stato diviso in 100.000 per l’addestramento e 14.000 per la valutazione. Per testare il sistema, è stato utilizzato un setup di recupero: dato un’immagine di query, il modello doveva trovare un’altra immagine diversa da un pool di 28.000 elementi che esprimeva la stessa idea relazionale. Il pool di recupero includeva 14.000 immagini di valutazione e 14.000 campioni aggiuntivi da LAION-2B, con 1.000 query selezionate casualmente dal set di valutazione per il benchmarking.

Per valutare la qualità del recupero, GPT-4o è stato utilizzato per valutare la somiglianza relazionale tra ogni query e immagine recuperata su una scala da 0 a 10. Uno studio umano separato è stato anche condotto per valutare la preferenza dell’utente (vedi sotto).

Ogni partecipante è stato mostrato un’immagine di query anonima con due candidati, uno recuperato dal metodo proposto e l’altro da un baseline. I partecipanti sono stati chiesti quale immagine fosse più relazionalmente simile alla query, o se entrambe fossero ugualmente vicine. Per ogni baseline, sono stati creati 300 triplette e valutate da almeno tre persone ciascuna, producendo circa 900 risposte.

Il metodo relsim è stato confrontato con diversi metodi di somiglianza di immagine stabiliti, tra cui il già menzionato LPIPS e DINO, nonché dreamsim e CLIP-I. Oltre ai metodi di baseline che calcolano direttamente i punteggi di somiglianza tra coppie di immagini, come LPIPS, DINO, dreamsim e CLIP-I, gli autori hanno anche testato metodi basati su didascalie in cui Qwen è stato utilizzato per generare una didascalia anonima o astratta per ogni immagine.; ciò ha poi funzionato come query di recupero.

Due varianti di recupero sono state valutate, con il recupero di immagini basato su testo di CLIP (CLIP-T) utilizzato per il recupero di immagini da testo e Qwen-T che utilizza il recupero di testo da testo. Entrambi i metodi di baseline basati su didascalie hanno utilizzato il modello Qwen pre-addestrato originale anziché la versione affinata sulla logica relazionale. Ciò ha permesso agli autori di isolare l’effetto dell’addestramento basato su gruppi, poiché il modello affinato era stato esposto a set di immagini, anziché a esempi isolati.

Metriche esistenti e somiglianza relazionale

Gli autori hanno inizialmente testato se le metriche esistenti potessero catturare la somiglianza relazionale:

Confronto delle prestazioni di recupero come giudicate da GPT-4o, mostrando il punteggio di somiglianza relazionale medio per ogni metodo. Le metriche di somiglianza convenzionali come LPIPS, DINO e CLIP-I hanno ottenuto punteggi più bassi. Le varianti di baseline basate su didascalie Qwen-T e CLIP-T hanno anche sotto-performato. Il punteggio più alto è stato raggiunto da relsim (6,77, colonna blu più a destra), indicando che l’addestramento su modelli relazionali di gruppo ha migliorato l’allineamento con le valutazioni di GPT-4o.

Riguardo a questi risultati, gli autori affermano**:

‘[LPIPS], che si concentra puramente sulla somiglianza percettiva, raggiunge il punteggio più basso (4,56). [DINO] si esegue solo leggermente meglio (5,14), probabilmente perché è stato addestrato solo in modo autosufficiente sui dati delle immagini. [CLIP-I] produce i risultati più forti tra le baseline (5,91), presumibilmente perché alcune astrazioni sono talvolta presenti nelle didascalie delle immagini.

‘Tuttavia, CLIP-I si esegue ancora peggio rispetto al nostro metodo, poiché raggiungere un punteggio migliore potrebbe richiedere la capacità di raggiungere astrazioni ancora più elevate, come quelle presenti nelle didascalie anonime.’

Nello studio condotto sugli utenti, gli esseri umani hanno costantemente preferito il metodo relsim rispetto a tutte le baseline:

Punteggi di somiglianza relazionale assegnati da GPT-4o per ogni metodo. Le metriche di somiglianza standard come LPIPS, DINO e CLIP-I hanno ottenuto punteggi più bassi, e le varianti di baseline basate su didascalie Qwen-T e CLIP-T hanno eseguito solo leggermente meglio. Anche le versioni regolate di DINO e CLIP non hanno chiuso il divario. Il punteggio più alto, 6,77, è stato raggiunto dal modello relsim, addestrato con la supervisione basata su gruppi.

Gli autori notano:

‘Questo è molto incoraggiante, poiché dimostra non solo che il nostro modello, relsim, può recuperare con successo immagini relazionalmente simili, ma anche, ancora una volta, conferma che gli esseri umani percepiscono la somiglianza relazionale – non solo la somiglianza degli attributi!’

Per esplorare come la somiglianza relazionale e la somiglianza degli attributi potrebbero complementarsi a vicenda, i ricercatori hanno utilizzato un metodo di visualizzazione combinato. Un’immagine di query singola (‘Un cane che tiene una macchina fotografica’) è stata confrontata con 3.000 immagini casuali, e la somiglianza è stata calcolata utilizzando sia modelli relazionali che modelli basati sugli attributi:

Visualizzazione congiunta dello spazio di somiglianza visiva utilizzando assi relazionali e degli attributi. Un’immagine di query singola, che mostra un cane che utilizza una macchina fotografica, è stata confrontata con 3.000 altre. I risultati sono stati organizzati per somiglianza relazionale (verticale) e somiglianza degli attributi (orizzontale). La regione in alto a destra contiene immagini che assomigliano alla query sia nella logica che nell’aspetto, come ad esempio altri cani che utilizzano strumenti. La regione in alto a sinistra contiene casi semanticamente correlati ma visualmente distinti, come ad esempio animali diversi che eseguono azioni correlate alla macchina fotografica. La maggior parte degli esempi rimanenti si raggruppa più in basso nello spazio, riflettendo una somiglianza più debole. Il layout illustra come i modelli relazionali e degli attributi evidenziano aspetti complementari dei dati visivi. Si prega di fare riferimento al documento originale per una risoluzione migliore.

I risultati hanno rivelato cluster corrispondenti a diversi tipi di somiglianza: alcune immagini erano sia relazionalmente che visualmente simili, come ad esempio altri cani in pose umane; altre condividevano la logica relazionale ma non l’aspetto, come ad esempio animali diversi che mimano azioni umane; il resto non mostrava né l’uno né l’altro.

Questa analisi suggerisce che i due tipi di somiglianza svolgono ruoli distinti e producono una struttura più ricca quando combinati.

Casi d’uso

L’articolo esplora anche alcuni possibili casi d’uso per la somiglianza relazionale, tra cui il recupero di immagini relazionali, che consente la ricerca di immagini più allineata con il modo creativo in cui gli esseri umani guardano il mondo:

Il recupero relazionale restituisce immagini che condividono una struttura concettuale più profonda con la query, piuttosto che corrispondere a caratteristiche superficiali. Ad esempio, un alimento stilizzato per assomigliare a un volto restituisce altri pasti antropomorfi; un oggetto affettato produce altre forme affettate; e scene di interazione genitore-figlio restituiscono immagini con ruoli relazionali simili, anche se le specie e la composizione differiscono.

Un’altra possibilità è la generazione di immagini analogiche, che consentirebbe la sintesi di query che utilizzano strutture relazionali anziché descrizioni dirette. In un confronto dei risultati ottenuti dai modelli di testo-immagine attuali di stato dell’arte, possiamo vedere che il risultato di un tale approccio è probabile che sia più diversificato:

Dato un’immagine di input e una prompt relazionale, i modelli sono stati invitati a generare una nuova immagine che esprime lo stesso concetto sottostante. I modelli proprietari hanno prodotto analogie più fedeli, preservando la logica strutturale attraverso grandi cambiamenti di forma, mentre i modelli open-source tendevano a regredire verso corrispondenze letterali o stilistiche, fallendo nel trasferire l’idea più profonda. Gli output sono stati confrontati con analogie curate dagli esseri umani, che esemplificavano la trasformazione prevista.

Conclusione

I sistemi di intelligenza artificiale generativa sarebbero, sembra, notevolmente migliorati dalla capacità di incorporare rappresentazioni astratte nelle loro concettualizzazioni. Come stanno le cose, chiedere immagini basate su concetti come ‘rabbia’ o ‘felicità’ tende a restituire immagini stilizzate dalle immagini più popolari o più numerose che avevano queste associazioni nel set di dati; che è memorizzazione piuttosto che astrazione.

Presumibilmente questo principio potrebbe essere ancora più benefico se potesse essere applicato alla scrittura generativa – in particolare alla produzione analitica, speculativa o narrativa.

Premere per riprodurre. Fonte

* Un A100 può avere 40Gb o 80GB di VRAM; ciò non è specificato nel documento.

** Le citazioni degli autori sono ridondanti ed escluse.

Pubblicato per la prima volta martedì, 16 dicembre 2025