La lotta dell’IA per leggere gli orologi analogici può avere un significato più profondo

Un nuovo studio condotto da ricercatori in Cina e Spagna scopre che anche modelli di intelligenza artificiale avanzati come GPT-4.1 faticano a leggere l’ora da immagini di orologi analogici. Piccoli cambiamenti visivi negli orologi possono causare errori di interpretazione significativi e il fine-tuning aiuta solo con esempi familiari. I risultati sollevano preoccupazioni sulla affidabilità di questi modelli quando si confrontano con immagini sconosciute in compiti del mondo reale.

Quando gli esseri umani sviluppano una comprensione sufficientemente profonda di un dominio, come la gravità o altri principi fisici fondamentali, superiamo gli esempi specifici per afferrare le astrazioni sottostanti. Ciò ci consente di applicare quella conoscenza in modo creativo attraverso contesti e di riconoscere nuove istanze, anche quelle che non abbiamo mai visto prima, identificando il principio in azione.

Quando un dominio assume sufficiente importanza, potremmo anche iniziare a percepirla anche dove non esiste, come nel caso della pareidolia, guidata dal costo elevato di non riconoscere un’istanza reale. Così forte è questo meccanismo di riconoscimento di pattern che ci porta anche a trovare una gamma più ampia di pattern dove non ce ne sono.

Quanto prima e più ripetutamente un dominio ci viene inculcato, tanto più profonda è la sua base e la sua persistenza nel corso della vita; e uno dei primi set di dati visivi a cui siamo esposti come bambini arriva sotto forma di orologi didattici, dove materiale stampato o orologi analogici interattivi vengono utilizzati per insegnarci a leggere l’ora:

Strumenti didattici per aiutare i bambini a imparare a leggere l’ora. Fonte: https://www.youtube.com/watch?v=IBBQXBhSNUs

Sebbene le mode nel design degli orologi possano a volte sfidare la nostra capacità di leggere l’ora, la resilienza di questa padronanza di base è abbastanza impressionante, permettendoci di discernere i quadranti degli orologi analogici anche di fronte a scelte di design complesse o ‘eccentriche’:

Alcuni quadranti sfidanti nel design degli orologi. Fonte: https://www.ablogtowatch.com/wait-a-minute-legibility-is-the-most-important-part-of-watch-design/

Gli esseri umani non hanno bisogno di migliaia di esempi per imparare come funzionano gli orologi; una volta compreso il concetto di base, possiamo riconoscerlo in quasi tutte le forme, anche quando distorto o astratto.

La difficoltà che i modelli di intelligenza artificiale affrontano in questo compito, invece, evidenzia un problema più profondo: la loro apparente forza potrebbe dipendere più dall’esposizione ad alta volumetria che dalla comprensione.

Oltre il gioco dell’imitazione?

La tensione tra le prestazioni a livello di superficie e la vera ‘comprensione’ è emersa ripetutamente nelle recenti indagini sui grandi modelli. Lo scorso mese, l’Università di Zhejiang e l’Università di Westlake hanno riproposto la questione in un documento intitolato I modelli LLM di livello PhD comprendono veramente l’addizione elementare? (non è l’argomento di questo articolo), concludendo:

‘Nonostante i benchmark impressionanti, i modelli mostrano una dipendenza critica dal riconoscimento di pattern piuttosto che da una vera comprensione, come dimostrato dai fallimenti con le rappresentazioni simboliche e dalle violazioni delle proprietà di base.

‘La fornitura esplicita di regole che impedisce le prestazioni suggerisce vincoli architettonici intrinseci. Queste intuizioni rivelano lacune di valutazione e sottolineano la necessità di architetture in grado di ragionamento matematico genuino oltre il riconoscimento di pattern.’

Questa settimana la questione si ripresenta, ora in una collaborazione tra l’Università di Aeronautica e Astronautica di Nanchino e l’Universidad Politécnica de Madrid in Spagna. Intitolato I modelli di linguaggio multimodale (MLLM) hanno veramente imparato a leggere l’ora sugli orologi analogici?, il nuovo documento esplora quanto bene i modelli multimodali comprendono il concetto di leggere l’ora.

Sebbene il progresso della ricerca sia coperto solo in dettaglio generale nel documento, i test iniziali dei ricercatori hanno stabilito che il modello di linguaggio multimodale GPT-4.1 di OpenAI ha faticato a leggere correttamente l’ora da un insieme diversificato di immagini di orologi, spesso fornendo risposte errate anche in casi semplici.

Ciò punta a una possibile lacuna nei dati di addestramento del modello, sollevando la necessità di un set di dati più equilibrato per testare se il modello possa effettivamente apprendere il concetto sottostante. Pertanto, gli autori hanno curato un set di dati sintetici di orologi analogici, coprendo uniformemente ogni possibile ora, evitando i soliti pregiudizi presenti nelle immagini internet:

Un esempio dal set di dati sintetici degli orologi analogici dei ricercatori, utilizzato per il fine-tuning di un modello GPT nel nuovo lavoro. Fonte: https://huggingface.co/datasets/migonsa/analog_watches_finetune

Prima del fine-tuning sul nuovo set di dati, GPT-4.1 ha costantemente fallito nel leggere questi orologi. Dopo una certa esposizione al nuovo insieme, tuttavia, le sue prestazioni sono migliorate – ma solo quando le nuove immagini assomigliavano a quelle che aveva già visto.

Quando la forma dell’orologio o lo stile delle mani cambiava, l’accuratezza scendeva bruscamente; anche piccoli aggiustamenti, come mani più sottili o punte di freccia (immagine più a destra), erano sufficienti per confonderlo; e GPT-4.1 ha faticato inoltre a interpretare gli orologi ‘melting’ di Dali:

Immagini di orologi con design standard (a sinistra), forma distorta (al centro) e mani modificate (a destra), insieme ai tempi restituiti da GPT-4.1 prima e dopo il fine-tuning. Fonte: https://arxiv.org/pdf/2505.10862

Gli autori deducono che i modelli attuali come GPT-4.1 potrebbero quindi imparare a leggere l’ora principalmente attraverso il riconoscimento di pattern visivi, piuttosto che un concetto più profondo di tempo, affermando:

‘[GPT 4.1] fallisce quando l’orologio è deformato o quando le mani sono cambiate per essere più sottili e avere una punta di freccia. L’errore assoluto medio (MAE) nella stima del tempo su 150 tempi casuali è stato di 232,48 secondi per gli orologi iniziali, 1380,69 secondi quando la forma è distorta e 3726,93 secondi quando le mani sono cambiate.

‘Questi risultati suggeriscono che il modello MLLM non ha imparato a leggere l’ora, ma ha memorizzato pattern.’

Tempo sufficiente

La maggior parte dei set di dati di addestramento si basa su immagini web estratte, che tendono a ripetere certi orari – soprattutto le 10:10, un impostazione popolare nella pubblicità degli orologi:

Un esempio dal nuovo documento, che mostra la prevalenza dell’ora ‘dieci minuti dopo le dieci’ nelle immagini di orologi analogici.

Di conseguenza, a causa di questo limitato intervallo di orari rappresentati, il modello potrebbe vedere solo una gamma ristretta di possibili configurazioni di orologi, limitando la sua capacità di generalizzare oltre quei pattern ripetitivi.

Riguardo al motivo per cui i modelli falliscono nell’interpretare correttamente gli orologi distorti, il documento afferma:

‘Sebbene GPT-4.1 si esibisca eccezionalmente bene con immagini di orologi standard, è sorprendente che la modifica delle mani dell’orologio rendendole più sottili e aggiungendo punte di freccia porti a un calo significativo nella sua accuratezza.

‘Intuitivamente, si potrebbe pensare che il cambiamento visivo più complesso – un quadrante distorto – avrebbe un impatto maggiore sulle prestazioni, eppure questa modifica sembra avere un effetto relativamente più piccolo.

‘Questo solleva una domanda: come i modelli MLLM interpretano gli orologi e perché falliscono? Una possibilità è che le mani più sottili ostacolino la capacità del modello di percepire la direzione, indebolendo la sua comprensione dell’orientamento spaziale.

‘In alternativa, potrebbero esserci altri fattori che causano confusione quando il modello tenta di combinare le mani dell’ora, dei minuti e dei secondi in una lettura del tempo precisa.’

Gli autori sostengono che identificare la causa radice di questi fallimenti è fondamentale per avanzare i modelli multimodali: se il problema risiede nella percezione della direzione spaziale, il fine-tuning potrebbe offrire una soluzione semplice; ma se il problema deriva da una difficoltà più ampia nell’integrare più indizi visivi, punta a una debolezza più fondamentale nel modo in cui questi sistemi elaborano le informazioni.

Test di fine-tuning

Per testare se i fallimenti del modello potessero essere superati con l’esposizione, GPT-4.1 è stato sottoposto a fine-tuning sul set di dati sintetici sopracitato. Prima del fine-tuning, le sue previsioni erano ampiamente sparse, con errori significativi in tutti i tipi di orologi. Dopo il fine-tuning sul set di dati, l’accuratezza è migliorata notevolmente sui quadranti degli orologi standard e, in misura minore, su quelli distorti.

Tuttavia, gli orologi con mani modificate, come forme più sottili o punte di freccia, hanno continuato a produrre errori significativi.

Sono emersi due modi di fallimento distinti: sugli orologi normali e distorti, il modello tendeva a sbagliare la direzione delle mani; ma sugli orologi con stili di mani alterati, spesso confondeva la funzione di ogni mano, scambiando l’ora per il minuto o il minuto per il secondo.

Un confronto che illustra la debolezza iniziale del modello e i guadagni parziali ottenuti attraverso il fine-tuning, mostrando il tempo previsto rispetto al tempo effettivo, in secondi, per 150 orologi selezionati casualmente. A sinistra, prima del fine-tuning, le previsioni di GPT-4.1 sono sparse e spesso lontane dai valori corretti, indicati dalla linea diagonale rossa. A destra, dopo il fine-tuning su un set di dati sintetici equilibrato, le previsioni si allineano molto più strettamente con la verità di base, sebbene rimangano alcuni errori.

Ciò suggerisce che il modello aveva imparato ad associare caratteristiche visive come lo spessore delle mani con ruoli specifici e ha faticato quando questi indizi cambiavano.

Il limitato miglioramento sui design non familiari solleva ulteriori dubbi su se un modello di questo tipo apprenda il concetto astratto di lettura dell’ora o si limiti a raffinare il riconoscimento di pattern.

Segni di mano

Quindi, sebbene il fine-tuning abbia migliorato le prestazioni di GPT-4.1 sugli orologi analogici convenzionali, ha avuto un impatto molto minore sugli orologi con mani più sottili o punte di freccia, sollevando la possibilità che i fallimenti del modello derivassero meno dalla ragionamento astratto e più dalla confusione su quale mano fosse quale.

Per testare se l’accuratezza potesse migliorare se tale confusione venisse rimossa, è stata condotta una nuova analisi sulle previsioni del modello per il set di dati ‘mano modificata’. Le uscite sono state divise in due gruppi: casi in cui GPT-4.1 ha riconosciuto correttamente le mani dell’ora, dei minuti e dei secondi; e casi in cui non lo ha fatto.

Le previsioni sono state valutate per errore assoluto medio (MAE) prima e dopo il fine-tuning e i risultati sono stati confrontati con quelli degli orologi standard; l’errore angolare è stato anche misurato per ogni mano utilizzando la posizione del quadrante come riferimento:

Confronto degli errori per orologi con e senza confusione del ruolo della mano nel set di dati ‘mano modificata’ prima e dopo il fine-tuning.

La confusione dei ruoli delle mani dell’orologio ha portato agli errori più grandi. Quando GPT-4.1 ha scambiato la mano dell’ora per la mano dei minuti o viceversa, le stime del tempo risultanti sono state spesso molto lontane. In contrasto, gli errori causati da una cattiva valutazione della direzione di una mano correttamente identificata sono stati più piccoli. Tra le tre mani, la mano dell’ora ha mostrato l’errore angolare più alto prima del fine-tuning, mentre la mano dei secondi ha mostrato il più basso.

Errore angolare per tipo di mano per previsioni con e senza confusione del ruolo della mano, prima e dopo il fine-tuning, nel set di dati ‘mano modificata’.

Per concentrarsi sugli errori direzionali soltanto, l’analisi è stata limitata ai casi in cui il modello ha correttamente identificato la funzione di ogni mano. Se il modello avesse internalizzato un concetto generale di lettura dell’ora, le sue prestazioni su questi esempi avrebbero dovuto corrispondere alla sua accuratezza sugli orologi standard. Non è stato così e l’accuratezza è rimasta notevolmente peggiore.

Per esaminare se la forma della mano interferisce con la percezione della direzione del modello, è stato eseguito un secondo esperimento: due nuovi set di dati sono stati creati, ciascuno contenente sessanta orologi sintetici con solo una mano dell’ora, puntata a un differente segno dei minuti. Un set ha utilizzato il design della mano originale, e l’altro il design alterato. Il modello è stato chiesto di nominare il segno che la mano stava indicando.

I risultati hanno mostrato un leggero calo dell’accuratezza con le mani modificate, ma non abbastanza per giustificare i fallimenti più ampi del modello. Un unico caratteristica visiva non familiare sembra essere in grado di disturbare l’interpretazione complessiva del modello, anche in compiti che aveva precedentemente eseguito bene.

Panoramica delle prestazioni di GPT-4.1 prima e dopo il fine-tuning su orologi standard, distorti e con mani modificate, evidenziando guadagni disomogenei e debolezze persistenti.

Conclusione

Mentre l’attenzione del documento potrebbe sembrare banale a prima vista, non è particolarmente importante se i modelli di visione-linguaggio imparino mai a leggere gli orologi analogici con un’accuratezza del 100%. Ciò che dà peso al lavoro è la sua attenzione a una domanda più profonda e ricorrente: se saturare i modelli con più (e più diversi) dati possa portare al tipo di comprensione del dominio che gli esseri umani acquisiscono attraverso l’astrazione e la generalizzazione; o se l’unico percorso praticabile sia quello di inondare il dominio con abbastanza esempi per anticipare ogni variante probabile durante l’inferenza.

Entrambe le strade sollevano dubbi su cosa gli attuali architetture siano veramente in grado di apprendere.

Pubblicato per la prima volta lunedì, 19 maggio 2025