I Modelli di Intelligenza Artificiale Fanno Fiasco nella Lettura delle Ore su un Orologio Analogico, Mentre gli Esseri Umani Eccellono

Uno studio approfondito che ha testato 11 modelli di intelligenza artificiale di punta contro gli esseri umani nella lettura di orologi analogici ha rivelato una debolezza sorprendente negli attuali sistemi di intelligenza artificiale. Mentre gli esseri umani hanno raggiunto un’accuratezza dell’89,1% nel dire l’ora, il modello più performante di Google (GOOGL ) ha raggiunto solo il 13,3% di accuratezza nello stesso test.

Lo studio ClockBench, condotto dal ricercatore Alek Safar, dimostra che anche i sistemi di intelligenza artificiale più avanzati faticano con compiti visivi che la maggior parte delle persone padroneggia fin dall’infanzia. Il benchmark ha testato sistemi di Google, OpenAI, Anthropic e altri importanti laboratori di intelligenza artificiale utilizzando 180 orologi analogici personalizzati.

Questo va oltre gli orologi. I risultati mettono in luce limitazioni fondamentali nel modo in cui i sistemi di intelligenza artificiale elaborano e ragionano sulle informazioni visive. “La lettura degli orologi analogici stabilisce una barra alta per eseguire ragionamenti all’interno dello spazio visivo”, nota Safar nel documento di ricerca. Il compito richiede ai modelli di identificare le mani dell’orologio, di comprendere le loro relazioni e di tradurre la posizione visiva in tempo numerico.

Il divario di prestazioni diventa ancora più sorprendente quando si esaminano i modelli di errore. Quando gli esseri umani facevano errori, l’errore mediano era di soli tre minuti. I modelli di intelligenza artificiale, al contrario, mancavano il segno di uno a tre ore – all’incirca equivalente a indovinare a caso su un orologio da 12 ore.

Debolezze Specifiche Rivelate

I sistemi di intelligenza artificiale hanno particolarmente faticato con:

• numeri romani (accuratezza del 3,2%)
• orologi con quadranti specchiati o al contrario
• sfasamenti cromatici o disegni complessi
• orologi con lancette dei secondi che richiedono letture precise

In modo interessante, quando i modelli di intelligenza artificiale riuscivano a leggere un orologio, eseguivano bene i compiti successivi come aggiungere tempo o convertire fusi orari. Ciò suggerisce che la sfida fondamentale risiede nel riconoscimento visivo iniziale piuttosto che nel ragionamento matematico.

Analisi delle Prestazioni dell’Industria

I modelli di Google hanno guidato il gruppo, con Gemini 2.5 Pro che ha raggiunto il 13,3% di accuratezza e Gemini 2.5 Flash che ha raggiunto il 10,5%. OpenAI’s GPT-5 ha segnato l’8,4%, mentre i modelli Claude di Anthropic hanno eseguito peggio, con Claude 4 Sonnet al 4,2% e Claude 4.1 Opus al 5,6%.

xAI’s Grok 4 ha ottenuto risultati sorprendentemente scadenti con un’accuratezza dello 0,7%, sebbene ciò sia derivato dal modello che ha segnalato erroneamente il 63% di tutti gli orologi come mostranti ore impossibili quando solo il 20,6% lo faceva effettivamente.

Fonte: Alek Safar

Implicazioni più Ampie per lo Sviluppo dell’Intelligenza Artificiale

Lo studio si basa sull’approccio di benchmark “facile per gli esseri umani, difficile per l’IA” visto in test come ARC-AGI e SimpleBench. Mentre i sistemi di intelligenza artificiale hanno rapidamente conquistato compiti che richiedono conoscenze e hanno persino superato le prestazioni umane in molti test standardizzati, il ragionamento visivo di base rimane problematico.

La ricerca suggerisce che gli attuali approcci di scaling potrebbero non risolvere le sfide del ragionamento visivo. Safar ipotizza che gli orologi analogici potrebbero essere sottorappresentati nei dati di training e che tradurre le rappresentazioni visive degli orologi in testo per il ragionamento crea ulteriori complicazioni.

ClockBench si unisce a una raccolta crescente di benchmark progettati per identificare le limitazioni dell’IA che non sono immediatamente ovvie dalle prestazioni sui test tradizionali. L’intero set di dati rimane privato per evitare la contaminazione dei futuri dati di training dell’IA, con solo piccoli campioni resi pubblici per il test.

I risultati sollevano domande su是否 i paradigmi di sviluppo dell’IA esistenti possano affrontare queste lacune nel ragionamento visivo o se saranno necessari approcci completamente nuovi – simili a come il calcolo del tempo di test ha sbloccato il progresso in altri domini.

Per ora, l’umile orologio analogico si erge come una fortezza inaspettata contro l’intelligenza artificiale, leggibile da quasi ogni essere umano ma che confonde i sistemi di intelligenza artificiale più sofisticati del mondo.