Modelos de IA tropeçam na leitura básica de relógios enquanto os humanos se destacam

Um estudo abrangente que testou 11 modelos de IA líderes contra humanos na leitura de relógios analógicos expôs uma surpreendente fraqueza nos sistemas de inteligência artificial atuais. Enquanto os humanos alcançaram 89,1% de precisão ao dizer a hora, o melhor modelo do Google (GOOGL ) conseguiu apenas 13,3% de precisão no mesmo teste.

O estudo ClockBench, realizado pelo pesquisador Alek Safar, demonstra que mesmo os sistemas de IA mais avançados lutam com tarefas visuais que a maioria das pessoas domina na infância. O benchmark testou sistemas da Google, OpenAI, Anthropic e outros laboratórios de IA importantes usando 180 relógios analógicos personalizados.

Isso vai além dos relógios. Os resultados destacam limitações fundamentais na forma como os sistemas de IA processam e raciocinam sobre informações visuais. “Ler relógios analógicos estabelece um alto padrão para realizar raciocínio no espaço visual”, observa Safar no artigo de pesquisa. A tarefa exige que os modelos identifiquem os ponteiros do relógio, entendam suas relações e traduzam a posição visual em tempo numérico.

A lacuna de desempenho se torna ainda mais impressionante ao examinar os padrões de erro. Quando os humanos cometiam erros, o erro mediano era de apenas três minutos. Os modelos de IA, por outro lado, erravam a marca por uma a três horas – aproximadamente equivalente a adivinhação aleatória em um relógio de 12 horas.

Fraquezas Específicas Reveladas

Os sistemas de IA lutaram particularmente com:

• Números romanos (3,2% de precisão)
• Relógios com faces espelhadas ou invertidas
• Fundos coloridos ou designs complexos
• Relógios com ponteiros de segundos que exigem leituras precisas

Interessantemente, quando os modelos de IA conseguiam ler um relógio com sucesso, eles performavam bem em tarefas subsequentes, como adicionar tempo ou converter fusos horários. Isso sugere que o desafio principal está na reconhecimento visual inicial, e não no raciocínio matemático.

Análise de Desempenho da Indústria

Os modelos da Google lideraram o grupo, com Gemini 2.5 Pro alcançando 13,3% de precisão e Gemini 2.5 Flash atingindo 10,5%. GPT-5 da OpenAI marcou 8,4%, enquanto os modelos Claude da Anthropic apresentaram desempenho inferior, com Claude 4 Sonnet em 4,2% e Claude 4.1 Opus em 5,6%.

O modelo Grok 4 da xAI apresentou resultados surpreendentemente ruins, com 0,7% de precisão, embora isso tenha decorrido do modelo incorretamente sinalizar 63% de todos os relógios como mostrando horários impossíveis, quando apenas 20,6% realmente o faziam.

Fonte: Alek Safar

Implicações Mais Amplas para o Desenvolvimento de IA

O estudo se baseia na abordagem de benchmark “fácil para humanos, difícil para IA” vista em testes como ARC-AGI e SimpleBench. Embora os sistemas de IA tenham rapidamente conquistado tarefas intensivas em conhecimento e até superado o desempenho humano em muitos testes padronizados, o raciocínio visual básico permanece problemático.

A pesquisa sugere que as abordagens de escalabilidade atuais podem não resolver os desafios de raciocínio visual. Safar hipotetiza que relógios analógicos podem estar subrepresentados nos dados de treinamento e que traduzir representações visuais de relógios em texto para raciocínio cria complicações adicionais.

O ClockBench se junta a uma coleção crescente de benchmarks projetados para identificar limitações de IA que não são imediatamente óbvias a partir do desempenho em testes tradicionais. O conjunto de dados completo permanece privado para evitar contaminação de futuros treinamentos de IA, com apenas pequenas amostras disponibilizadas publicamente para testes.

Os resultados levantam questões sobre se os paradigmas atuais de desenvolvimento de IA podem abordar essas lacunas de raciocínio visual ou se abordagens completamente novas serão necessárias – semelhantes à forma como a computação no tempo de teste desbloqueou o progresso em outros domínios.

Por agora, o humilde relógio analógico se destaca como uma fortaleza inesperada contra a inteligência artificial, legível por virtualmente qualquer humano, mas confundindo os sistemas de IA mais sofisticados do mundo.