A Luta do AI para Ler Relógios Analógicos Pode Ter um Significado Mais Profundo

Um novo artigo de pesquisadores da China e da Espanha descobriu que mesmo modelos de IA multimodais avançados, como o GPT-4.1, lutam para dizer a hora a partir de imagens de relógios analógicos. Pequenas alterações visuais nos relógios podem causar erros de interpretação significativos, e o ajuste fino apenas ajuda com exemplos familiares. Os resultados levantam preocupações sobre a confiabilidade desses modelos quando enfrentam imagens desconhecidas em tarefas do mundo real.

Quando os humanos desenvolvem uma compreensão profunda o suficiente de um domínio, como a gravidade ou outros princípios físicos básicos, vamos além de exemplos específicos para entender as abstrações subjacentes. Isso nos permite aplicar esse conhecimento de forma criativa em diferentes contextos e reconhecer novas instâncias, mesmo aquelas que nunca vimos antes, identificando o princípio em ação.

Quando um domínio é suficientemente importante, podemos até começar a percebê-lo onde ele não existe, como no caso da pareidolia, impulsionada pelo alto custo de não reconhecer uma instância real. Tanto é forte esse mecanismo de reconhecimento de padrões que nos leva a encontrar uma ampla gama de padrões onde não há.

Ao ensinar crianças a contar o tempo, um dos primeiros conjuntos de dados visuais que elas são expostas é o relógio didático, onde material impresso ou relógios analógicos interativos são usados para ensinar a contar o tempo:

Materiais didáticos para ajudar as crianças a aprender a contar o tempo. Fonte: https://www.youtube.com/watch?v=IBBQXBhSNUs

Embora as mudanças de moda no design de relógios possam às vezes nos desafiar, a resiliência dessa compreensão inicial é impressionante, permitindo-nos discernir faces de relógios analógicos mesmo diante de escolhas de design complexas ou ‘exóticas’:

Alguns relógios com faces desafiadoras na moda de relógios.

Os humanos não precisam de milhares de exemplos para aprender como os relógios funcionam; uma vez que o conceito básico é compreendido, podemos reconhecê-lo em quase qualquer forma, mesmo quando distorcido ou abstrato.

A dificuldade que os modelos de IA enfrentam com essa tarefa, por outro lado, destaca um problema mais profundo: sua aparente força pode depender mais da exposição em alta volume do que da compreensão.

Além do Jogo de Imitação?

A tensão entre o desempenho de superfície e a compreensão genuína tem surgido repetidamente em investigações recentes de grandes modelos. No mês passado, a Universidade de Zhejiang e a Universidade de Westlake redefiniram a questão em um artigo intitulado Os LLMs de nível de PhD realmente compreendem a adição elementar? (não é o foco deste artigo), concluindo:

‘Apesar dos benchmarks impressionantes, os modelos mostram uma dependência crítica do reconhecimento de padrões em vez de uma compreensão real, evidenciada por falhas com representações simbólicas e violações de propriedades básicas.

‘A provisão de regras explícitas que prejudicam o desempenho sugere restrições arquitetônicas inerentes. Essas percepções revelam lacunas de avaliação e destacam a necessidade de arquiteturas capazes de raciocínio matemático genuíno além do reconhecimento de padrões.’

Esta semana, a questão surge novamente, agora em uma colaboração entre a Universidade de Aeronáutica e Astronáutica de Nanjing e a Universidade Politécnica de Madrid, na Espanha. Intitulado Os Modelos de Linguagem Multimodais (MLLMs) Realmente Aprendem a Ler a Hora em Relógios Analógicos?, o novo artigo explora como bem os modelos multimodais entendem a leitura de hora.

Embora o progresso da pesquisa seja coberto apenas em detalhes gerais no artigo, os testes iniciais dos pesquisadores estabeleceram que o modelo de linguagem multimodal GPT-4.1 da OpenAI lutou para ler a hora corretamente a partir de uma diversidade de imagens de relógios, frequentemente dando respostas incorretas, mesmo em casos simples.

Isso aponta para uma possível lacuna nos dados de treinamento do modelo, levantando a necessidade de um conjunto de dados mais equilibrado para testar se o modelo pode realmente aprender o conceito subjacente. Portanto, os autores criaram um conjunto de dados sintéticos de relógios analógicos, cobrindo uniformemente todos os tempos possíveis e evitando os vieses usuais encontrados em imagens da internet:

Um exemplo do conjunto de dados sintéticos de relógios analógicos dos pesquisadores, usado para ajustar um modelo GPT no novo trabalho. Fonte: https://huggingface.co/datasets/migonsa/analog_watches_finetune

Antes de ajustar o novo conjunto de dados, o GPT-4.1 consistentemente falhou em ler esses relógios. Depois de alguma exposição ao novo conjunto, no entanto, seu desempenho melhorou – mas apenas quando as novas imagens se pareciam com as que ele já havia visto.

Quando a forma do relógio ou o estilo das mãos mudou, a precisão caiu abruptamente; mesmo pequenas alterações, como mãos mais finas ou pontas de seta (imagem da direita abaixo), foram suficientes para confundir o modelo; e o GPT-4.1 lutou ainda mais para interpretar relógios ‘derretidos’ de Dali:

Imagens de relógios com design padrão (esquerda), forma distorcida (meio) e mãos modificadas (direita), ao lado dos tempos retornados pelo GPT-4.1 antes e após o ajuste fino. Fonte: https://arxiv.org/pdf/2505.10862

Os autores deduzem que os modelos atuais, como o GPT-4.1, podem estar aprendendo a leitura de relógios principalmente por meio do reconhecimento de padrões visuais, em vez de um conceito mais profundo de tempo, afirmando:

‘[GPT 4.1] falha quando o relógio é deformado ou quando as mãos são alteradas para serem mais finas e ter uma ponta de seta. O Erro Absoluto Médio (MAE) na estimativa do tempo sobre 150 tempos aleatórios foi de 232,48s para os relógios iniciais, 1380,69s quando a forma é deformada e 3726,93s quando as mãos são alteradas.

‘Esses resultados sugerem que o MLLM não aprendeu a ler a hora, mas memorizou padrões.’

Tempo Suficiente

A maioria dos conjuntos de dados de treinamento depende de imagens da web raspadas, que tendem a repetir certos tempos – especialmente 10:10, um ajuste popular em anúncios de relógios:

Um exemplo do novo artigo, mostrando a prevalência do tempo ‘dez para as dez’ em imagens de relógios analógicos.

Como resultado desse alcance limitado de tempos representados, o modelo pode ver apenas uma faixa estreita de configurações de relógios possíveis, limitando sua capacidade de generalizar além desses padrões repetitivos.

Quanto ao porquê os modelos falham em interpretar os relógios distorcidos, o artigo afirma:

‘Embora o GPT-4.1 desempenhe excepcionalmente bem com imagens de relógios padrão, é surpreendente que a modificação das mãos do relógio, tornando-as mais finas e adicionando pontas de seta, leve a uma queda significativa na precisão.

‘Intuitivamente, alguém poderia esperar que a mudança visual mais complexa – um mostrador distorcido – teria um impacto maior no desempenho, mas essa modificação parece ter um efeito relativamente menor.

‘Isso levanta uma questão: como os MLLMs interpretam relógios e por que eles falham? Uma possibilidade é que mãos mais finas impeçam a capacidade do modelo de perceber a direção, enfraquecendo sua compreensão da orientação espacial.

‘Alternativamente, pode haver outros fatores que causem confusão quando o modelo tenta combinar as mãos da hora, do minuto e do segundo em uma leitura de tempo precisa.’

Os autores argumentam que identificar a causa raiz dessas falhas é fundamental para avançar os modelos multimodais: se a questão estiver na forma como o modelo percebe a direção espacial, o ajuste fino pode oferecer uma solução simples; mas se o problema decorrer de uma dificuldade mais ampla em integrar várias pistas visuais, isso aponta para uma fraqueza mais fundamental na forma como esses sistemas processam informações.

Testes de Ajuste Fino

Para testar se as falhas do modelo pudessem ser superadas com exposição, o GPT-4.1 foi ajustado no conjunto de dados sintéticos mencionado anteriormente. Antes do ajuste fino, suas previsões estavam amplamente dispersas, com erros significativos em todos os tipos de relógios. Após o ajuste fino no conjunto, a precisão melhorou significativamente em faces de relógios padrão e, em menor medida, em relógios distorcidos.

No entanto, relógios com mãos modificadas, como formas mais finas ou pontas de seta, continuaram a produzir grandes erros.

Dois modos de falha distintos surgiram: em relógios normais e distorcidos, o modelo geralmente subestimou a direção das mãos; mas em relógios com estilos de mão alterados, ele frequentemente confundiu a função de cada mão, confundindo a mão da hora com a mão do minuto ou vice-versa.

Uma comparação ilustrando a fraqueza inicial do modelo e os ganhos parciais alcançados por meio do ajuste fino, mostrando o tempo previsto versus o tempo real, em segundos, para 150 relógios selecionados aleatoriamente. À esquerda, antes do ajuste fino, as previsões do GPT-4.1 estão dispersas e frequentemente longe dos valores corretos, indicados pela linha diagonal vermelha. À direita, após o ajuste fino em um conjunto de dados sintéticos equilibrado, as previsões se alinham muito mais de perto com a verdade fundamentada, embora alguns erros permaneçam.

Isso sugere que o modelo havia aprendido a associar recursos visuais, como a espessura da mão, com papéis específicos e lutou quando essas pistas mudaram.

A melhoria limitada em designs desconhecidos levanta mais dúvidas sobre se um modelo desse tipo aprende o conceito abstrato de leitura de hora ou apenas refina seu reconhecimento de padrões.

Sinais de Mão

Embora o ajuste fino tenha melhorado o desempenho do GPT-4.1 em relógios analógicos convencionais, teve muito menos impacto em relógios com mãos mais finas ou formas de ponta de seta, levantando a possibilidade de que as falhas do modelo decorressem menos da razão abstrata e mais da confusão sobre qual mão era qual.

Para testar se a precisão poderia melhorar se essa confusão fosse removida, uma nova análise foi realizada nas previsões do modelo para o conjunto de dados ‘mãos modificadas’. As saídas foram divididas em dois grupos: casos em que o GPT-4.1 reconheceu corretamente as mãos da hora, do minuto e do segundo; e casos em que não o fez.

As previsões foram avaliadas para Erro Absoluto Médio (MAE) antes e após o ajuste fino e os resultados comparados com os de relógios padrão; o erro angular também foi medido para cada mão usando a posição do mostrador como base:

Comparação de erros para relógios com e sem confusão de papéis de mão no conjunto de dados ‘mãos modificadas’ antes e após o ajuste fino.

A confusão dos papéis das mãos do relógio levou aos maiores erros. Quando o GPT-4.1 confundiu a mão da hora com a mão do minuto ou vice-versa, as estimativas de tempo resultantes estavam frequentemente longe. Em contraste, os erros causados por uma mão corretamente identificada, mas mal interpretada, foram menores. Entre as três mãos, a mão da hora mostrou o maior erro angular antes do ajuste fino, enquanto a mão do segundo mostrou o menor.

Erro angular por tipo de mão para previsões com e sem confusão de papéis de mão, antes e após o ajuste fino, no conjunto de dados ‘mãos modificadas’.

Para se concentrar apenas em erros direcionais, a análise foi limitada a casos em que o modelo corretamente identificou a função de cada mão. Se o modelo tivesse internalizado um conceito geral de leitura de hora, seu desempenho nesses exemplos deveria ter correspondido à sua precisão em relógios padrão. Ele não o fez, e a precisão permaneceu notavelmente pior.

Para examinar se a forma da mão interferia com o senso de direção do modelo, um segundo experimento foi realizado: dois novos conjuntos de dados foram criados, cada um contendo sessenta relógios sintéticos com apenas uma mão da hora, apontando para uma marca de minuto diferente. Um conjunto usou o design de mão original e o outro usou o design alterado. O modelo foi solicitado a nomear a marca que a mão estava apontando.

Os resultados mostraram uma ligeira queda na precisão com as mãos modificadas, mas não o suficiente para explicar as falhas mais amplas do modelo. Um recurso visual desconhecido único pareceu capaz de interromper a interpretação geral do modelo, mesmo em tarefas que ele havia realizado anteriormente com sucesso.

Visão geral do desempenho do GPT-4.1 antes e após o ajuste fino em relógios padrão, distorcidos e com mãos modificadas, destacando ganhos desiguais e fraquezas persistentes.

Conclusão

Embora o foco do artigo possa parecer trivial à primeira vista, não importa especialmente se os modelos de visão-linguagem algum dia aprenderem a ler relógios analógicos com 100% de precisão. O que dá peso ao trabalho é seu foco em uma questão mais profunda e recorrente: se saturar os modelos com mais (e mais diversificados) dados pode levar ao tipo de compreensão de domínio que os humanos adquirem por meio da abstração e da generalização; ou se o único caminho viável é inundar o domínio com exemplos suficientes para antecipar cada variação provável na inferência.

Qualquer um desses caminhos levanta dúvidas sobre o que as arquiteturas atuais são realmente capazes de aprender.

Publicado pela primeira vez na segunda-feira, 19 de maio de 2025