Les modèles d’IA butent sur la lecture de base des horloges tandis que les humains excellent

Une étude complète testant 11 modèles d’IA de pointe contre des humains dans la lecture d’horloges analogiques a révélé une faiblesse surprenante dans les systèmes d’intelligence artificielle actuels. Alors que les humains ont atteint 89,1 % de précision dans la lecture de l’heure, le meilleur modèle de Google (GOOGL ) n’a réussi qu’à atteindre 13,3 % de précision sur le même test.

L’étude ClockBench, menée par le chercheur Alek Safar, démontre que même les systèmes d’IA les plus avancés ont du mal avec les tâches visuelles que la plupart des gens maîtrisent dès l’enfance. Le benchmark a testé des systèmes de Google, OpenAI, Anthropic et d’autres laboratoires d’IA majeurs à l’aide de 180 horloges analogiques personnalisées.

Cela va au-delà des horloges. Les résultats mettent en évidence les limitations fondamentales de la façon dont les systèmes d’IA traitent et raisonnent sur les informations visuelles. “La lecture des horloges analogiques fixe une barre élevée pour la raisonnement dans l’espace visuel”, note Safar dans le document de recherche. La tâche nécessite que les modèles identifient les aiguilles de l’horloge, comprennent leurs relations et traduisent la position visuelle en temps numérique.

L’écart de performance devient encore plus frappant lorsqu’on examine les modèles d’erreur. Lorsque les humains se trompaient, l’erreur médiane était de seulement trois minutes. Les modèles d’IA, en revanche, manquaient la marque de une à trois heures – ce qui équivaut approximativement à des devinettes aléatoires sur une horloge de 12 heures.

Faiblesses spécifiques révélées

Les systèmes d’IA ont particulièrement eu du mal avec :

• Les chiffres romains (3,2 % de précision)
• Les visages d’horloge miroirs ou à l’envers
• Les fonds colorés ou les conceptions complexes
• Les horloges avec des secondes nécessitant des lectures précises

Il est intéressant de noter que lorsque les modèles d’IA ont réussi à lire une horloge, ils ont performé bien sur les tâches suivantes comme l’ajout de temps ou la conversion de fuseau horaire. Cela suggère que le défi principal réside dans la reconnaissance visuelle initiale plutôt que dans la raison mathématique.

Analyse des performances de l’industrie

Les modèles de Google ont mené la tête, avec Gemini 2.5 Pro atteignant 13,3 % de précision et Gemini 2.5 Flash atteignant 10,5 %. OpenAI’s GPT-5 a obtenu 8,4 %, tandis que les modèles Claude d’Anthropic ont performé moins bien, avec Claude 4 Sonnet à 4,2 % et Claude 4.1 Opus à 5,6 %.

xAI’s Grok 4 a affiché des résultats surprenamment mauvais à 0,7 % de précision, bien que cela soit dû au fait que le modèle a incorrectement signalé 63 % de toutes les horloges comme affichant des heures impossibles alors que seulement 20,6 % l’ont réellement fait.

Source : Alek Safar

Implications plus larges pour le développement de l’IA

L’étude s’appuie sur l’approche de référence “facile pour les humains, difficile pour l’IA” telle que vue dans des tests comme ARC-AGI et SimpleBench. Alors que les systèmes d’IA ont rapidement conquis des tâches intensives en connaissances et même dépassé les performances humaines sur de nombreux tests standardisés, la raison visuelle de base reste problématique.

La recherche suggère que les approches de mise à l’échelle actuelles peuvent ne pas résoudre les défis de raisonnement visuel. Safar hypothèse que les horloges analogiques peuvent être sous-représentées dans les données d’entraînement et que la traduction des représentations visuelles d’horloge en texte pour la raison crée des complications supplémentaires.

ClockBench rejoint une collection croissante de références conçues pour identifier les limites de l’IA qui ne sont pas immédiatement évidentes à partir des performances sur les tests traditionnels. L’ensemble de données complet reste privé pour empêcher la contamination des futurs entraînements d’IA, avec seulement de petits échantillons rendus publics pour les tests.

Les résultats soulèvent des questions sur la possibilité que les paradigmes de développement d’IA existants puissent résoudre ces lacunes de raisonnement visuel ou si de nouvelles approches seront nécessaires – similaires à la façon dont le calcul au moment des tests a débloqué les progrès dans d’autres domaines.

Pour l’instant, l’humble horloge analogique se dresse comme une forteresse inattendue contre l’intelligence artificielle, lisible par virtuellement tout humain mais déconcertant les systèmes d’IA les plus sophistiqués du monde.