Les difficultés des IA à lire les horloges analogiques pourraient avoir une signification plus profonde

Une nouvelle étude menée par des chercheurs en Chine et en Espagne révèle que même les modèles d’IA multimodaux avancés, tels que GPT-4.1, peinent à lire l’heure sur des images d’horloges analogiques. De petits changements visuels dans les horloges peuvent entraîner de graves erreurs d’interprétation, et la fine-tuning ne permet d’améliorer les performances qu’avec des exemples familiers. Les résultats soulèvent des inquiétudes quant à la fiabilité de ces modèles lorsqu’ils sont confrontés à des images inconnues dans des tâches du monde réel.

Lorsque les humains développent une compréhension suffisamment approfondie d’un domaine, tel que la gravité ou d’autres principes physiques fondamentaux, nous dépassons les exemples spécifiques pour saisir les abstractions sous-jacentes. Cela nous permet d’appliquer cette connaissance de manière créative dans différents contextes et de reconnaître de nouvelles instances, même celles que nous n’avons jamais vues auparavant, en identifiant le principe en action.

Lorsqu’un domaine présente suffisamment d’importance, nous pouvons même commencer à le percevoir là où il n’existe pas, comme dans le cas de la paréidolie, motivée par le coût élevé de ne pas reconnaître une instance réelle. Ce mécanisme de reconnaissance de modèles est si fort qu’il nous amène même à trouver un plus large éventail de modèles là où il n’y en a pas.

Plus tôt et plus fréquemment un domaine est inculqué en nous, plus sa base est solide et plus sa persistance est longue; et l’un des premiers ensembles de données visuelles auxquels nous sommes exposés dans l’enfance provient des horloges d’enseignement, où des documents imprimés ou des horloges analogiques interactives sont utilisés pour nous apprendre à lire l’heure:

Aides d’enseignement pour aider les enfants à apprendre à lire l’heure. Source: https://www.youtube.com/watch?v=IBBQXBhSNUs

Bien que les tendances changeantes dans la conception d’horloges puissent parfois nous défier, la résilience de cette maîtrise de domaine est impressionnante, nous permettant de discerner les visages d’horloges analogiques même face à des choix de conception complexes ou « excentriques »:

Certaines faces de montres difficiles à lire dans la mode horlogère. Source: https://www.ablogtowatch.com/wait-a-minute-legibility-is-the-most-important-part-of-watch-design/

Les humains n’ont pas besoin de milliers d’exemples pour apprendre le fonctionnement des horloges; une fois le concept de base compris, nous pouvons le reconnaître sous presque toutes ses formes, même lorsqu’il est déformé ou abstrait.

La difficulté que les modèles d’IA éprouvent avec cette tâche met en évidence un problème plus profond: leur force apparente peut dépendre plus de l’exposition à un grand volume de données que d’une véritable compréhension.

Au-delà du jeu de l’imitation?

La tension entre les performances de surface et la véritable « compréhension » a émergé à plusieurs reprises dans les investigations récentes de grands modèles. Le mois dernier, l’Université de Zhejiang et l’Université de Westlake ont reformulé la question dans un document intitulé Les modèles de langage LLM de niveau PhD comprennent-ils vraiment l’addition élémentaire? (ce qui n’est pas l’objet de cet article), concluant:

‘Malgré des performances impressionnantes en termes de références, les modèles montrent une dépendance critique à l’égard de la reconnaissance de modèles plutôt qu’une véritable compréhension, comme en témoignent les échecs avec les représentations symboliques et les violations de propriétés de base.

‘La fourniture explicite de règles qui altèrent les performances suggère des contraintes architecturales inhérentes. Ces connaissances révèlent des lacunes dans l’évaluation et mettent en évidence le besoin d’architectures capables d’un raisonnement mathématique véritable au-delà de la reconnaissance de modèles.’

Cette semaine, la question se pose à nouveau, maintenant dans une collaboration entre l’Université aéronautique et astronautique de Nanjing et l’Université polytechnique de Madrid en Espagne. Intitulé Les modèles de langage multimodaux (MLLM) ont-ils vraiment appris à lire l’heure sur les horloges analogiques?, le nouveau document explore comment les modèles multimodaux comprennent le fait de lire l’heure.

Bien que le progrès de la recherche ne soit couvert que dans les grandes lignes dans le document, les tests initiaux des chercheurs ont établi que le modèle de langage multimodal GPT-4.1 d’OpenAI peinait à lire correctement l’heure à partir d’un ensemble diversifié d’images d’horloges, donnant souvent des réponses incorrectes même dans des cas simples.

Ceci suggère un éventuel écart dans les données de formation du modèle, soulignant le besoin d’un ensemble de données plus équilibré pour tester si le modèle peut réellement apprendre le concept sous-jacent. Par conséquent, les auteurs ont créé un ensemble de données synthétiques d’horloges analogiques, couvrant uniformément toutes les heures possibles et évitant les biais habituels trouvés dans les images internet:

Un exemple de l’ensemble de données synthétiques d’horloges analogiques des chercheurs, utilisé pour affiner un modèle GPT dans le nouveau travail. Source: https://huggingface.co/datasets/migonsa/analog_watches_finetune

Avant la fine-tuning sur le nouvel ensemble de données, GPT-4.1 échouait systématiquement à lire ces horloges. Après une certaine exposition au nouvel ensemble, cependant, ses performances ont amélioré – mais seulement lorsque les nouvelles images ressemblaient à celles qu’il avait déjà vues.

Lorsque la forme de l’horloge ou le style des aiguilles changeait, la précision chutait brusquement; même de petits ajustements, tels que des aiguilles plus minces ou des pointes de flèche (image la plus à droite ci-dessous), suffisaient pour le dérouter; et GPT-4.1 peinait en outre à interpréter les horloges « fondantes » de Dali:

Images d’horloges avec conception standard (gauche), forme déformée (milieu) et aiguilles modifiées (droite), avec les heures renvoyées par GPT-4.1 avant et après la fine-tuning. Source: https://arxiv.org/pdf/2505.10862

Les auteurs déduisent que les modèles actuels, tels que GPT-4.1, pourraient donc apprendre la lecture des horloges principalement par reconnaissance de modèles visuels, plutôt que par une compréhension plus profonde du concept de l’heure, affirmant:

‘[GPT 4.1] échoue lorsque l’horloge est déformée ou lorsque les aiguilles sont modifiées pour être plus minces et avoir une pointe de flèche. L’erreur absolue moyenne (MAE) dans l’estimation de l’heure sur 150 heures aléatoires était de 232,48 secondes pour les horloges initiales, 1380,69 secondes lorsque la forme est déformée et 3726,93 secondes lorsque les aiguilles sont modifiées.

‘Ces résultats suggèrent que le MLLM n’a pas appris à lire l’heure mais a plutôt mémorisé des modèles.’

Assez de temps

La plupart des ensembles de données de formation s’appuient sur des images web scrapées, qui ont tendance à répéter certaines heures – en particulier 10:10, un réglage populaire dans les publicités pour montres:

Un exemple du nouveau document, montrant la prévalence de l’heure « dix heures dix » dans les images d’horloges analogiques.

En raison de cette gamme limitée d’heures représentées, le modèle peut ne voir qu’une gamme étroite de configurations d’horloges possibles, limitant sa capacité à généraliser au-delà de ces modèles répétitifs.

En ce qui concerne la raison pour laquelle les modèles échouent à interpré correctement les horloges déformées, le document indique:

‘Bien que GPT-4.1 performe exceptionnellement bien avec des images d’horloges standard, il est surprenant que la modification des aiguilles d’horloge en les rendant plus minces et en leur ajoutant des pointes de flèche conduise à une baisse significative de sa précision.

‘Intuitivement, on pourrait s’attendre à ce que le changement visuel plus complexe – un cadran déformé – ait un impact plus important sur les performances, mais cette modification semble avoir un effet relativement plus faible.

‘Cela soulève une question: comment les MLLM interprètent-ils les horloges, et pourquoi échouent-ils? Une possibilité est que les aiguilles plus minces gênent la capacité du modèle à percevoir la direction, affaiblissant sa compréhension de l’orientation spatiale.

‘Alternativement, il pourrait y avoir d’autres facteurs qui causent la confusion lorsque le modèle tente de combiner les aiguilles des heures, des minutes et des secondes en une lecture de l’heure précise.’

Les auteurs soutiennent qu’identifier la cause profonde de ces échecs est essentiel pour faire progresser les modèles multimodaux: si le problème réside dans la façon dont le modèle perçoit la direction spatiale, la fine-tuning pourrait offrir une solution simple; mais si le problème découle d’une difficulté plus fondamentale à intégrer plusieurs indices visuels, il s’agit d’une faiblesse plus fondamentale dans la façon dont ces systèmes traitent l’information.

Tests de fine-tuning

Pour tester si les échecs du modèle pouvaient être surmontés par l’exposition, GPT-4.1 a été affiné sur l’ensemble de données synthétiques mentionné plus tôt. Avant la fine-tuning, ses prédictions étaient largement dispersées, avec des erreurs significatives sur tous les types d’horloges. Après la fine-tuning sur l’ensemble, la précision a nettement amélioré sur les visages d’horloges standard, et, dans une moindre mesure, sur les horloges déformées.

Cependant, les horloges avec des aiguilles modifiées, telles que des formes plus minces ou des pointes de flèche, ont continué à produire de grandes erreurs.

Deux modes d’échec distincts sont apparus: sur les horloges normales et déformées, le modèle a souvent mal jugé la direction des aiguilles; mais sur les horloges avec des styles de main modifiés, il a souvent confondu la fonction de chaque main, prenant l’heure pour la minute ou la minute pour la seconde.

Une comparaison illustrant la faiblesse initiale du modèle et les gains partiels réalisés grâce à la fine-tuning, montrant le temps prédit par rapport au temps réel, en secondes, pour 150 horloges sélectionnées aléatoirement. À gauche, avant la fine-tuning, les prédictions de GPT-4.1 sont dispersées et souvent loin des valeurs correctes, indiquées par la ligne diagonale rouge. À droite, après la fine-tuning sur un ensemble de données synthétiques équilibré, les prédictions s’alignent beaucoup plus étroitement sur la vérité de base, bien que certaines erreurs persistent.

Ceci suggère que le modèle a appris à associer des caractéristiques visuelles comme l’épaisseur des aiguilles à des rôles spécifiques et a eu du mal lorsque ces indices changeaient.

L’amélioration limitée sur les conceptions inconnues soulève davantage de doutes sur la question de savoir si un modèle de ce type apprend le concept abstrait de la lecture de l’heure ou se contente d’affiner sa reconnaissance de modèles.

Signes de main

Ainsi, même si la fine-tuning a amélioré les performances de GPT-4.1 sur les horloges analogiques conventionnelles, elle a eu beaucoup moins d’impact sur les horloges avec des aiguilles plus minces ou des pointes de flèche, soulevant la possibilité que les échecs du modèle proviennent moins de la raison abstraite et plus de la confusion sur laquelle est quelle main.

Pour tester si la précision pourrait s’améliorer si cette confusion était éliminée, une nouvelle analyse a été menée sur les prédictions du modèle pour l’ensemble de données « main modifiée ». Les sorties ont été divisées en deux groupes: les cas où GPT-4.1 a correctement reconnu les aiguilles des heures, des minutes et des secondes; et les cas où il ne l’a pas fait.

Les prédictions ont été évaluées pour l’erreur absolue moyenne (MAE) avant et après la fine-tuning, et les résultats ont été comparés à ceux des horloges standard; l’erreur angulaire a également été mesurée pour chaque main en utilisant la position du cadran comme référence:

Comparaison des erreurs pour les horloges avec et sans confusion du rôle de la main dans l’ensemble de données « main modifiée » avant et après la fine-tuning.

La confusion des rôles des aiguilles d’horloge a conduit aux plus grandes erreurs. Lorsque GPT-4.1 a confondu l’aiguille des heures avec l’aiguille des minutes ou vice versa, les estimations de l’heure qui en ont résulté étaient souvent loin de la réalité. En revanche, les erreurs causées par une mauvaise estimation de la direction d’une main correctement identifiée étaient plus faibles. Parmi les trois mains, l’aiguille des heures a montré l’erreur angulaire la plus élevée avant la fine-tuning, tandis que l’aiguille des secondes a montré l’erreur la plus faible.

Erreur angulaire par type de main pour les prédictions avec et sans confusion du rôle de la main, avant et après la fine-tuning, dans l’ensemble de données « main modifiée ».

Pour se concentrer sur les seules erreurs directionnelles, l’analyse a été limitée aux cas où le modèle a correctement identifié la fonction de chaque main. Si le modèle avait internalisé un concept général de lecture de l’heure, ses performances sur ces exemples auraient dû correspondre à son exactitude sur les horloges standard. Ce n’était pas le cas, et la précision est restée nettement inférieure.

Pour examiner si la forme de la main interfère avec le sens de la direction du modèle, une deuxième expérience a été réalisée: deux nouveaux ensembles de données ont été créés, chacun contenant soixante horloges synthétiques avec seulement une aiguille des heures, pointant vers une marque des minutes différente. Un ensemble utilisait la conception d’aiguille d’origine, et l’autre la conception modifiée. Le modèle a été invité à nommer la marque vers laquelle pointait l’aiguille.

Les résultats ont montré une légère baisse de précision avec les mains modifiées, mais pas suffisante pour expliquer les échecs plus larges du modèle. Un seul trait visuel inconnu semblait capable de perturber l’interprétation globale du modèle, même dans des tâches qu’il avait précédemment exécutées avec succès.

Aperçu des performances de GPT-4.1 avant et après la fine-tuning sur les horloges standard, déformées et à mains modifiées, mettant en évidence les gains inégaux et les faiblesses persistantes.

Conclusion

Même si l’objet de l’étude peut sembler trivial au premier abord, il n’est pas particulièrement important que les modèles de vision-langage apprennent jamais à lire les horloges analogiques avec une précision de 100 %. Ce qui donne du poids à ce travail est son focus sur une question plus profonde et récurrente: si la saturation des modèles avec plus (et plus diversifiées) de données peut conduire au type de compréhension de domaine que les humains acquièrent par abstraction et généralisation; ou si la seule voie viable est de submerger le domaine avec suffisamment d’exemples pour anticiper chaque variation probable à l’inférence.

Chacune de ces voies soulève des doutes sur ce que les architectures actuelles sont vraiment capables d’apprendre.

Publié pour la première fois lundi 19 mai 2025