AI-modellen struikelen over het lezen van basisklokken, terwijl mensen uitblinken

Een uitgebreide studie waarin 11 toonaangevende AI-modellen werden getest tegen mensen bij het lezen van analoge klokken, heeft een verrassende zwakte in de huidige kunstmatige intelligentiesystemen blootgelegd. Terwijl mensen 89,1% nauwkeurigheid bereikten bij het vertellen van de tijd, behaalde Google’s (GOOGL ) best presterende model slechts 13,3% nauwkeurigheid in dezelfde test.

De ClockBench-studie, uitgevoerd door onderzoeker Alek Safar, toont aan dat zelfs de meest geavanceerde AI-systemen moeite hebben met visuele taken die de meeste mensen als kind al meester zijn. De benchmark testte systemen van Google, OpenAI, Anthropic en andere grote AI-labs met 180 op maat gemaakte analoge klokken.

Dit gaat verder dan klokken. De resultaten benadrukken fundamentele beperkingen in de manier waarop AI-systemen visuele informatie verwerken en redeneren. “Het lezen van analoge klokken stelt een hoge lat voor het doen van redenering binnen de visuele ruimte”, merkt Safar op in het onderzoeksrapport. De taak vereist dat modellen klokhandsen identificeren, hun relaties begrijpen en visuele posities omzetten in numerieke tijd.

Het prestatieverschil wordt nog opvallender wanneer men de foutpatronen onderzoekt. Wanneer mensen fouten maakten, was de mediaanfout slechts drie minuten. AI-modellen daarentegen misten de markt met één tot drie uur – ongeveer gelijk aan willekeurig gokken op een 12-uurklok.

Specifieke zwakheden onthuld

AI-systemen hadden vooral moeite met:

• Romeinse cijfers (3,2% nauwkeurigheid)
• Geroteerde of omgekeerde klokgezichten
• Kleurrijke achtergronden of complexe ontwerpen
• Klokken met secondewijzers die nauwkeurige lezingen vereisen

Interessant is dat wanneer AI-modellen een klok succesvol lazen, ze het goed deden bij follow-up taken zoals tijd toevoegen of tijdszones omzetten. Dit suggereert dat de kernuitdaging ligt in de initiële visuele herkenning en niet in de wiskundige redenering.

Brancheprestaties uitgelegd

Google’s modellen leidden het pak, met Gemini 2.5 Pro die 13,3% nauwkeurigheid bereikte en Gemini 2.5 Flash die 10,5% bereikte. OpenAI’s GPT-5 scoorde 8,4%, terwijl Anthropic’s Claude-modellen lager presteerden, met Claude 4 Sonnet op 4,2% en Claude 4.1 Opus op 5,6%.

xAI’s Grok 4 boekte verrassend slechte resultaten met 0,7% nauwkeurigheid, hoewel dit voortkwam uit het feit dat het model 63% van alle klokken ten onrechte aanwees als onmogelijke tijden, terwijl slechts 20,6% dat daadwerkelijk deden.

Bron: Alek Safar

Brede implicaties voor AI-ontwikkeling

De studie bouwt voort op de “gemakkelijk voor mensen, moeilijk voor AI”-benchmarkaanpak zoals gezien in tests als ARC-AGI en SimpleBench. Terwijl AI-systemen snel kennisintensieve taken hebben veroverd en zelfs de prestaties van mensen hebben overtroffen op veel gestandaardiseerde tests, blijft basale visuele redenering problematisch.

Het onderzoek suggereert dat de huidige schaalmethode mogelijk de visuele redeneeruitdagingen niet kan oplossen. Safar vermoedt dat analoge klokken mogelijk ondervertegenwoordigd zijn in de trainingsgegevens en dat het omzetten van visuele klokrepresentaties in tekst voor redenering extra complicaties oplevert.

ClockBench voegt zich bij een groeiende collectie benchmarks die zijn ontworpen om AI-beperkingen te identificeren die niet onmiddellijk duidelijk zijn uit de prestaties op traditionele tests. De volledige dataset blijft privé om toekomstige AI-training te voorkomen, met slechts kleine monsters die openbaar worden gemaakt voor testen.

De resultaten roepen vragen op over of bestaande AI-ontwikkelingsparadigma’s deze visuele redeneergaten kunnen aanpakken of dat geheel nieuwe benaderingen nodig zullen zijn – vergelijkbaar met hoe test-tijdcomputing vooruitgang boekte in andere domeinen.

Voorlopig staat de bescheiden analoge klok als een onverwachte vesting tegen kunstmatige intelligentie, leesbaar voor vrijwel elke mens, maar verwarrend voor de meest geavanceerde AI-systemen.