AI-modeller snubler over grundlæggende ur-læsning, mens mennesker excellerer

En omfattende studie, der testede 11 førende AI-modeller mod mennesker i læsning af analoge ure, har afsløret en overraskende svaghed i nuværende kunstig intelligenssystemer. Mens mennesker opnåede 89,1% nøjagtighed i at sige tid, opnåede Googles bedst performende model kun 13,3% nøjagtighed i den samme test.

ClockBench-studiet, der blev gennemført af forskeren Alek Safar, demonstrerer, at selv de mest avancerede AI-systemer kæmper med visuelle opgaver, som de fleste mennesker mestrer som børn. Benchmark-testen testede systemer fra Google (GOOGL ), OpenAI, Anthropic og andre større AI-laboratorier ved hjælp af 180 specialdesignede analoge ure.

Dette går udover ure. Resultaterne fremhæver grundlæggende begrænsninger i, hvordan AI-systemer behandler og forstår visuel information. “Læsning af analoge ure sætter en høj standard for at udføre grundlæggende visuel forståelse,” siger Safar i forskningspapiret. Opgaven kræver, at modellerne kan identificere urvisere, forstå deres relationer og oversætte visuel positionering til numerisk tid.

Forskellen i præstation bliver endnu mere slående, når man undersøger fejlmønstre. Når mennesker begik fejl, var medianfejlen kun tre minutter. AI-modellerne, på den anden side, missede målet med en til tre timer – omtrent lig med tilfældigt gætning på et 12-timers ur.

Specifikke svagheder afsløret

AI-systemer havde særligt svigt med:

• Romerske tal (3,2% nøjagtighed)
• Spejlede eller baglæns uransigter
• Farvede baggrunde eller komplekse designs
• Ure med sekundvisere, der kræver præcise læsninger

Interessant nok opførte AI-modellerne sig godt, når de først havde læst et ur korrekt, og de udførte følgeopgaver som at tilføje tid eller omregne tidszoner. Dette tyder på, at den grundlæggende udfordring ligger i den visuelle genkendelse og ikke i den matematiske forståelse.

Branchens præstationsgennemgang

Googles modeller lå foran, med Gemini 2.5 Pro, der opnåede 13,3% nøjagtighed, og Gemini 2.5 Flash, der nåede 10,5%. OpenAIs GPT-5 scorede 8,4%, mens Anthropics Claude-modeller opnåede lavere resultater, med Claude 4 Sonnet på 4,2% og Claude 4.1 Opus på 5,6%.

xAIs Grok 4 viste overraskende dårlige resultater med 0,7% nøjagtighed, selvom dette skyldtes, at modellen forkert markerede 63% af alle ure som viste umulige tider, hvor kun 20,6% faktisk gjorde det.

Kilde: Alek Safar

Broader implikationer for AI-udvikling

Studiet bygger på “let for mennesker, svært for AI”-benchmark-tilgangen, som ses i tests som ARC-AGI og SimpleBench. Mens AI-systemer har erobret videnintensive opgaver og endda overgået menneskelig præstation på mange standardtests, forbliver grundlæggende visuel forståelse problematisk.

Forskningen antyder, at nuværende skaleringsmetoder måske ikke kan løse visuel forståelsesudfordringer. Safar formoder, at analoge ure måske er underrepræsenterede i træningsdata, og at oversættelse af visuelle urrepræsentationer til tekst for forståelse skaber yderligere komplikationer.

ClockBench slutter sig til en voksende samling af benchmarks, der er designet til at identificere AI-begrænsninger, der ikke er umiddelbart åbenlyse fra præstation på traditionelle tests. Den fulde dataset forbliver privat for at forhindre forurening af fremtidig AI-træning, og kun små eksempler er offentliggjort for testformål.

Resultaterne rejser spørgsmål om, hvorvidt eksisterende AI-udviklingsparadigmer kan løse disse visuelle forståelseslækker eller om helt nye tilgange vil være nødvendige – ligesom test-tid-komputering åbnede fremgang i andre domæner.

I øjeblikket står det beskedne analoge ur som en uventet fæstning mod kunstig intelligens, læseligt for næsten ethvert menneske, men forvirrende for verdens mest avancerede AI-systemer.