AI’s kamp for at læse analoge ure kan have dybere betydning

En ny artikel fra forskere i Kina og Spanien viser, at selv avancerede multimodale AI-modeller som GPT-4.1 har svært ved at fortolke tiden fra billeder af analoge ure. Små visuelle ændringer i urene kan forårsage store fortolkningsfejl, og finjustering hjælper kun med kendte eksempler. Resultaterne rejser bekymringer om disse modellers pålidelighed, når de står over for ukendte billeder i virkelige opgaver.

Når mennesker udvikler en tilstrækkelig dyb forståelse af et domæne, såsom tyngdekraft eller andre grundlæggende fysiske principper, går vi ud over specifikke eksempler og tilegner os de underliggende abstraktioner. Dette giver os mulighed for at anvende denne viden kreativt på tværs af kontekster og genkende nye eksempler, selv hvis vi aldrig har set dem før, ved at identificere principperne i aktion.

Når et domæne har tilstrækkelig stor betydning, kan vi endda begynde at opfatte det hvor det ikke eksisterer, som med pareidolia, drevet af den høje omkostning ved at ikke genkende et virkeligt eksempel. Så stærk er denne mønster-genkendelses-overlevelsesmekanisme, at den endda disposerer os til at finde en bredere række mønstre, hvor der ikke er nogen.

Jo tidligere og mere gentagne et domæne indpodres i os, jo dybere er dets grundlæggelse og livslange vedvarende; og en af de tidligste visuelle datamængder, vi udsættes for som børn, kommer i form af undervisningsure, hvor trykt materiale eller interaktive analoge ure bruges til at lære os, hvordan vi kan fortolke tiden:

Undervisningsmidler til at hjælpe børn med at lære at fortolke tiden. Kilde: https://www.youtube.com/watch?v=IBBQXBhSNUs

Selv om skiftende modenyheder i urdesign kan udfordre os, er denne tidlige domæne-mesterskabs holdbarhed ret imponerende, og giver os mulighed for at skelne analoge ur ansigter, selv i tilfælde af komplekse eller ‘ekscentriske’ designvalg:

Nogle udfordrende ansigter i urmode. Kilde: https://www.ablogtowatch.com/wait-a-minute-legibility-is-the-most-important-part-of-watch-design/

Mennesker har ikke brug for tusindvis af eksempler for at lære, hvordan ure virker; når den grundlæggende koncept er tilegnet, kan vi genkende det i næsten enhver form, selv når det er forvrænget eller abstraheret.

Den svigt, som AI-modeller oplever med denne opgave, fremhæver en dybere problemstilling: deres tilsyneladende styrke kan afhænge mere af høj-volumen eksponering end af forståelse.

Beyond the Imitation Game?

Spændingen mellem overfladisk præstation og ægte ‘forståelse’ er dukket op gentagne gange i nyere undersøgelser af store modeller. For sidste måned genformulerede Zhejiang University og Westlake University spørgsmålet i en artikel med titlen Do PhD-level LLMs Truly Grasp Elementary Addition? (ikke fokus for denne artikel), og konkluderede:

‘Trods imponerende benchmarks viser modeller kritisk afhængighed af mønster-genkendelse snarere end sand forståelse, som bevises af fejl med symbolske repræsentationer og overtrædelse af grundlæggende egenskaber.

‘Eksplicit regel-forsyning, der forringer præstation, antyder indbyggede arkitektoniske begrænsninger. Disse indsighter afslører evalueringssprækker og fremhæver behovet for arkitekturer, der kan håndtere sand matematisk resonnering ud over mønster-genkendelse.’

Denne uge rejser spørgsmålet igen, nu i et samarbejde mellem Nanjing University of Aeronautics and Astronautics og Universidad Politécnica de Madrid i Spanien. Med titlen Have Multimodal Large Language Models (MLLMs) Really Learned to Tell the Time on Analog Clocks? undersøger den nye artikel hvor godt multimodale modeller forstår tidsfortolkning.

Selv om forskningens fremgang kun er dækket i bredt omfang i artiklen, etablerede forskernes initielle tests, at OpenAI’s GPT-4.1 multimodal sprogmodel havde svært ved at korrekt læse tiden fra et diversificeret sæt af ur-billeder, og ofte gav forkerte svar, selv på simple tilfælde.

Dette peger på en mulig åbning i modellens træningsdata, og rejser behovet for en mere balanceret dataset for at teste, om modellen kan lære den underliggende koncept. Derfor oprettede forfatterne en syntetisk dataset af analoge ure, der dækkede hver mulig tid jævnt, og undgik de sædvanlige fordomme, der findes i internetbilleder:

Et eksempel fra forskernes syntetiske analoge ur-dataset, brugt til at finjustere en GPT-model i det nye arbejde. Kilde: https://huggingface.co/datasets/migonsa/analog_watches_finetune

Før finjustering på den nye dataset, fejlede GPT-4.1 konsekvent med at læse disse ure. Efter nogen eksponering for den nye samling, forbedredes dog dens præstation – men kun når de nye billeder lignede dem, den allerede havde set.

Når formen på uret eller håndstilen ændrede sig, faldt nøjagtigheden skarpt; selv små ændringer, såsom tyndere hænder eller pilehoveder (højre billeddel nedenfor), var nok til at bringe den ud af balance; og GPT-4.1 havde svært ved at fortolke Dali-inspirerede ‘smeltende ure’:

Ur-billeder med standarddesign (venstre), forvrænget form (midten) og ændret hånd (højre), sammen med de tider, der returneres af GPT-4.1 før og efter finjustering. Kilde: https://arxiv.org/pdf/2505.10862

Forfatterne sluttede, at nuværende modeller som GPT-4.1 muligvis lærer ur-læsning primært gennem visuel mønster-genkendelse, snarere end en dybere koncept af tid, og fastslog:

‘[GPT 4.1] fejler, når uret er deformeret eller når hænderne ændres til at være tyndere og have en pilehoved. Den gennemsnitlige absolutte fejl (MAE) i tidsestimationen over 150 tilfældige tider var 232,48s for de initielle ure, 1380,69s når formen er deformeret og 3726,93s når hænderne ændres.

‘Disse resultater antyder, at MLLM ikke har lært at fortolke tiden, men snarere har memoriseret mønstre.’

Tilstrækkelig Tid

De fleste træningsdatasets afhænger af web-billeder, der tenderer til at gentage bestemte tider – især 10:10, en populær indstilling i ur-reklamer:

Et eksempel fra den nye artikel, der viser hyppigheden af ‘ti over ti’-tiden i analoge ur-billeder.

Som følge af denne begrænsede række af tider, der afbildes, kan modellen kun se en snæver række af mulige ur-konfigurationer, og begrænser dens evne til at generalisere ud over disse gentagne mønstre.

Med hensyn til, hvorfor modellerne fejler med at korrekt fortolke de forvrængede ure, fastslår artiklen:

‘Selv om GPT-4.1 præsterer exceptionelt godt med standard ur-billeder, er det overraskende, at ændring af urhænderne til at være tyndere og tilføje pilehoveder fører til en betydelig nedgang i dens nøjagtighed.

‘Intuitivt kunne man forvente, at den mere visuelt komplekse ændring – en forvrænget ur-skive – ville have en større indvirkning på præstationen, men denne ændring synes at have en relativt mindre effekt.

‘Dette rejser et spørgsmål: hvordan fortolker MLLM ure, og hvorfor fejler de? En mulighed er, at tyndere hænder forringer modellens evne til at opfatte retning, og svækker dens forståelse af rumlig orientering.

‘Alternativt kan der være andre faktorer, der forårsager forvirring, når modellen forsøger at kombinere time-, minut- og sekundhænderne til en præcis tidslæsning.’

Forfatterne fastslår, at identifikation af årsagen til disse fejl er nøgle til at fremme multimodale modeller: hvis problemet ligger i, hvordan modellen opfatter rumlig retning, kan finjustering muligvis tilbyde en enkel løsning; men hvis problemet stammer fra en bredere svigt i at integrere multiple visuelle signaler, peger det på en mere grundlæggende svigt i, hvordan disse systemer behandler information.

Finjusteringstests

For at teste, om modellens fejl kunne overvindes med eksponering, blev GPT-4.1 finjusteret på den ovennævnte og omfattende syntetiske dataset. Før finjustering var dens forudsigelser spredt over alle typer ure, med betydelige fejl. Efter finjustering på samlingen forbedredes nøjagtigheden skarpt på standard ur-ansigter, og i mindre udstrækning på forvrængede ure.

Ure med ændret håndform, såsom tyndere former eller pilehoveder, fortsatte med at producere store fejl.

To distinkte fejlmodi dukkede op: på normale og forvrængede ure misfortolkede modellen typisk retningen af hænderne; men på ure med ændret håndstil forvekslede den ofte funktionen af hver hånd, og mistænkte time for minut eller minut for sekund.

En sammenligning, der illustrerer modellens initielle svaghed, og de partielle gevinster, der opnås gennem finjustering, viser forudsigelse vs. faktisk tid i sekunder for 150 tilfældigt valgte ure. Til venstre, før finjustering, er GPT-4.1’s forudsigelser spredt og ofte langt fra de korrekte værdier, angivet af den røde diagonale linje. Til højre, efter finjustering på en balanceret syntetisk dataset, ligner forudsigelserne meget mere de faktiske værdier, selv om nogle fejl fortsat findes.

Dette antyder, at modellen havde lært at associere visuelle funktioner som håndtykkelse med bestemte roller, og havde svært ved at håndtere disse ændringer.

Den begrænsede forbedring på ukendte designs rejser yderligere tvivl om, hvorvidt en model af denne type lærer det abstrakte koncept af tidslæsning, eller blot forfiner sin mønster-genkendelse.

Håndtegn

Så selv om finjustering forbedrede GPT-4.1’s præstation på konventionelle analoge ure, havde den langt mindre indvirkning på ure med tyndere hænder eller pilehoveder, og rejser muligheden for, at modellens fejl skyldes mere forvirring over, hvilken hånd der er hvilken, end abstrakt resonnering.

For at teste, om nøjagtigheden kunne forbedres, hvis denne forvirring blev fjernet, blev en ny analyse gennemført på modellens forudsigelser for ‘ændret-hånd’-datasettet. Udgangspunkterne blev inddelt i to grupper: tilfælde, hvor GPT-4.1 korrekt identificerede time-, minut- og sekundhænderne; og tilfælde, hvor den ikke gjorde.

Forudsigelserne blev evaluering for gennemsnitlig absolut fejl (MAE) før og efter finjustering, og resultaterne sammenlignet med dem fra standard ure; vinkel-fejl blev også målt for hver hånd ved hjælp af ur-skivens position som reference:

Fejl-sammenligning for ure med og uden hånd-rolle-forvirring i det ændrede-hånd-dataset før og efter finjustering.

Forvirring over hånd-rollerne førte til de største fejl. Når GPT-4.1 forvekslede time-hånden med minut-hånden eller omvendt, var de resulterende tids-estimater ofte langt fra sandheden. I modsætning hertil var fejl, der skyldtes misfortolkning af retningen af en korrekt identificeret hånd, mindre. Blandt de tre hænder viste time-hånden den højeste vinkel-fejl før finjustering, mens sekund-hånden viste den laveste.

Vinkel-fejl pr. hånd-type for forudsigelser med og uden hånd-rolle-forvirring, før og efter finjustering, i det ændrede-hånd-dataset.

For at fokusere på retnings-fejl alene blev analysen begrænset til tilfælde, hvor modellen korrekt identificerede hver hånds funktion. Hvis modellen havde internaliseret et generelt koncept af tidslæsning, skulle dens præstation på disse eksempler have matchet dens nøjagtighed på standard ure. Det gjorde den ikke, og nøjagtigheden forblev mærkbart dårligere.

For at undersøge, om hånd-form forstyrrede modellens fornemmelse af retning, blev et andet eksperiment gennemført: to nye dataset blev oprettet, hver indeholdende 60 syntetiske ure med kun en time-hånd, der pegede på et andet minut-mærke. Den ene samling brugte den originale hånd-design, og den anden den ændrede version. Modellen blev bedt om at navngive det tick-mærke, som hånden pegede på.

Resultaterne viste en let nedgang i nøjagtighed med de ændrede hænder, men ikke nok til at forklare modellens bredere fejl. En enkel ukendt visuel funktion syntes at være i stand til at forstyrre modellens samlede fortolkning, selv i opgaver, den tidligere havde udført godt.

Oversigt over GPT-4.1’s præstation før og efter finjustering på standard, forvrængede og ændrede-hånd-ure, fremhæver uregelmæssige gevinster og bestående svagheder.

Konklusion

Selv om artiklens fokus kan synes trivial på første hånd, er det ikke særlig vigtigt, om vision-sprog-modeller nogensinde lærer at læse analoge ure med 100% nøjagtighed. Det, der giver arbejdet vægt, er dets fokus på en dybere tilbagevendende spørgsmål: om mættning af modeller med mere (og mere divers) data kan føre til den type domæne-forståelse, som mennesker tilegner sig gennem abstraktion og generalisering; eller om den eneste gyldige vej er at oversvømme domænet med tilstrækkeligt mange eksempler til at forudse hver sandsynlig variation ved slutning.

Enten vej rejser tvivl om, hvad nuværende arkitekturer er i stand til at lære.

Offentliggjort mandag, den 19. maj 2025