AI:s kamp för att läsa analogt ur może ha en djupare betydelse

En ny rapport från forskare i Kina och Spanien visar att även avancerade multimodala AI-modeller som GPT-4.1 har svårt att läsa av tiden från bilder av analogur. Små visuella förändringar i urverken kan orsaka stora tolkningsfel, och finjustering hjälper endast med bekanta exempel. Resultaten väcker oro över tillförlitligheten hos dessa modeller när de ställs inför obekanta bilder i verkliga uppgifter.

När människor utvecklar en tillräckligt djup förståelse för ett område, såsom tyngdkraft eller andra grundläggande fysiska principer, går vi bortom specifika exempel och fattar de underliggande abstraktionerna. Detta gör att vi kan tillämpa den kunskapen kreativt i olika sammanhang och känna igen nya instanser, även de vi aldrig har sett förut, genom att identifiera principen i verksamhet.

När ett område har tillräcklig betydelse kan vi till och med börja uppfatta det där det inte existerar, som med pareidoli, driven av den höga kostnaden av att inte känna igen en verklig instans. Så stark är denna mönsterigenkänningsmekanism för överlevnad att den till och med gör att vi hittar en bredare variation av mönster där det inte finns några.

Desto tidigare och mer upprepat ett område är inpräglat i oss, djupare är dess grund och livslånga beständighet; och ett av de tidigaste visuella datamängderna som vi exponeras för som barn kommer i form av lärunderlag för att lära oss att läsa av tiden:

Lärunderlag för att hjälpa barn att lära sig att läsa av tiden. Källa: https://www.youtube.com/watch?v=IBBQXBhSNUs

Även om förändringar i urdesign ibland kan utmana oss, är den tidiga domänmästeriet ganska imponerande, vilket tillåter oss att urskilja analogur även i ansiktet av komplexa eller “excentriska” designval:

Några utmanande ansikten i urmode. Källa: https://www.ablogtowatch.com/wait-a-minute-legibility-is-the-most-important-part-of-watch-design/

Människor behöver inte tusentals exempel för att lära sig hur ur fungerar; när den grundläggande konceptet är fattat, kan vi känna igen det i nästan alla former, även när det är förvrängt eller abstraherat.

Svårigheten som AI-modeller möter med denna uppgift, däremot, belyser ett djupare problem: deras synbara styrka kan bero mer på högvolymsexponering än på förståelse.

Bortom Imitationsspelet?

Spänningen mellan ytanivåprestation och äkta “förståelse” har dykt upp upprepade gånger i nyliga undersökningar av stora modeller. Förra månaden omformulerade Zhejiang University och Westlake University frågan i en rapport med titeln Har PhD-nivå LLM verkligen fattat grundläggande addition? (inte fokus för denna artikel), och drog följande slutsats:

‘Trots imponerande benchmarkresultat visar modellerna en kritisk beroende av mönsterigenkänning snarare än sann förståelse, som bevisas av misslyckanden med symboliska representationer och brott mot grundläggande egenskaper.

‘Uttrycklig regelprovision som försämrar prestanda antyder inbyggda arkitekturiska begränsningar. Dessa insikter avslöjar utvärderingsgap och betonar behovet av arkitekturer som kan hantera äkta matematiskt resonemang bortom mönsterigenkänning.’

Denna vecka dyker frågan upp igen, nu i ett samarbete mellan Nanjing University of Aeronautics and Astronautics och Universidad Politécnica de Madrid i Spanien. Med titeln Har Multimodala Stora Språkmodeller (MLLM) Verkligen Lärt Sig Att Läsa Av Tiden På Analogur?, undersöker den nya rapporten hur väl multimodala modeller förstår tidsavläsning.

Även om forskningsframstegen endast täcks i breda drag i rapporten, etablerade forskarnas initiala tester att OpenAI:s GPT-4.1 multimodala språkmodell kämpade för att korrekt läsa av tiden från en diversifierad uppsättning urbilder, ofta gav felaktiga svar även i enkla fall.

Detta pekar på ett möjligt gap i modellens träningsdata, vilket väcker behovet av en mer balanserad datamängd för att testa om modellen verkligen kan lära sig den underliggande konceptet. Därför skapade författarna en syntetisk datamängd av analogur, som täcker alla möjliga tider, och undviker de vanliga biaser som finns i internetbilder:

Ett exempel från forskarnas syntetiska analogurdatamängd, som används för att finjustera en GPT-modell i det nya arbetet. Källa: https://huggingface.co/datasets/migonsa/analog_watches_finetune

Före finjustering på den nya datamängden, misslyckades GPT-4.1 konsekvent med att läsa av dessa ur. Efter viss exponering för den nya samlingen förbättrades dock dess prestanda – men endast när de nya bilderna liknade de som den redan hade sett.

När urformen eller handstilen förändrades, föll noggrannheten skarpt; även små justeringar, såsom tunnare händer eller pilspetsar (högersta bilden nedan), var tillräckliga för att kasta av den; och GPT-4.1 kämpade ytterligare för att tolka Dali-liknande ‘smälta ur’:

Urbilder med standarddesign (vänster), förvrängd form (mitten) och modifierade händer (höger), tillsammans med de tider som returnerades av GPT-4.1 före och efter finjustering. Källa: https://arxiv.org/pdf/2505.10862

Författarna drar slutsatsen att nuvarande modeller som GPT-4.1 möjligen lär sig uravläsning främst genom visuell mönsterigenkänning, snarare än någon djupare koncept av tid, och hävdar:

‘[GPT 4.1] misslyckas när uret är deformerat eller när händerna ändras till att vara tunnare och ha en pilspets. Den genomsnittliga absoluta felet (MAE) i tidsuppskattningen över 150 slumpmässiga tider var 232,48 s för de ursprungliga ur, 1380,69 s när formen är deformerad och 3726,93 s när händerna ändras.

‘Dessa resultat antyder att MLLM inte har lärt sig att läsa av tiden utan snarare memoriserat mönster.’

Tillräckligt Med Tid

De flesta träningsdatamängder förlitar sig på webbbilder som skrapats, som tenderar att upprepa vissa tider – särskilt 10:10, en populär inställning i urannonser:

Ett exempel från den nya rapporten, som visar förekomsten av ‘tio över tio’-tiden i analogur-bilder.

Som ett resultat av denna begränsade tidsomfattning som avbildas, kan modellen endast se en smal omfattning av möjliga urkonfigurationer, vilket begränsar dess förmåga att generalisera bortom dessa upprepade mönster.

Angående varför modeller misslyckas med att korrekt tolka de förvrängda ur, anger rapporten:

‘Även om GPT-4.1 presterar exceptionellt bra med standardur-bilder, är det förvånande att modifiering av urhänderna genom att göra dem tunnare och lägga till pilspetsar leder till en betydande minskning av dess noggrannhet.

‘Intuitivt kan man förvänta sig att den mer visuellt komplexa förändringen – en förvrängd urtavla – skulle ha en större inverkan på prestanda, men denna modifiering verkar ha en relativt mindre effekt.

‘Detta väcker en fråga: hur tolkar MLLM ur, och varför misslyckas de? En möjlighet är att tunnare händer försvagar modellens förmåga att uppfatta riktning, vilket försvagar dess förståelse av spatial orientering.

‘Alternativt kan det finnas andra faktorer som orsakar förvirring när modellen försöker kombinera tim-, minut- och sekundhänderna till en korrekt tidsavläsning.’

Författarna hävdar att att identifiera den bakomliggande orsaken till dessa misslyckanden är nyckeln till att främja multimodala modeller: om problemet ligger i hur modellen uppfattar spatial riktning, kan finjustering erbjuda en enkel lösning; men om problemet härrör från en bredare svårighet att integrera flera visuella signaler, pekar det på en mer grundläggande svaghet i hur dessa system bearbetar information.

Finjusteringstester

För att testa om modellens misslyckanden kunde övervinnas med exponering, finjusterades GPT-4.1 på den ovannämnda och omfattande syntetiska datamängden. Före finjustering var dess förutsägelser vida spridda, med betydande fel över alla typer av ur. Efter finjustering på samlingen förbättrades noggrannheten skarpt på standardur, och, i mindre utsträckning, på förvrängda ur.

Ur med modifierade händer, såsom tunnare former eller pilspetsar, fortsatte dock att producera stora fel.

Två distinkta misslyckandemönster uppstod: på normala och förvrängda ur, missbedömde modellen vanligtvis riktningen på händerna; men på ur med ändrade handstilar, förväxlade den ofta funktionen hos varje hand, och missbedömde timhand för minuthand eller minuthand för sekundhand.

En jämförelse som visar modellens initiala svaghet och de partiella vinster som uppnåddes genom finjustering, som visar förutsagd vs. faktisk tid, i sekunder, för 150 slumpmässigt valda ur. Till vänster, före finjustering, är GPT-4.1:s förutsägelser spridda och ofta långt ifrån de korrekta värdena, indikerade av den röda diagonala linjen. Till höger, efter finjustering på en balanserad syntetisk datamängd, ligger förutsägelserna mycket närmare sanningen, även om vissa fel kvarstår.

Detta antyder att modellen hade lärt sig att associera visuella egenskaper som handtjocklek med specifika roller, och kämpade när dessa signaler förändrades.

Den begränsade förbättringen på ovana design väcker ytterligare tvivel om huruvida en modell av detta slag lär sig det abstrakta konceptet av tidsavläsning, eller om den bara förfinar sin mönsterigenkänning.

Handtecken

Så, även om finjustering förbättrade GPT-4.1:s prestanda på konventionella analogur, hade den mycket mindre inverkan på ur med tunnare händer eller pilspetsar, vilket väckte möjligheten att modellens misslyckanden härrörde mindre från abstrakt resonemang och mer från förvirring över vilken hand som var vilken.

För att testa om noggrannheten kunde förbättras om denna förvirring togs bort, genomfördes en ny analys av modellens förutsägelser för “modifierad-hand”-datamängden. Utdata delades in i två grupper: fall där GPT-4.1 korrekt identifierade tim-, minut- och sekundhänderna; och fall där den inte gjorde det.

Förutsägelserna utvärderades för Medelabsolut fel (MAE) före och efter finjustering, och resultaten jämfördes med dem från standardur; vinkelfel mättes också för varje hand med hjälp av urtavla som baslinje:

Feljämförelse för ur med och utan handrollsförvirring i den modifierade-hand-datamängden före och efter finjustering.

Förvirring över handrollerna ledde till de största felen. När GPT-4.1 förväxlade timhanden för minuthanden eller vice versa, var de resulterande tidsuppskattningarna ofta långt ifrån riktiga. I kontrast var felen orsakade av att missbedöma riktningen på en korrekt identifierad hand mindre. Bland de tre händerna visade timhanden den högsta vinkelfelen före finjustering, medan sekundhanden visade den lägsta.

Vinkelfel per handtyp för förutsägelser med och utan handrollsförvirring, före och efter finjustering, i den modifierade-hand-datamängden.

För att fokusera på riktningfel ensam, begränsades analysen till fall där modellen korrekt identifierade varje hands funktion. Om modellen hade internaliserat ett allmänt koncept av tidsavläsning, borde dess prestanda på dessa exempel ha matchat dess noggrannhet på standardur. Det gjorde den inte, och noggrannheten förblev märkbart sämre.

För att undersöka om handform störde modellens känsla av riktning, genomfördes ett andra experiment: två nya datamängder skapades, var och en innehållande sextio syntetiska ur med endast en timhand, som pekade till en annan minutmark. En uppsättning använde den ursprungliga handdesignen, och den andra den ändrade versionen. Modellen bad att namnge tickmärket som handen pekade på.

Resultaten visade en liten minskning av noggrannheten med de ändrade händerna, men inte tillräckligt för att förklara modellens breda misslyckanden. En endaste okänd visuell egenskap tycktes kunna störa modellens övergripande tolkning, även i uppgifter som den tidigare hade utfört bra.

Översikt av GPT-4.1:s prestanda före och efter finjustering över standard-, förvrängda och modifierade-hand-ur, som betonar ojämna vinster och bestående svagheter.

Slutsats

Medan rapportens fokus kan verka trivialt vid första anblicken, spelar det inte särskilt roll om vision-språkmodeller någonsin lär sig att läsa av analogur med 100% noggrannhet. Det som ger arbetet vikt är dess fokus på en djupare återkommande fråga: om mättnad av modeller med mer (och mer varierad) data kan leda till den typ av domänförståelse som människor förvärvar genom abstraktion och generalisering; eller om den enda livskraftiga vägen är att översvämma domänen med tillräckligt många exempel för att förutse varje trolig variation vid inferens.

Antingen väg väcker tvivel om vad nuvarande arkitekturer verkligen kan lära sig.

Publicerad första gången måndagen den 19 maj 2025