KI-ens kamp med å lese analoge klokker kan ha dypere betydning

En ny rapport fra forskere i Kina og Spania viser at selv avanserte multimodale KI-modeller som GPT-4.1 har problemer med å fortelle tid fra bilder av analoge klokker. Små visuelle endringer i klokkeslettene kan føre til store tolkningsfeil, og finjustering hjelper bare med kjente eksempler. Resultatene våkker bekymring om påliteligheten til disse modellene når de møter ukjente bilder i virkelige oppgaver.

Når mennesker utvikler en tilstrekkelig dypt forståelse av et område, som tyngdekraft eller andre grunnleggende fysiske prinsipper, går vi utenfor spesifikke eksempler og fattar de underliggende abstraksjonene. Dette gjør det mulig for oss å anvende denne kunnskapen kreativt i ulike sammenhenger og å gjenkjenne nye eksempler, selv om vi aldri har sett dem før, ved å identifisere prinsippet i virksomhet.

Når et område har tilstrekkelig betydning, kan vi sogar begynne å se det der det ikke eksisterer, som med pareidolia, drevet av den høye kostnaden av å ikke gjenkjenne et ekte eksempel. Så sterk er denne mønster-gjenkjenningssurvival-mekanismen at den også disposerer oss til å finne en bredere rekke mønster der det ikke finnes noen.

Jo tidligere og mer repetert et område innprentes i oss, jo dypere er grunnlaget og livslang varighet; og ett av de tidligste visuelle datasettene vi blir utsatt for som barn, kommer i form av læringsklokker, hvor trykt materiale eller interaktive analoge klokker brukes til å lære oss hvordan vi kan fortelle tid:

Læringshjelpemidler for å lære barn å fortelle tid. Kilde: https://www.youtube.com/watch?v=IBBQXBhSNUs

Selv om endringer i motedesign kan noen ganger utfordre oss, er motstandsdyktigheten av denne tidlige domene-mestringen ganske imponerende, og lar oss skjelne analoge klokkeslett selv i møte med komplekse eller ‘eksentriske’ designvalg:

Noen utfordrende klokker i motedesign. Kilde: https://www.ablogtowatch.com/wait-a-minute-legibility-is-the-most-important-part-of-watch-design/

Mennesker trenger ikke tusenvis av eksempler for å lære hvordan klokker fungerer; en gang den grunnleggende konseptet er fattet, kan vi gjenkjenne det i nesten enhver form, selv når det er forvrengt eller abstrahert.

Den vanskeligheten KI-modellene har med denne oppgaven, til motsatt, understreker en dypere problem: deres åpenbare styrke kan avhenge mer av høyvolum-exponering enn av forståelse.

Bortenfor Imitasjonsspelet?

Spenningsfeltet mellom overfladisk ytelse og ekte ‘forståelse’ har dukket opp igjen i nyere undersøkelser av store modeller. Forrige måned omformulerte Zhejiang University og Westlake University spørsmålet i en rapport med tittelen Har PhD-nivå LLMs virkelig fattet grunnleggende addisjon? (ikke fokusert i denne artikkelen), og konkluderte med:

‘Til tross for imponerende benchmark, viser modellene kritisk avhengighet av mønster-matching fremfor ekte forståelse, som blir vist ved feil med symboliske representasjoner og brudd på grunnleggende egenskaper.

‘Uttrykt regel-tilbud som forverrer ytelse, antyder innebygde arkitektoniske begrensninger. Disse innsiktene avdekker evalueringsspråk og understreker behovet for arkitekturer som kan håndtere ekte matematisk resonnering bortenfor mønster-gjenkjenning.’

Denne uken dukker spørsmålet opp igjen, nå i et samarbeid mellom Nanjing University of Aeronautics and Astronautics og Universidad Politécnica de Madrid i Spania. Med tittelen Har Multimodale Store Språkmodeller (MLLMs) virkelig lært å fortelle tid på analoge klokker?, undersøker den nye rapporten hvordan godt multimodale modeller forstår tid-telling.

Selv om fremdrift i forskningen bare dekkes i bredt detalj i rapporten, etablerte forskernes initielle tester at OpenAI’s GPT-4.1 multimodal språkmodell hadde problemer med å korrekt lese tid fra en diversifisert samling av klokkebilder, ofte gav feil svar selv på enkle tilfeller.

Dette peker på en mulig gap i modellens treningsdata, og understreker behovet for en mer balansert datasett for å teste om modellen kan faktisk lære den underliggende konseptet. Derfor kuraterte forfatterne en syntetisk datasett av analoge klokker, som dekket hver mulig tid jevnt, og unngikk de vanlige forutinntakene funnet i internett-bilder:

Et eksempel fra forskernes syntetiske analoge klokke-datasett, brukt til å finjustere en GPT-modell i det nye arbeidet. Kilde: https://huggingface.co/datasets/migonsa/analog_watches_finetune

Før finjustering på den nye datasett, feilet GPT-4.1 konsekvent med å lese disse klokkene. Etter noen eksponering til den nye samlingen, forbedret imidlertid ytelsen – men bare når de nye bildene lignet på de det allerede hadde sett.

Når formen på klokken eller stilen på hendene endret seg, falt nøyaktigheten skarpt; selv små endringer, som tynnere hender eller pilhoder (høyre bilde under), var nok til å kaste det av; og GPT-4.1 hadde problemer med å tolke Dali-inspirerte ‘smeltende klokker’:

Klokkebilder med standarddesign (venstre), forvrengt form (midten), og modifiserte hender (høyre), sammen med tidene returnert av GPT-4.1 før og etter finjustering. Kilde: https://arxiv.org/pdf/2505.10862

Forfatterne deduserer at nåværende modeller som GPT-4.1 kanskje derfor lærer klokke-lesing hovedsakelig gjennom visuell mønster-matching, fremfor noen dypere konsept av tid-telling, og hevder:

‘[GPT 4.1] feiler når klokken er deformert eller når hendene er endret til å være tynnere og å ha en pilhode. Den gjennomsnittlige absolutte feilen (MAE) i tidsestimatet over 150 tilfeldige tider var 232,48s for de initielle klokkene, 1380,69s når formen er deformert og 3726,93s når hendene er endret.

‘Disse resultater antyder at MLLM har ikke lært å fortelle tid, men heller memorisert mønster.’

Tilstrekkelig Tid

De fleste treningsdatasettene avhenger av skrapede web-bilder, som tenderer til å gjenta bestemte tider – spesielt 10:10, en populær innstilling i klokke-reklame:

Et eksempel fra den nye rapporten, som viser forekomsten av ‘ti over ti’-tiden i analoge klokke-bilder.

Som et resultat av denne begrensede rekken av tider avbildet, kan modellen kanskje bare se en smal rekke av mulige klokke-konfigurasjoner, og begrense evnen til å generalisere utover disse repetitive mønstre.

Angående hvorfor modeller feiler med å korrekt tolke de forvrengte klokkene, sier rapporten:

‘Selv om GPT-4.1 utfører eksepsjonelt godt med standard klokke-bilder, er det overraskende at modifisering av klokke-hendene ved å gjøre dem tynnere og legge til pilhoder, fører til en betydelig nedgang i nøyaktigheten.

‘Intuitivt kunne en forvente at den mer visuelt komplekse endringen – en forvrengt dial – ville ha en større effekt på ytelse, men denne modifiseringen synes å ha en relativt mindre effekt.

‘Dette reiser et spørsmål: hvordan tolker MLLM klokker, og hvorfor feiler de? En mulighet er at tynnere hender forstyrrer modellens evne til å percipere retning, svekkende dens forståelse av romlig orientering.

‘Alternativt kan det være andre faktorer som forårsaker forvirring når modellen forsøker å kombinere time-, minutt- og sekund-hender til en nøyaktig tid-lesning.’

Forfatterne hevder at å identifisere årsaken til disse feilene er nøkkel til å fremme multimodale modeller: hvis problemet ligger i hvordan modellen perciperer romlig retning, kan finjustering tilby en enkel løsning; men hvis problemet stammer fra en bredere vanskelighet i å integrere multiple visuelle signaler, peker det på en mer grunnleggende svakhet i hvordan disse systemene prosesserer informasjon.

Finjusteringstester

For å teste om modellens feil kunne overvinnes med eksponering, ble GPT-4.1 finjustert på den ovennevnte og omfattende syntetiske datasett. Før finjustering, var forutsagnene vidt spredt, med betydelige feil over alle typer klokker. Etter finjustering på samlingen, forbedret nøyaktigheten skarpt på standard klokke-ansikter, og til en mindre grad, på forvrengte klokker.

Imidlertid fortsatte klokker med modifiserte hender, som tynnere former eller pilhoder, å produsere store feil.

To distinkte feil-mønster dukket opp: på normale og forvrengte klokker, misjudgede modellen vanligvis retningen av hendene; men på klokker med endret hand-stil, forvekslet den ofte funksjonen av hver hånd, og mistok time for minutt eller minutt for sekund.

En sammenligning som illustrerer modellens initielle svakhet, og de delvise gevinstene oppnådd gjennom finjustering, som viser forutsagt vs. faktisk tid, i sekunder, for 150 tilfeldig valgte klokker. På venstre side, før finjustering, er GPT-4.1s forutsagn spredt og ofte langt fra de korrekte verdiene, indikert av den røde diagonale linjen. På høyre side, etter finjustering på en balansert syntetisk datasett, ligner forutsagnene mer de faktiske verdiene, selv om noen feil fortsatt forekommer.

Dette antyder at modellen hadde lært å assosiere visuelle egenskaper som hand-tykkelse med bestemte roller, og hadde problemer når disse signalene endret seg.

Den begrensede forbedringen på ukjente design løfter ytterligere tvil om hvorvidt en modell av denne typen lærer det abstrakte konseptet av tid-telling, eller bare forbedrer mønster-matching.

Hand-tegn

Så, selv om finjustering forbedret GPT-4.1s ytelse på konvensjonelle analoge klokker, hadde den langt mindre effekt på klokker med tynnere hender eller pilhoder, og løftet muligheten at modellens feil stammet mindre fra abstrakt resonnering og mer fra forvirring over hvilken hånd var hvilken.

For å teste om nøyaktigheten kunne forbedres hvis denne forvirringen ble fjernet, ble en ny analyse utført på modellens forutsagn for ‘modifisert-hand’-datasett. Utgangene ble delt inn i to grupper: tilfeller hvor GPT-4.1 korrekt gjenkjente time-, minutt- og sekund-hendene; og tilfeller hvor det ikke gjorde det.

Forutsagnene ble evaluert for Gjennomsnittlig Absolutt Feil (MAE) før og etter finjustering, og resultater sammenlignet med de fra standard klokker; vinkel-feil ble også målt for hver hånd ved å bruke dial-posisjon som referanse:

Feil-sammenligning for klokker med og uten hånd-rolle-forvirring i ‘modifisert-hand’-datasett før og etter finjustering.

Forvirring over hånd-roller førte til de største feilene. Når GPT-4.1 forvekslet time-hånden med minutt-hånden eller vice versa, var de resulterende tid-estimater ofte langt unna. I motsetning var feil forårsaket av misjudging av retningen av en korrekt identifisert hånd mindre. Blant de tre hendene, viste time-hånden den høyeste vinkel-feilen før finjustering, mens sekund-hånden viste den laveste.

Vinkel-feil per hånd-type for forutsagn med og uten hånd-rolle-forvirring, før og etter finjustering, i ‘modifisert-hand’-datasett.

For å fokusere på retnings-feil alene, ble analysen begrenset til tilfeller hvor modellen korrekt identifiserte hver hånds funksjon. Hvis modellen hadde internalisert et generelt konsept av tid-telling, burde dens ytelse på disse eksemplene ha lignet dens nøyaktighet på standard klokker. Det gjorde det ikke, og nøyaktigheten forble merkbart dårligere.

For å undersøke om hånd-form forstyrret modellens sans for retning, ble et nytt eksperiment utført: to nye datasett ble skapt, hver med seksti syntetiske klokker med bare en time-hånd, som pekte til en annen minutt-merke. En samling brukte den originale hånd-design, og den andre den endrede versjonen. Modellen ble bedt om å navngi tick-merket som hånden pekte på.

Resultatene viste en liten nedgang i nøyaktighet med de modifiserte hendene, men ikke nok til å forklare modellens bredere feil. En enkel ukjent visuell egenskap syntes å være i stand til å forstyrre modellens totale tolkning, selv i oppgaver det tidligere hadde utført godt.

Oversikt over GPT-4.1s ytelse før og etter finjustering på standard, forvrengte og modifiserte-hånd-klokker, som understreker ujevne gevinst og varige svakheter.

Konklusjon

Selv om rapportens fokus kan synes ubetydelig på første blikk, er det ikke spesielt viktig om visjon-språk-modeller noen gang lærer å lese analoge klokker med 100% nøyaktighet. Det som gir arbeidet vekt er fokuset på et dypere gjentakende spørsmål: om metoden å mette modeller med mer (og mer variert) data kan føre til den type domene-forståelse mennesker tilegner seg gjennom abstraksjon og generalisering; eller om den eneste gangbare veien er å flomme domenet med nok eksempler til å forutse hver sannsynlig variasjon under inferens.

Uansett vei løfter det tvil om hva nåværende arkitekturer virkelig er i stand til å lære.

Først publisert mandag, 19. mai 2025