De strijd van AI om analoge klokken te lezen kan een diepere betekenis hebben

Een nieuw onderzoek van onderzoekers in China en Spanje toont aan dat zelfs geavanceerde multimodale AI-modellen zoals GPT-4.1 moeite hebben om de tijd af te lezen van afbeeldingen van analoge klokken. Kleine visuele veranderingen in de klokken kunnen grote interpretatiefouten veroorzaken, en fine-tuning helpt alleen bij vertrouwde voorbeelden. De resultaten roepen twijfels op over de betrouwbaarheid van deze modellen wanneer ze worden geconfronteerd met onbekende afbeeldingen in real-world taken.

Wanneer mensen een diep genoeg begrip van een domein ontwikkelen, zoals zwaartekracht of andere basisfysieke principes, gaan we voorbij specifieke voorbeelden en begrijpen we de onderliggende abstracties. Dit stelt ons in staat om die kennis creatief toe te passen in verschillende contexten en om nieuwe instanties te herkennen, zelfs die we nog nooit eerder hebben gezien, door het principe in actie te identificeren.

Wanneer een domein voldoende belangrijk is, kunnen we het zelfs beginnen te waarnemen waar het niet bestaat, zoals bij pareidolie, gedreven door de hoge kosten van het niet herkennen van een echte instantie. Zo sterk is dit patroonherkenningsmechanisme dat het ons zelfs in staat stelt om een bredere reeks patronen te vinden waar er geen zijn.

Hoe eerder en hoe vaker een domein bij ons wordt ingeprent, hoe dieper de gronding en levenslange persistentie; en een van de eerste visuele datasets waaraan we als kinderen worden blootgesteld, is de vorm van lesklokken, waarbij gedrukte materialen of interactieve analoge klokken worden gebruikt om ons te leren hoe we de tijd kunnen lezen:

Hulpmiddelen om kinderen te helpen de tijd te leren. Bron: https://www.youtube.com/watch?v=IBBQXBhSNUs

Hoewel veranderende modes in horlogesontwerp ons soms kunnen uitdagen, is de veerkracht van deze vroege domeinmachtiging indrukwekkend, waardoor we analoge klokgezichten kunnen onderscheiden, zelfs in het gezicht van complexe of ‘excentrieke’ ontwerpkeuzes:

Enkele uitdagende gezichten in horlogemode. Bron: https://www.ablogtowatch.com/wait-a-minute-legibility-is-the-most-important-part-of-watch-design/

Mensen hebben geen duizenden voorbeelden nodig om te leren hoe klokken werken; zodra het basisconcept is begrepen, kunnen we het herkennen in bijna elke vorm, zelfs wanneer het is vervormd of geabstraheerd.

De moeilijkheid die AI-modellen ondervinden bij deze taak, daarentegen, benadrukt een dieper probleem: hun schijnbare kracht kan meer afhankelijk zijn van hoge volumineuze blootstelling dan van begrip.

Verder dan het Imitatie Spel?

De spanning tussen oppervlakkige prestaties en echte ‘begrip’ is herhaaldelijk naar voren gekomen in recente onderzoeken naar grote modellen. Vorige maand hebben de Zhejiang Universiteit en de Westlake Universiteit de vraag opnieuw geformuleerd in een artikel getiteld Hebben PhD-niveau LLM’s echt greep op elementaire optelling? (niet het onderwerp van dit artikel), en concludeerden:

‘Ondanks indrukwekkende benchmarks, modellen laten een kritieke afhankelijkheid van patroonherkenning zien in plaats van echte begrip, zoals blijkt uit falen met symbolische voorstellingen en schendingen van basisprincipes.

‘Expliciete regelvoorziening die de prestaties verhindert, suggereert inherente architectonische beperkingen. Deze inzichten onthullen evaluatiegaten en benadrukken de behoefte aan architectuur die echt wiskundig redeneren kan, voorbij patroonherkenning.’

Deze week rijst de vraag opnieuw, nu in een samenwerking tussen de Nanjing Universiteit voor Luchtvaart en Astronautica en de Universidad Politécnica de Madrid in Spanje. Getiteld Hebben Multimodale Grote Taalmodellen (MLLM’s) echt geleerd om de tijd te lezen op analoge klokken?, het nieuwe artikel onderzoekt hoe goed multimodale modellen tijd-telling begrijpen.

Hoewel de voortgang van het onderzoek alleen in brede lijnen in het artikel wordt behandeld, stelden de eerste tests van de onderzoekers vast dat OpenAI’s GPT-4.1 multimodale taalmodel moeite had om de tijd correct af te lezen van een diverse set van klokafbeeldingen, en vaak onjuiste antwoorden gaf, zelfs in eenvoudige gevallen.

Dit wijst op een mogelijke kloof in de trainingsdata van het model, en roept de behoefte op aan een meer evenwichtige dataset om te testen of het model het onderliggende concept daadwerkelijk kan leren. Daarom hebben de auteurs een synthetische dataset van analoge klokken gemaakt, die alle mogelijke tijden gelijkmatig dekt en de gebruikelijke vooroordelen in internetafbeeldingen vermijdt:

Een voorbeeld uit de synthetische analoge klokdataset van de onderzoekers, gebruikt om een GPT-model in het nieuwe onderzoek te fine-tunen. Bron: https://huggingface.co/datasets/migonsa/analog_watches_finetune

Voordat fine-tuning op de nieuwe dataset, faalde GPT-4.1 consequent bij het lezen van deze klokken. Na enige blootstelling aan de nieuwe collectie, verbeterde de prestatie echter – maar alleen wanneer de nieuwe afbeeldingen eruitzagen als die het eerder had gezien.

Wanneer de vorm van de klok of de stijl van de handen veranderde, daalde de nauwkeurigheid scherp; zelfs kleine aanpassingen, zoals dunne handen of pijlpunten (rechtsboven), waren voldoende om het model van de wijs te brengen; en GPT-4.1 had moeite om ‘smeltende klokken’ te interpreteren:

Klokafbeeldingen met standaardontwerp (links), vervormde vorm (midden) en aangepaste handen (rechts), naast de tijden die door GPT-4.1 werden geretourneerd voordat en na fine-tuning. Bron: https://arxiv.org/pdf/2505.10862

De auteurs concluderen dat huidige modellen zoals GPT-4.1 mogelijk voornamelijk klok-lezen leren door visuele patroonherkenning, in plaats van een dieper concept van tijd, en beweren:

‘[GPT 4.1] faalt wanneer de klok is vervormd of wanneer de handen zijn veranderd in dunne en met een pijlpunt. De Mean Absolute Error (MAE) in de tijdschatting over 150 willekeurige tijden was 232,48s voor de initiële klokken, 1380,69s wanneer de vorm is vervormd en 3726,93s wanneer de handen zijn veranderd.

‘Deze resultaten suggereren dat de MLLM niet heeft geleerd om de tijd te lezen, maar in plaats daarvan patronen heeft onthouden.’

Genoeg Tijd

De meeste trainingsdatasets zijn afhankelijk van webafbeeldingen, die de neiging hebben om bepaalde tijden te herhalen – vooral 10:10, een populaire instelling in horlogereclame:

Een voorbeeld uit het nieuwe artikel, van de prevalentie van de ‘tien over tien’ tijd in analoge klokafbeeldingen.

Als gevolg van dit beperkte bereik van tijden die in beeld worden gebracht, kan het model mogelijk alleen een smalle reeks van mogelijke klokconfiguraties zien, waardoor het moeilijk wordt om verder te generaliseren dan deze herhalende patronen.

Met betrekking tot waarom modellen falen om de vervormde klokken correct te interpreteren, stelt het artikel:

‘Hoewel GPT-4.1 uitzonderlijk goed presteert met standaard klokafbeeldingen, is het verrassend dat het wijzigen van de klokhanden door ze dunner te maken en pijlpunten toe te voegen, leidt tot een significante daling in de nauwkeurigheid.

‘Intuïtief zou men kunnen verwachten dat de visueel complexere verandering – een vervormde wijzerplaat – een grotere impact op de prestaties zou hebben, maar deze aanpassing lijkt een relatief kleinere invloed te hebben.

‘Dit roept een vraag op: hoe interpreteren MLLM’s klokken, en waarom falen ze? Een mogelijkheid is dat dunne handen de mogelijkheid van het model om richting te waarnemen, verzwakken en daarmee de begrip van ruimtelijke oriëntatie.

‘Alternatief kunnen er andere factoren zijn die verwarring veroorzaken wanneer het model probeert de uur-, minuut- en secondehanden te combineren tot een nauwkeurige tijdslezing.’

De auteurs beweren dat het identificeren van de oorzaak van deze fouten essentieel is voor het verbeteren van multimodale modellen: als het probleem ligt in de manier waarop het model ruimtelijke richting waarneemt, kan fine-tuning een eenvoudige oplossing bieden; maar als het probleem voortkomt uit een bredere moeilijkheid om meerdere visuele signalen te integreren, wijst het op een fundamentele zwakte in de manier waarop deze systemen informatie verwerken.

Fine-Tuning Tests

Om te testen of de fouten van het model konden worden overwonnen met blootstelling, werd GPT-4.1 gefine-tuned op de eerdergenoemde en uitgebreide synthetische dataset. Voordat het werd gefine-tuned, waren de voorspellingen van het model wijd verspreid, met significante fouten over alle soorten klokken. Na fine-tuning op de collectie, verbeterde de nauwkeurigheid scherp op standaard klokgezichten, en, in mindere mate, op vervormde klokken.

Hoewel de prestatie op klokken met standaardontwerp en vervormde klokken verbeterde, bleven klokken met aangepaste handen, zoals dunne vormen of pijlpunten, grote fouten produceren.

Twee verschillende foutmodi verschenen: op normale en vervormde klokken, oordeelde het model meestal verkeerd over de richting van de handen; maar op klokken met gewijzigde handstijlen, verwarde het model vaak de functie van elke hand, waarbij het de uurhand voor de minuut of minuut voor seconde aanzag.

Een vergelijking die de initiële zwakte van het model aantoont, en de gedeeltelijke winst die werd behaald door fine-tuning, waarbij de voorspelling wordt getoond tegenover de werkelijke tijd, in seconden, voor 150 willekeurig geselecteerde klokken.

Dit suggereert dat het model visuele kenmerken zoals handdikte had geassocieerd met specifieke rollen en worstelde toen deze signalen veranderden.

De beperkte verbetering op onbekende ontwerpen roept verdere twijfels op over of een model van dit type het abstracte concept van tijd-telling leert, of slechts patroonherkenning verfijnt.

Handtekenen

Hoewel fine-tuning de prestatie van GPT-4.1 op conventionele analoge klokken verbeterde, had het veel minder effect op klokken met dunne handen of pijlpunten, waardoor de mogelijkheid ontstond dat de fouten van het model voortkwamen uit verwarring over welke hand welke was.

Om te testen of de nauwkeurigheid zou kunnen verbeteren als die verwarring zou worden weggenomen, werd een nieuwe analyse uitgevoerd op de voorspellingen van het model voor de ‘aangepaste-hand’ dataset. De uitvoer werd verdeeld in twee groepen: gevallen waarin GPT-4.1 correct de uur-, minuut- en secondehanden herkende; en gevallen waarin het dat niet deed.

De voorspellingen werden geëvalueerd op Mean Absolute Error (MAE) voordat en na fine-tuning, en de resultaten werden vergeleken met die van standaard klokken; de hoekfout werd ook gemeten voor elke hand met behulp van de wijzerplaat als basis:

Foutvergelijking voor klokken met en zonder handrolverwarring in de aangepaste-hand dataset voordat en na fine-tuning.

Verwarring over de rollen van de klokhanden leidde tot de grootste fouten. Wanneer GPT-4.1 de uurhand voor de minuut aanzag of vice versa, waren de resulterende tijdschattingen vaak ver van de werkelijkheid. In contrast, fouten veroorzaakt door het verkeerd beoordelen van de richting van een correct geïdentificeerde hand waren kleiner. Van de drie handen toonde de uurhand de hoogste hoekfout voordat fine-tuning, terwijl de secondehand de laagste toonde.

Hoekfout per handtype voor voorspellingen met en zonder handrolverwarring, voordat en na fine-tuning, in de aangepaste-hand dataset.

Om alleen richtingsfouten te onderzoeken, werd de analyse beperkt tot gevallen waarin het model correct de functie van elke hand had geïdentificeerd. Als het model een algemeen concept van tijd-telling had geïnternaliseerd, zou de prestatie op deze voorbeelden moeten overeenkomen met de nauwkeurigheid op standaard klokken. Dat was niet het geval, en de nauwkeurigheid bleef opvallend slechter.

Om te onderzoeken of de vorm van de hand de richting van het model beïnvloedde, werd een tweede experiment uitgevoerd: twee nieuwe datasets werden gemaakt, elk met zestig synthetische klokken met alleen een uurhand, die naar een andere minuutmarkering wees. Een set gebruikte het oorspronkelijke handontwerp, en de andere het aangepaste ontwerp. Het model werd gevraagd om de tick-markering te noemen waar de hand naar wees.

De resultaten toonden een lichte daling in nauwkeurigheid met de aangepaste handen, maar niet genoeg om de bredere fouten van het model te verklaren. Een enkel onbekend visueel kenmerk leek in staat om de algehele interpretatie van het model te verstoren, zelfs in taken die het eerder goed had uitgevoerd.

Overzicht van de prestatie van GPT-4.1 voordat en na fine-tuning op standaard, vervormde en aangepaste-hand klokken, met ongelijke winst en aanhoudende zwakheden.

Conclusie

Hoewel de focus van het artikel op het eerste gezicht triviaal kan lijken, maakt het niet zo veel uit of vision-language modellen ooit leren om analoge klokken met 100% nauwkeurigheid te lezen. Wat het werk gewicht geeft, is de focus op een dieper terugkerend vraagstuk: of het verzadigen van modellen met meer (en meer diverse) data kan leiden tot het soort domeinbegrip dat mensen verwerven door abstractie en generalisatie; of dat de enige haalbare weg is om het domein te overspoelen met genoeg voorbeelden om elke waarschijnlijke variatie te anticiperen bij inferentie.

Elk van deze routes roept twijfels op over wat de huidige architectuur echt in staat is te leren.

Eerst gepubliceerd op maandag 19 mei 2025