KI-Struggle mit der Lektüre von Analoguhren hat möglicherweise eine tiefere Bedeutung

Ein neues Papier von Forschern in China und Spanien zeigt, dass sogar fortschrittliche multimodale KI-Modelle wie GPT-4.1 Schwierigkeiten haben, die Uhrzeit von Bildern von Analoguhren abzulesen. Kleine visuelle Änderungen an den Uhren können zu großen Interpretationsfehlern führen, und Feinabstimmung hilft nur bei vertrauten Beispielen. Die Ergebnisse werfen Bedenken hinsichtlich der Zuverlässigkeit dieser Modelle auf, wenn sie mit unbekannten Bildern in realen Aufgaben konfrontiert werden.

Wenn Menschen ein tiefes Verständnis eines Bereichs entwickeln, wie z.B. die Schwerkraft oder andere grundlegende physikalische Prinzipien, gehen wir über spezifische Beispiele hinaus und erfassen die zugrunde liegenden Abstraktionen. Dies ermöglicht es uns, diese Kenntnisse kreativ in verschiedenen Kontexten anzuwenden und neue Instanzen zu erkennen, auch wenn wir sie noch nie zuvor gesehen haben, indem wir das Prinzip in Aktion identifizieren.

Wenn ein Bereich ausreichend wichtig ist, können wir sogar beginnen, ihn wo er nicht existiert wahrzunehmen, wie bei Pareidolie, getrieben von den hohen Kosten, wenn man ein reales Exemplar nicht erkennt. So stark ist dieses Muster-erkennende Überlebensmechanismus, dass es uns sogar dazu veranlasst, eine breitere Palette von Mustern zu finden, wo es keine gibt.

Je früher und wiederholter ein Bereich in uns verankert wird, desto tiefer ist seine Verankerung und seine lebenslange Persistenz; und eines der frühesten visuellen Datensätze, denen wir als Kinder ausgesetzt sind, ist die Form von Lernuhren, bei denen gedrucktes Material oder interaktive Analoguhren verwendet werden, um uns beizubringen, wie man die Uhrzeit liest:

Hilfsmittel zum Lernen der Uhrzeit. Quelle: https://www.youtube.com/watch?v=IBBQXBhSNUs

Obwohl Änderungen im Uhrendesign uns manchmal herausfordern, ist die Widerstandsfähigkeit dieser frühen Beherrschung des Bereichs ziemlich beeindruckend, was es uns ermöglicht, Analoguhren zu erkennen, sogar bei komplexen oder “exzentrischen” Designentscheidungen:

Einige herausfordernde Uhren in der Uhrenmode. Quelle: https://www.ablogtowatch.com/wait-a-minute-legibility-is-the-most-important-part-of-watch-design/

Menschen benötigen keine tausend Beispiele, um zu lernen, wie Uhren funktionieren; sobald das grundlegende Konzept erfasst ist, können wir es in fast jeder Form erkennen, sogar wenn es verzerrt oder abstrahiert ist.

Die Schwierigkeit, mit der KI-Modelle bei dieser Aufgabe konfrontiert sind, unterstreicht ein tieferes Problem: ihre scheinbare Stärke hängt möglicherweise mehr von der hohen Anzahl an Beispielen ab als von dem Verständnis.

Jenseits des Imitationsspiels?

Die Spannung zwischen oberflächlicher Leistung und echtem “Verständnis” ist in jüngsten Untersuchungen von großen Modellen wiederholt aufgetaucht. Letzten Monat haben die Zhejiang-Universität und die Westlake-Universität die Frage in einem Papier mit dem Titel Verstehen PhD-Niveau-LLMs wirklich elementare Addition? (nicht der Schwerpunkt dieses Artikels) neu formuliert und folgern:

‘Trotz beeindruckender Benchmark-Ergebnisse zeigen Modelle eine kritische Abhängigkeit von Mustermatching anstelle von echtem Verständnis, wie durch Fehler bei symbolischen Darstellungen und Verletzungen grundlegender Eigenschaften belegt wird.

‘Die Beeinträchtigung der Leistung durch explizite Regulierungsbestimmungen legt nahe, dass es sich um architektonische Einschränkungen handelt. Diese Erkenntnisse zeigen Bewertungslücken auf und unterstreichen die Notwendigkeit von Architekturen, die über das Mustererkennen hinaus echte mathematische Argumentation ermöglichen.’

Diese Woche taucht die Frage erneut auf, nun in einer Zusammenarbeit zwischen der Nanjing-Universität für Aeronautik und Astronautik und der Universidad Politécnica de Madrid in Spanien. Mit dem Titel Haben multimodale Large-Language-Modelle (MLLMs) wirklich gelernt, die Uhrzeit auf Analoguhren abzulesen? erforscht das neue Papier die Frage, wie gut multimodale Modelle das Zeitlesen verstehen.

Obwohl der Forschungsfortschritt im Papier nur in groben Zügen dargestellt wird, haben die anfänglichen Tests der Forscher festgestellt, dass OpenAIs GPT-4.1-Multimodell-Modell Schwierigkeiten hatte, die Uhrzeit von einer Vielzahl von Uhrenbildern korrekt abzulesen, oft falsche Antworten auch bei einfachen Fällen.

Dies deutet auf eine mögliche Lücke im Trainingsdatensatz des Modells hin, was die Notwendigkeit eines ausgewogeneren Datensatzes aufwirft, um zu testen, ob das Modell tatsächlich das zugrunde liegende Konzept lernen kann. Daher erstellten die Autoren einen synthetischen Datensatz von Analoguhren, der jeden möglichen Zeitpunkt gleichmäßig abdeckt und die üblichen Voreingenommenheiten in Internetbildern vermeidet:

Ein Beispiel aus dem synthetischen Analoguhren-Datensatz der Forscher, der zur Feinabstimmung eines GPT-Modells in der neuen Arbeit verwendet wurde. Quelle: https://huggingface.co/datasets/migonsa/analog_watches_finetune

Bevor die Feinabstimmung auf dem neuen Datensatz durchgeführt wurde, scheiterte GPT-4.1 konsequent daran, diese Uhren zu lesen. Nach einiger Exposition gegenüber der neuen Sammlung verbesserte sich seine Leistung jedoch – aber nur, wenn die neuen Bilder denen glichen, die es bereits gesehen hatte.

Wenn die Form der Uhr oder der Stil der Zeiger geändert wurde, fiel die Genauigkeit scharf ab; sogar kleine Anpassungen, wie dünnere Zeiger oder Pfeilspitzen (rechtes Bild unten), waren ausreichend, um es zu irritieren; und GPT-4.1 hatte zusätzlich Schwierigkeiten, Dali-eske ‘schmelzende Uhren’ zu interpretieren:

Uhrbilder mit Standarddesign (links), verzerrter Form (Mitte) und modifizierten Zeigern (rechts), zusammen mit den von GPT-4.1 vor und nach der Feinabstimmung zurückgegebenen Zeiten. Quelle: https://arxiv.org/pdf/2505.10862

Die Autoren folgern, dass aktuelle Modelle wie GPT-4.1 möglicherweise hauptsächlich durch visuelles Mustermatching lernen, anstatt ein tieferes Konzept von Zeitlesen zu erlernen, und behaupten:

‘[GPT 4.1] scheitert, wenn die Uhr deformiert ist oder wenn die Zeiger geändert werden, um dünner und mit einer Pfeilspitze zu sein. Der mittlere absolute Fehler (MAE) in der ZeitSchätzung über 150 zufällige Zeiten betrug 232,48 s für die ursprünglichen Uhren, 1380,69 s, wenn die Form deformiert war, und 3726,93 s, wenn die Zeiger geändert wurden.

‘Diese Ergebnisse deuten darauf hin, dass das MLLM nicht gelernt hat, die Uhrzeit abzulesen, sondern Muster memorisiert hat.’

Genug Zeit

Die meisten Trainingsdatensätze basieren auf Web-Bildern, die bestimmte Zeiten wiederholen – insbesondere 10:10, eine beliebte Einstellung in Uhrenwerbung:

Ein Beispiel aus dem neuen Papier, das die Verbreitung der ‘zehn vor zehn’-Zeit in Analoguhrenbildern zeigt.

Als Ergebnis dieser begrenzten Zeitspanne, die in den Bildern dargestellt wird, kann das Modell möglicherweise nur einen engen Bereich von möglichen Uhrenkonfigurationen sehen, was seine Fähigkeit einschränkt, über diese wiederholten Muster hinaus zu verallgemeinern.

In Bezug auf die Frage, warum Modelle Schwierigkeiten haben, die verzerrten Uhren korrekt zu interpretieren, besagt das Papier:

‘Obwohl GPT-4.1 mit Standarduhrbildern hervorragend abschneidet, ist es überraschend, dass die Änderung der Uhrzeiger, indem sie dünner gemacht und mit Pfeilspitzen versehen werden, zu einem signifikanten Rückgang der Genauigkeit führt.

‘Intuitiv könnte man erwarten, dass die visuell komplexere Änderung – eine deformierte Zifferblatt – einen größeren Einfluss auf die Leistung hätte, doch diese Änderung scheint einen relativ geringeren Effekt zu haben.

‘Dies wirft eine Frage auf: Wie interpretieren MLLMs Uhren, und warum scheitern sie? Eine Möglichkeit ist, dass dünnere Zeiger die Fähigkeit des Modells beeinträchtigen, die Richtung wahrzunehmen, was seine Verständnis für räumliche Ausrichtung schwächt.

‘Alternativ könnten andere Faktoren dazu beitragen, dass das Modell verwirrt wird, wenn es versucht, die Stunde-, Minute- und Sekundenzeiger zu einer genauen Zeit zu kombinieren.’

Die Autoren sind der Meinung, dass die Identifizierung der Ursache dieser Fehler entscheidend für die Weiterentwicklung multimodaler Modelle ist: Wenn das Problem in der Wahrnehmung der räumlichen Richtung liegt, könnte eine Feinabstimmung eine einfache Lösung bieten; wenn jedoch das Problem in einer breiteren Schwierigkeit bei der Integration mehrerer visueller Hinweise liegt, deutet es auf eine grundlegendere Schwäche in der Informationsverarbeitung dieser Systeme hin.

Feinabstimmungstests

Um zu testen, ob die Fehler des Modells durch Exposition überwunden werden können, wurde GPT-4.1 auf dem oben genannten umfassenden synthetischen Datensatz feinabgestimmt. Bevor die Feinabstimmung durchgeführt wurde, waren seine Vorhersagen weit verstreut, mit erheblichen Fehlern bei allen Arten von Uhren. Nach der Feinabstimmung auf der Sammlung verbesserte sich die Genauigkeit scharf bei Standarduhr-Gesichtern und, in geringerem Maße, bei verzerrten Uhren.

Uhren mit modifizierten Zeigern, wie z.B. dünnere Formen oder Pfeilspitzen, führten jedoch weiterhin zu großen Fehlern.

Zwei verschiedene Fehlermodi traten auf: Bei normalen und verzerrten Uhren irrte das Modell typischerweise die Richtung der Zeiger; bei Uhren mit geänderten Zeigerstilen verwechselte es jedoch oft die Funktion jedes Zeigers, indem es die Stunde mit der Minute oder die Minute mit der Sekunde verwechselte.

Ein Vergleich, der die anfängliche Schwäche des Modells und die teilweisen Gewinne durch Feinabstimmung zeigt, mit den vorhergesagten und tatsächlichen Zeiten in Sekunden für 150 zufällig ausgewählte Uhren. Links, vor der Feinabstimmung, sind die Vorhersagen von GPT-4.1 verstreut und oft weit von den korrekten Werten entfernt, die durch die rote Diagonale angezeigt werden. Rechts, nach der Feinabstimmung auf einem ausgewogenen synthetischen Datensatz, stimmen die Vorhersagen viel besser mit der Grundwahrheit überein, obwohl einige Fehler verbleiben.

Dies deutet darauf hin, dass das Modell visuelle Merkmale wie Zeigerdicke mit bestimmten Rollen assoziiert hat und Schwierigkeiten hatte, wenn diese Hinweise geändert wurden.

Die begrenzte Verbesserung bei unvertrauten Designs wirft weitere Zweifel an die Fähigkeit des Modells auf, das abstrakte Konzept des Zeitlesens zu lernen.

Handzeichen

Obwohl die Feinabstimmung die Leistung von GPT-4.1 bei herkömmlichen Analoguhren verbesserte, hatte sie wenig Auswirkung auf Uhren mit dünnen Zeigern oder Pfeilspitzen, was die Möglichkeit aufwirft, dass die Fehler des Modells weniger von abstraktem Denken und mehr von Verwirrung über die Zeigerrollen herrühren.

Um zu testen, ob die Genauigkeit verbessert werden könnte, wenn diese Verwirrung beseitigt würde, wurde eine neue Analyse der Vorhersagen des Modells für den “modifizierten-Hand”-Datensatz durchgeführt. Die Ausgaben wurden in zwei Gruppen unterteilt: Fälle, in denen GPT-4.1 die Stunde-, Minute- und Sekundenzeiger korrekt erkannte; und Fälle, in denen es dies nicht tat.

Die Vorhersagen wurden vor und nach der Feinabstimmung auf den mittleren absoluten Fehler (MAE) ausgewertet und mit denen von Standarduhren verglichen; der Winkel-fehler wurde auch für jeden Zeiger unter Verwendung der Zifferblattposition als Referenz gemessen:

Fehlervergleich für Uhren mit und ohne Zeigerrollenverwirrung im modifizierten-Hand-Datensatz vor und nach der Feinabstimmung.

Die Verwirrung über die Zeigerrollen führte zu den größten Fehlern. Wenn GPT-4.1 die Stunde mit der Minute oder umgekehrt verwechselte, waren die resultierenden Zeitangaben oft weit entfernt. Im Gegensatz dazu waren die Fehler, die durch die Fehleinschätzung der Richtung eines korrekt identifizierten Zeigers verursacht wurden, kleiner. Unter den drei Zeigern zeigte die Stunde vor der Feinabstimmung den größten Winkel-fehler, während die Sekunde den kleinsten aufwies.

Winkel-fehler nach Zeigertyp für Vorhersagen mit und ohne Zeigerrollenverwirrung, vor und nach der Feinabstimmung, im modifizierten-Hand-Datensatz.

Um sich ausschließlich auf Richtungsfehler zu konzentrieren, wurde die Analyse auf Fälle beschränkt, in denen das Modell die Funktion jedes Zeigers korrekt identifizierte. Wenn das Modell ein allgemeines Konzept des Zeitlesens internalisiert hätte, sollte seine Leistung bei diesen Beispielen seiner Genauigkeit bei Standarduhren entsprechen. Dies war jedoch nicht der Fall, und die Genauigkeit blieb deutlich schlechter.

Um zu untersuchen, ob die Zeigerform die Wahrnehmung der Richtung durch das Modell beeinträchtigte, wurde ein zweites Experiment durchgeführt: Zwei neue Datensätze wurden erstellt, jeder mit 60 synthetischen Uhren, die nur eine Stunde zeigten und auf ein anderes Minutenzeichen zeigten. Ein Satz verwendete das ursprüngliche Zeigerdesign, und der andere den geänderten Zeiger. Das Modell wurde aufgefordert, das Minutenzeichen zu benennen, auf das der Zeiger zeigte.

Die Ergebnisse zeigten einen leichten Rückgang der Genauigkeit bei den modifizierten Zeigern, aber nicht ausreichend, um die umfassenderen Schwächen des Modells zu erklären. Ein einziges unvertrautes visuelles Merkmal schien in der Lage zu sein, die Gesamtinterpretation des Modells zu stören, sogar bei Aufgaben, die es zuvor gut bewältigt hatte.

Überblick über die Leistung von GPT-4.1 vor und nach der Feinabstimmung bei Standard-, verzerrten und modifizierten Uhren, mit ungleichen Gewinnen und anhaltenden Schwächen.

Schlussfolgerung

Obwohl der Schwerpunkt des Papiers auf den ersten Blick trivial erscheinen mag, ist es nicht besonders wichtig, ob Vision-Sprach-Modelle jemals in der Lage sind, Analoguhren mit 100%iger Genauigkeit zu lesen. Was dem Werk Gewicht verleiht, ist seine Konzentration auf eine tiefere wiederkehrende Frage: ob die Sättigung von Modellen mit mehr (und vielfältigeren) Daten zu dem Verständnis eines Bereichs führen kann, das Menschen durch Abstraktion und Verallgemeinerung erwerben; oder ob der einzige gangbare Weg darin besteht, den Bereich mit genügend Beispielen zu fluten, um jede wahrscheinliche Variation bei der Inferenz vorherzusagen.

Beide Wege werfen Zweifel an dem auf, was die aktuellen Architekturen wirklich lernen können.

Erstveröffentlichung am Montag, 19. Mai 2025