Η Αγωνία του AI να Διαβάσει Αναλογικά Ρολόγια Μπορεί να Έχει Βαθύτερη Σημασία

Μια νέα εργασία ερευνητών στην Κίνα και την Ισπανία αποκαλύπτει ότι ακόμη και προηγμένα μοντέλα πολλαπλών модαλитетων AI, όπως το GPT-4.1, έχουν δυσκολίες να διαβάσουν την ώρα από εικόνες αναλογικών ρολογιών. Μικρές οπτικές αλλαγές στα ρολόγια possono να προκαλέσουν σημαντικά λάθη ερμηνείας, και η εξειδικευμένη εκπαίδευση βοηθά μόνο με γνωστά παραδείγματα. Τα αποτελέσματα αυτής της έρευνας ανεβάζουν ανησυχίες σχετικά με την αξιοπιστία αυτών των μοντέλων όταν αντιμετωπίζουν άγνωστες εικόνες σε πραγματικές εργασίες.

Όταν οι άνθρωποι αναπτύσσουν μια assez sâuια κατανόηση ενός τομέα, όπως η βαρύτητα ή άλλες βασικές φυσικές αρχές, μεταβαίνουμε πέρα από συγκεκριμένα παραδείγματα και κατανοούμε τις υποκείμενες αφηρημένες έννοιες. Αυτό μας επιτρέπει να εφαρμόζουμε αυτή τη γνώση δημιουργικά σε διάφορους контекστ και να αναγνωρίζουμε νέες περιπτώσεις, ακόμη και αυτές που δεν έχουμε δει πριν, αναγνωρίζοντας την αρχή σε δράση.

Όταν ένας τομέας έχει assez μεγάλη σημασία, μπορεί να αρχίσουμε να το αντιλαμβανόμαστε όπου δεν υπάρχει, όπως με την pareidolia, που οδηγείται από το υψηλό κόστος της μη αναγνώρισης ενός πραγματικού περιστατικού. Αυτό το μοτίβο-αναγνωριστικό μηχανισμό επιβίωσης είναι τόσο ισχυρό που μας οδηγεί να βρούμε ένα ευρύτερο φάσμα μοτίβων όπου δεν υπάρχουν.

Ο früher και πιο επαναλαμβανόμενος ένας τομέας διδάσκεται σε μας, το βαθύτερο η εναπόθεση και η διάρκεια ζωής του· και ένας από τους πρώτους οπτικούς συνόλους που εκτεθούμε ως παιδιά είναι η μορφή διδασκαλίας-ρολογιών, όπου τυπωμένα υλικά ή διαδραστικά αναλογικά ρολόγια χρησιμοποιούνται για να μας διδάξουν πώς να διαβάζουμε την ώρα:

Διδακτικά βοηθήματα για να βοηθήσουν τα παιδιά να μάθουν να διαβάζουν την ώρα. Πηγή: https://www.youtube.com/watch?v=IBBQXBhSNUs

Αν και οι αλλαγές στη μόδα του σχεδιασμού ρολογιών μπορεί να μας προκαλούν иногда προβλήματα, η ανθεκτικότητα αυτής της πρώιμης κατανόησης του τομέα είναι assez εντυπωσιακή, μας επιτρέποντας να αναγνωρίζουμε αναλογικά ρολόγια ακόμη και σε περίπλοκα ή ‘εξωτικά’ σχέδια:

Ορισμένα προκλητικά πρόσωπα στο σχέδιο ρολογιών. Πηγή: https://www.ablogtowatch.com/wait-a-minute-legibility-is-the-most-important-part-of-watch-design/

Οι άνθρωποι δεν χρειάζονται χιλιάδες παραδείγματα για να μάθουν πώς λειτουργούν τα ρολόγια· μια φορά που η βασική έννοια κατανοηθεί, μπορούμε να αναγνωρίσουμε την ώρα σε几乎 οποιαδήποτε μορφή, ακόμη και όταν είναι διαστρεβλωμένη ή αφηρημένη.

Η δυσκολία που αντιμετωπίζουν τα μοντέλα AI με αυτή τη δουλειά, από την άλλη πλευρά, υπογραμμίζει ένα βαθύτερο ζήτημα: η φαινομενική τους δύναμη μπορεί να εξαρτάται περισσότερο από την υψηλή έκθεση σε δεδομένα παρά από την κατανόηση.

Πέρα από το Παιχνίδι Μίμησης;

Η ένταση μεταξύ της επιφανειακής απόδοσης και της γνήσιας ‘κατανόησης’ έχει εμφανιστεί επανειλημμένα σε πρόσφατες έρευνες για μεγάλα μοντέλα. Τον προηγούμενο μήνα, το Πανεπιστήμιο Zhejiang και το Πανεπιστήμιο Westlake επαναδιατύπωσαν το ερώτημα σε μια εργασία με τίτλο Do PhD-level LLMs Truly Grasp Elementary Addition? (δεν είναι το焦点 αυτού του άρθρου), καταλήγοντας:

‘Παρά τις εντυπωσιακές επιδόσεις, τα μοντέλα δείχνουν κρίσιμη εξάρτηση από την αντιστοίχιση μοτίβων και όχι από την αληθινή κατανόηση, όπως φαίνεται από τις αποτυχίες με συμβολικές αναπαραστάσεις και τις παραβιάσεις των βασικών ιδιοτήτων.

‘Η ρητή παροχή κανόνων που επηρεάζει την απόδοση υποδηλώνει εγγενείς αρχιτεκτονικές περιορισμούς. Αυτές οι εντυπώσεις αποκαλύπτουν κενά αξιολόγησης και υπογραμμίζουν την ανάγκη για αρχιτεκτονικές ικανές για γνήσια μαθηματική συλλογιστική πέρα από την αναγνώριση μοτίβων.’

Αυτή την εβδομάδα, το ερώτημα ανακύπτει ξανά, τώρα σε μια συνεργασία μεταξύ του Πανεπιστημίου Αεροναυπηγικής και Αστροναυτικής της Ναντζίνγκ και του Πανεπιστημίου Politécnica de Madrid στην Ισπανία. Με τίτλο Have Multimodal Large Language Models (MLLMs) Really Learned to Tell the Time on Analog Clocks?, η νέα εργασία εξετάζει πώς καλά τα πολλαπλά μοντέλα κατανοούν την ανάγνωση της ώρας.

Αν και η πρόοδος της έρευνας καλύπτεται μόνο σε γενικές γραμμές στην εργασία, οι αρχικές δοκιμές των ερευνητών καθιέρωσαν ότι το μοντέλο GPT-4.1 του OpenAI με πολλαπλά μέσα είχε δυσκολίες να διαβάσει σωστά την ώρα από ένα διαφοροποιημένο σύνολο εικόνων ρολογιών, δίνοντας συχνά λάθος απαντήσεις ακόμη και σε απλές περιπτώσεις.

Αυτό υποδηλώνει ένα πιθανό κενό στα δεδομένα εκπαίδευσης του μοντέλου, ανεβάζοντας την ανάγκη για ένα πιο ισορροπημένο σύνολο δεδομένων, για να δοκιμαστεί εάν το μοντέλο μπορεί πραγματικά να μάθει την υποκείμενη έννοια. Για αυτό, οι συγγραφείς δημιούργησαν ένα συνθετικό σύνολο δεδομένων αναλογικών ρολογιών, που καλύπτει ομοιόμορφα κάθε δυνατή ώρα, και αποφεύγοντας τις συνήθεις προκαταλήψεις που βρίσκονται σε εικόνες του διαδικτύου:

Ένα παράδειγμα από το συνθετικό σύνολο δεδομένων αναλογικών ρολογιών των ερευνητών, που χρησιμοποιήθηκε για την εξειδικευμένη εκπαίδευση ενός μοντέλου GPT στην νέα εργασία. Πηγή: https://huggingface.co/datasets/migonsa/analog_watches_finetune

Πριν από την εξειδικευμένη εκπαίδευση στο νέο σύνολο δεδομένων, το GPT-4.1 απέτυχε συνεχώς να διαβάσει αυτά τα ρολόγια. Μετά από κάποια έκθεση στο νέο σύνολο, η απόδοσή του βελτιώθηκε – αλλά μόνο όταν οι νέες εικόνες έμοιαζαν με αυτές που είχε ήδη δει.

Όταν η μορφή του ρολογιού ή ο στυλ των χεριών άλλαξε, η ακρίβεια έπεσε απότομα· ακόμη και μικρές αλλαγές, όπως λεπτότερα χέρια ή βελόνες (δεξιά εικόνα παρακάτω), ήταν αρκετές για να το απομακρύνουν· και το GPT-4.1 είχε δυσκολίες να ερμηνεύσει Dali-esque ‘μελτένια ρολόγια’:

Εικόνες ρολογιών με τυπικό σχέδιο (αριστερά), διαστρεβλωμένη μορφή (κέντρο), και τροποποιημένα χέρια (δεξιά), μαζί με τις ώρες που επέστρεψε το GPT-4.1 πριν και μετά την εξειδικευμένη εκπαίδευση. Πηγή: https://arxiv.org/pdf/2505.10862

Οι συγγραφείς συναγάγουν ότι τα τρέχοντα μοντέλα όπως το GPT-4.1 μπορεί να μάθουν την ανάγνωση της ώρας κυρίως μέσω οπτικής αντιστοίχισης μοτίβων, και όχι μέσω μιας βαθύτερης έννοιας του χρόνου, ισχυριζόμενοι:

‘[GPT 4.1] αποτυγχάνει όταν το ρολόγι είναι διαστρεβλωμένο ή όταν τα χέρια αλλάζουν να είναι λεπτότερα και να έχουν βελόνα. Η Μέση Απόλυτη Σφάλμα (MAE) στην εκτίμηση της ώρας για 150 τυχαίες ώρες ήταν 232.48s για τα αρχικά ρολόγια, 1380.69s όταν η μορφή είναι διαστρεβλωμένη και 3726.93s όταν τα χέρια αλλάζουν.

‘Αυτά τα αποτελέσματα υποδηλώνουν ότι το MLLM δεν έχει μάθει να διαβάζει την ώρα αλλά έχει απομνημονεύσει μοτίβα.’

Αρκετό Χρόνο

Τα περισσότερα σύνολα δεδομένων εκπαίδευσης βασίζονται σε εικόνες που έχουν συλλεγεί από το διαδίκτυο, οι οποίες έχουν την τάση να επαναλαμβάνουν ορισμένες ώρες – ιδιαίτερα 10:10, μια ποуляр ρύθμιση σε διαφημίσεις ρολογιών:

Ένα παράδειγμα από την νέα εργασία, που δείχνει την επικράτηση της ώρας ‘δέκα παραπάνω από δέκα’ σε εικόνες αναλογικών ρολογιών.

Ως αποτέλεσμα αυτής της περιορισμένης σειράς ωρών που απεικονίζονται, το μοντέλο μπορεί να δει μόνο μια στενή σειρά πιθανών ρυθμίσεων ρολογιών, περιορίζοντας την ικανότητά του να γενικεύσει πέρα από αυτές τις επαναλαμβανόμενες μοτίβα.

Σχετικά με το γιατί τα μοντέλα αποτυγχάνουν να ερμηνεύσουν σωστά τα διαστρεβλωμένα ρολόγια, η εργασία αναφέρει:

‘Αν και το GPT-4.1 εκτελείται εξαιρετικά καλά με τυπικές εικόνες ρολογιών, είναι εκπληκτικό ότι η τροποποίηση των χεριών του ρολογιού, κάνοντας τα λεπτότερα και προσθέτοντας βελόνες, οδηγεί σε σημαντική πτώση της ακρίβειας.

‘Η σαφής παροχή κανόνων που επηρεάζει την απόδοση υποδηλώνει εγγενείς αρχιτεκτονικές περιορισμούς. Αυτές οι εντυπώσεις αποκαλύπτουν κενά αξιολόγησης και υπογραμμίζουν την ανάγκη για αρχιτεκτονικές ικανές για γνήσια μαθηματική συλλογιστική πέρα από την αναγνώριση μοτίβων.’

Οι συγγραφείς υποστηρίζουν ότι η αναγνώριση της ρίζας αυτών των αποτυχιών είναι κλειδί για την προώθηση των πολλαπλών μοντέλων: εάν το ζήτημα έγκειται στην τρόπο που το μοντέλο αντιλαμβάνεται την χωρική κατεύθυνση, η εξειδικευμένη εκπαίδευση μπορεί να προσφέρει μια απλή λύση· αλλά εάν το πρόβλημα προέρχεται από μια ευρύτερη δυσκολία στην ολοκλήρωση πολλαπλών οπτικών ενδείξεων, υποδηλώνει μια πιο θεμελιώδη αδυναμία στο πώς αυτά τα συστήματα επεξεργάζονται πληροφορίες.

Δοκιμές Εξειδικευμένης Εκπαίδευσης

Για να δοκιμαστεί εάν οι αποτυχίες του μοντέλου μπορούσαν να υπερβληθούν με έκθεση, το GPT-4.1 εξειδικεύτηκε στο προαναφερθέν και ολοκληρωμένο συνθετικό σύνολο δεδομένων. Πριν από την εξειδικευμένη εκπαίδευση, οι προβλέψεις του ήταν ευρέως σκορπισμένες, με σημαντικά λάθη σε όλα τα είδη ρολογιών. Μετά την εξειδικευμένη εκπαίδευση στο σύνολο, η ακρίβεια βελτιώθηκε απότομα σε τυπικές εικόνες ρολογιών, και, σε μικρότερο βαθμό, σε διαστρεβλωμένες:

Ωστόσο, τα ρολόγια με τροποποιημένα χέρια, όπως λεπτότερα σχήματα ή βελόνες, συνέχισαν να παράγουν μεγάλες σφάλματα.

Δύο διακριτά μοτίβα αποτυχίας εμφανίστηκαν: στα τυπικά και διαστρεβλωμένα ρολόγια, το μοντέλο συχνά λάθησε την κατεύθυνση των χεριών· αλλά στα ρολόγια με αλλαγμένες μορφές χεριών, συχνά συγχέωνε την λειτουργία κάθε χεριού, λανθασμένα αναγνωρίζοντας το χέρι της ώρας ως χέρι των λεπτών ή το αντίστροφο.

Μια σύγκριση που δείχνει την αρχική αδυναμία του μοντέλου και τις μερικές κερδισμένες που επιτεύχθηκαν μέσω της εξειδικευμένης εκπαίδευσης, δείχνοντας την προβλεπόμενη ώρα σε σχέση με την πραγματική ώρα, σε δευτερόλεπτα, για 150 τυχαία επιλεγμένα ρολόγια.

Αυτό υποδηλώνει ότι το μοντέλο είχε μάθει να συνδέει οπτικές ιδιότητες όπως το πάχος των χεριών με συγκεκριμένες ρόλους, και είχε δυσκολίες όταν αυτές οι ενδείξεις άλλαζαν.

Η περιορισμένη βελτίωση σε άγνωστες μορφές ανεβάζει περαιτέρω αμφιβολίες σχετικά με το εάν ένα μοντέλο αυτού του είδους μαθαίνει την αφηρημένη έννοια της ανάγνωσης της ώρας, ή απλώς βελτιώνει την αντιστοίχιση μοτίβων.

Σημάδια Χεριών

Έτσι, αν και η εξειδικευμένη εκπαίδευση βελτίωσε την απόδοση του GPT-4.1 σε τυπικά αναλογικά ρολόγια, είχε πολύ μικρότερη επίδραση σε ρολόγια με λεπτότερα χέρια ή βελόνες, ανεβάζοντας την πιθανότητα ότι οι αποτυχίες του μοντέλου οφείλονταν λιγότερο στην αφηρημένη συλλογιστική και περισσότερο στη σύγχυση σχετικά με ποιο χέρι ήταν ποιο:

Για να δοκιμαστεί εάν η ακρίβεια θα βελτιωθεί εάν αυτή η σύγχυση αφαιρεθεί, μια νέα ανάλυση πραγματοποιήθηκε στις προβλέψεις του μοντέλου για το ‘τροποποιημένο-χέρια’ σύνολο δεδομένων. Οι εξόδους χωρίστηκαν σε δύο ομάδες: περιπτώσεις όπου το GPT-4.1 σωστά αναγνώρισε τα χέρια της ώρας, των λεπτών και των δευτερολέπτων· και περιπτώσεις όπου δεν το έκανε.

Οι προβλέψεις αξιολογήθηκαν για Μέση Απόλυτη Σφάλμα (MAE) πριν και μετά την εξειδικευμένη εκπαίδευση, και τα αποτελέσματα συγκρίθηκαν με αυτά από τυπικά ρολόγια· η γωνιακή σφάλμα μετρήθηκε επίσης για κάθε χέρι χρησιμοποιώντας τη θέση του δακτυλίου ως αναφορά:

Σύγκριση σφαλμάτων για ρολόγια με και χωρίς σύγχυση ρόλων χεριών στο σύνολο δεδομένων ‘τροποποιημένα-χέρια’ πριν και μετά την εξειδικευμένη εκπαίδευση.

Η σύγχυση των ρόλων των χεριών του ρολογιού οδήγησε στα μεγαλύτερα σφάλματα. Όταν το GPT-4.1 λάθησε το χέρι της ώρας για το χέρι των λεπτών ή το αντίστροφο, οι αποτελέσματα της ώρας ήταν συχνά πολύ μακρυά. Αντίθετα, τα σφάλματα που προκλήθηκαν από την λανθασμένη κατεύθυνση ενός σωστά αναγνωρισμένου χεριού ήταν μικρότερα. Μεταξύ των τριών χεριών, το χέρι της ώρας έδειξε το υψηλότερο γωνιακό σφάλμα πριν από την εξειδικευμένη εκπαίδευση, ενώ το χέρι των δευτερολέπτων έδειξε το χαμηλότερο.

Γωνιακό σφάλμα ανά τύπο χεριού για προβλέψεις με και χωρίς σύγχυση ρόλων χεριών, πριν και μετά την εξειδικευμένη εκπαίδευση, στο σύνολο δεδομένων ‘τροποποιημένα-χέρια’.

Για να εστιάσει στα σφάλματα κατεύθυνσης μόνο, η ανάλυση περιορίστηκε σε περιπτώσεις όπου το μοντέλο σωστά αναγνώρισε τη λειτουργία κάθε χεριού. Εάν το μοντέλο είχε εσωτερικεύσει μια γενική έννοια της ανάγνωσης της ώρας, η απόδοσή του σε αυτά τα παραδείγματα θα πρέπει να είχε αντιστοιχίσει με την ακρίβεια του σε τυπικά ρολόγια. Δεν το έκανε, και η ακρίβεια παρέμεινε εμφανώς χειρότερη.

Για να εξετάσει εάν η μορφή χεριών εμπόδιζε την αίσθηση κατεύθυνσης του μοντέλου, μια δεύτερη πειραματική δοκιμή πραγματοποιήθηκε: δύο νέα σύνολα δεδομένων δημιουργήθηκαν, το καθένα περιέχοντας εξήντα συνθετικά ρολόγια με μόνο ένα χέρι της ώρας, που δείχνει σε διαφορετικά σημεία λεπτών. Ένα σύνολο χρησιμοποιούσε το αρχικό σχέδιο χεριών, και το άλλο το τροποποιημένο. Το μοντέλο ζητήθηκε να ονομάσει το σημείο που δείχνει το χέρι:

Τα αποτελέσματα έδειξαν μια μικρή πτώση στην ακρίβεια με τα τροποποιημένα χέρια, αλλά όχι αρκετή για να εξηγήσει τις ευρύτερες αποτυχίες του μοντέλου. Μια μια seule άγνωστη οπτική ιδιότητα φαινόταν ικανή να διαταράξει την ολοκληρωμένη ερμηνεία του μοντέλου, ακόμη και σε εργασίες που είχε προηγουμένως εκτελέσει καλά.

Επισκόπηση της απόδοσης του GPT-4.1 πριν και μετά την εξειδικευμένη εκπαίδευση σε τυπικά, διαστρεβλωμένα και ‘τροποποιημένα-χέρια’ ρολόγια, υπογραμμίζοντας τις ανίσες κερδισμένες και τις συνεχιζόμενες αδυναμίες.

Συμπέρασμα

Αν και ο焦δος της εργασίας μπορεί να φαίνεται ελαφρός στην πρώτη ματιά, δεν έχει ιδιαίτερη σημασία εάν τα μοντέλα όρασης-γλώσσας ποτέ μάθουν να διαβάζουν αναλογικά ρολόγια με 100% ακρίβεια. Αυτό που δίνει βάρος στην εργασία είναι η εστίασή της σε ένα βαθύτερο επαναλαμβανόμενο ερώτημα: εάν η κορύφωση των μοντέλων με περισσότερα (και πιο διαφοροποιημένα) δεδομένα μπορεί να οδηγήσει στο είδος κατανόησης του τομέα που οι άνθρωποι αποκτάνε μέσω αφαίρεσης και γενίκευσης· ή εάν ο μόνος βιώσιμος δρόμος είναι να πλημμυρίσει το domaine με αρκετά παραδείγματα για να προβλέψει κάθε πιθανή παραλλαγή κατά την ερμηνεία.

Κάθε δρόμος ανεβάζει αμφιβολίες σχετικά με το τι είναι πραγματικά ικανά να μάθουν τα τρέχοντα αρχιτεκτονικά.

Πρώτη δημοσίευση Δευτέρα, 19 Μαΐου 2025