Ακόμη και τα κορυφαία μοντέλα γλωσσών είναι επιρρεπή σε «ερμηνευτικές» μεταγραφές

Νέα έρευνα από την Amazon αποκαλύπτει ότι, όσο πιο έξυπνο είναι το μοντέλο, τόσο πιο πιθανό είναι να «γίνει δημιουργικό» όταν ζητηθεί να εκτελέσει Αναγνώριση Οπτικών Χαρακτήρων.

Η Αναγνώριση Οπτικών Χαρακτήρων (OCR) θεωρείται ότι είναι ένα σε μεγάλο βαθμό λυμένο πρόβλημα. Αν σκανάρετε κάποιο κείμενο ή παρουσιάσετε μια φωτογραφία του κειμένου στο σύστημα OCR, εκτελεί eine περίπλοκη ατομική αναγνώριση κάθε γραμματος, κάνωντας την καλύτερη εκτίμηση που μπορεί σε κάθε γράμμα:

Πάνω αριστερά, η ζώνη των χαρακτηριστικών τοποθεσιών σε ένα τμηματισμένο αναγνωρισμένο γράμμα (πηγή); κύρια εικόνα: αποτέλεσμα τμηματισμού για μια θεσμική αποθήκη (Πηγή).

Το OCR ερμηνεύει τους χαρακτήρες ατομικά; αυτοί οι χαρακτήρες, σε κοντινή απόσταση, μπορεί να συνθέτουν λέξεις ή άλλα γλωσσικά κατασκευάσματα. Το OCR δεν ενδιαφέρεται; μέχρι τη στιγμή που αυτά τα ζητήματα προκύπτουν, έχει ήδη ολοκληρώσει την εργασία του και έχει προχωρήσει στο επόμενο έργο, επειδή η διόρθωση ορθογραφίας δεν εμπίπτει στο πεδίο του.

Ένα από τα πιο δημοφιλή συστήματα OCR είναι το αρχαίο Tesseract, ένα αυστηρά αλγοριθμικό ερμηνευτή, που χρησιμοποιείται ευρέως σε μια ποικιλία ανοιχτών πηγών εφαρμογών και ροών εργασίας. Με μια ευρεία γκάμα “επιπεδών” αλγοριθμικών προσθηκών OCR διαθέσιμων σε όλα τα λειτουργικά συστήματα, η khảότητα μετατροπής εικόνας-κειμένου πίσω σε επεξεργάσιμο κείμενο έχει φτάσει στο επίπεδο μιας δωρεάν εμπορευματικής αξίας – ακόμη και αν κανένα σύστημα δεν είναι χωρίς ελαττώματα ή ιδιορρυθμίες.

Additionally, για να παραμείνει σχετικό, οι οργανισμοί και τα εμπορικά προϊόντα που παραδοσιακά ανταγωνίζονται στον αλγοριθμικό χώρο OCR έχουν προσαρμόσει τα legacy συστήματά τους σε συστήματα διαχείρισης εγγράφων με τη βοήθεια του AI. Ωστόσο, η βασική τεχνολογία – η εκχώρηση εκτιμώμενων ομάδων τμηματισμένων και αναγνωρισμένων γραμμάτων – παραμένει αμετάβλητη.

Λέξη

Μαζί με μια αυξανόμενη σειρά εργασιών, το OCR χειρίζεται ολοένα και περισσότερο από τη νέα γενιά των Μοντέλων Γλώσσας και Όρασης (VLMs); αντιμετωπίζοντας μη επεξεργάσιμο ή ραστραρισμένο κείμενο, αγεντικά εκδόσεις αυτών των τελευταίων συστημάτων μπορούν να διαβάσουν και να μεταφράσουν όπως απαιτείται.

Ωστόσο, σύμφωνα με μια νέα έρευνα από την Amazon.com, εκείνοι που πιστεύουν ότι το AI θα αναπαράγει ακριβώς την ίδια λειτουργία όπως το OCR μπορεί να έχουν μια έκπληξη: η νέα μελέτη έχει βρει ότι το αγαπημένο σας LLM είναι πιθανό να «πάρει το έξτρα μίλι» στη μεταγραφή, ανεξάρτητα από το αν το θέλετε ή όχι; υπερβαίνοντας το контекст ανά γράμμα σε περιβάλλον λέξης – και διορθώνοντας οποιαδήποτε «λάθη» βρίσκει, με τρόπους που θα μπορούσαν να έχουν ανεπιθύμητες συνέπειες για περιοχές όπως η νομική, η ιατρική και η ιστορική μεταγραφή.

Οι συγγραφείς ισχυρίζονται:

‘Τα Μοντέλα Γλώσσας και Όρασης (VLMs) χρησιμοποιούνται ολοένα και περισσότερο αντί των παραδοσιακών πιπελινών OCR για την κατανόηση εγγράφων.

‘[Εμείς] δείχνουμε ότι δεν ενεργούν πάντα ως πιστοί μεταγραφείς: όταν το κείμενο είναι ατελές, συχνά έχουν την τάση να το ξαναγράψουν σε μια πιο πιθανή μορφή – μια συμπεριφορά που δεν μπορεί να ανιχνευθεί από τα καθαρά κείμενα OCR.

Οι συγγραφείς εισάγουν ένα νέο dataset και ένα νέο benchmark με τίτλο FaithC4, το οποίο έχουν δοκιμάσει σε μια επιλογή από 15 FOSS και κλειστού κώδικα μοντέλων, συμπεριλαμβανομένων εκδόσεων του ChatGPT και του Google Gemini.

Βρήκαν ότι τα γενικά μοντέλα AI ήταν πολύ πιο πιθανό να αντικαταστήσουν ατελείς λέξεις με πιο «πιθανές» από τα παραδοσιακά συστήματα OCR, đôi lúc ξαναγράφοντας σχεδόν το 65% των ανακατεμένων λέξεων, ενώ μικρές τοπικές σφάλματα προκάλεσαν επίσης λάθη αλλού στο αλλιώς ακριβές κείμενο.

Οι σύντομες λέξεις ήταν ιδιαίτερα ευάλωτες, και οι ρητές οδηγίες όχι να κάνουν διορθώσεις μειώθηκαν το πρόβλημα, αν και δεν το εξαφάνισαν.

Το έγγραφο αναφέρει*:

‘Ενώ η συμπεριφορά της ξαναγράφισης μπορεί να είναι ωφέλιμη για την ανάκτηση некоторых πραγματικών σφαλμάτων, μπορεί να είναι προβληματική για ορισμένα πεδία που μπορεί να απαιτούν κυριολεκτική μεταγραφή, όπως νομικά έγγραφα, ιατρικά αρχεία και ιστορικά χειρόγραφα.

‘Παρά τη σημασία του, αυτή η συμπεριφορά της ξαναγράφισης έχει παραμεληθεί σε μεγάλο βαθμό στην έρευνα VLM. Τα υπάρχοντα OCR benchmarks εστιάζουν στην αναγνώριση καθαρού κειμένου και είναι επομένως ανεπαρκή για τη διερεύνηση του πώς τα μοντέλα μπορούν να χειριστούν ατελείς εισόδους.’

Το κεντρικό μήνυμα είναι ότι τα πιο προηγμένα συστήματα AI δυσκολεύονται να μην διορθώσουν σφάλματα που τα αλγοριθμικά συστήματα OCR μπορούν εύκολα να ρυθμιστούν για να παραδώσουν «ακατέργαστο»; σε πολλές περιπτώσεις, η ανθρώπινη ερμηνεία είναι απαραίτητη για να επιλυθεί το ζήτημα; αλλά αν μια λάθος «διόρθωση» έχει ήδη εφαρμοστεί, το πρόβλημα θα τείνει να γλιστρήσει κάτω από το ραντάρ των περισσότερων συστημάτων ελέγχου.

Η νέα μελέτη έχει τίτλο Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models, και προέρχεται από πέντε ερευνητές στην Amazon.com.

Δεδομένα και Μέθοδος

Για να πληρώσουν το dataset τους, οι συγγραφείς drew από το Colossal Cleaned Crawled Corpus – επίσης γνωστό ως C4 – μια υπερκλίμακα συλλογή web-crawled από το 2020. Από αυτή τη συλλογή, 1.455 đơnικές σελίδες εγγράφων επιλέχθηκαν σε αγγλικά, κινέζικα και κορεατικά, με κάθε απόσπασμα να μεγεθύνεται για να χωρέσει σε μια seule σελίδα.

Το τελικό benchmark περιείχε 500 αγγλικά έγγραφα, 500 κινέζικα έγγραφα και 455 κορεατικά έγγραφα, παρέχοντας ένα πολυγλωσσικό τεστ-μπεντς για τη μέτρηση του αν τα συστήματα AI θα αντιγράψουν πιστά ή θα ξαναγράψουν το κείμενο.

Για να δοκιμάσουν αν τα μοντέλα AI θα αντιγράψουν πιστά ότι βλέπουν, ελεγχόμενα σφάλματα εισήχθησαν στα έγγραφα πριν από την απόδοση τους ως εικόνες, με περίπου 8% των επιλέξιμων λέξεων να έχουν τροποποιηθεί, κάθε μια από τις οποίες περιείχε τουλάχιστον τέσσερα γράμματα. Αμετάβλητες εκδόσεις αυτών των εγγράφων χρησιμοποιήθηκαν ως ground truth.

Τρεις παραλλαγές perturbation εφαρμόστηκαν: scramble ανακάτεψε τα εσωτερικά γράμματα των λέξεων ενώ διατήρησε τα πρώτα και τελευταία γράμματα; random αντικατέστησε κάθε χαρακτήρα με einen τυχαίο εναλλακτικό από το ίδιο σύστημα γραφής; και visual αντικατέστησε οπτικά παρόμοιους χαρακτήρες που παρέμειναν πιθανό στην όραση, αλλά άλλαξε το υποκείμενο κείμενο.

Η κινέζικη παραλλαγή παρέλειψε την scramble συνθήκη επειδή το σύστημα γραφής της δεν έχει χώρο-διαχωρισμένες λέξεις, αντίθετα χρησιμοποιώντας σταθερά παράθυρα τεσσάρων χαρακτήρων για τις άλλες perturbations; επιπλέον, η κορεατική είχε μικρότερο μέσο μήκος λέξης, που σήμαινε ότι λιγότερες λέξεις προέκυψαν για τροποποίηση.

Κάθε έγγραφο τότε αποδίδεται ως PDF σελίδα και περνάει στα ανταγωνιστικά συστήματα μεταγραφής.

Δοκιμές

Οι δοκιμές για τη μελέτη κάλυψαν τόσο τα κλειστά συστήματα γενικής χρήσης, όπως GPT-5.4-mini; Gemini-3-Flash; και Gemini-2.5-Flash; όσο και τα ανοιχτά μοντέλα, που αποτελούνται από τα γενικά μοντέλα Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; και Gemma4-E2B.

Επιπλέον, συμπεριλήφθηκαν και OCR-ειδικά μοντέλα, που αποτελούνταν από olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; και LightOnOCR-2-1B. Τέλος, τα παραδοσιακά συστήματα OCR Tesseract και docTR επίσης δοκιμάστηκαν.

Οι τρεις ομάδες βασίζονται σε γλωσσικές γνώσεις σε διαφορετικά επίπεδα: τα γενικά μοντέλα AI βασίζονται σε ευρείες γνώσεις γλώσσας που αποκτήθηκαν κατά τη διάρκεια της προ-εκπαίδευσης; τα OCR-ειδικά μοντέλα AI δίνουν μεγαλύτερη έμφαση στην πιστή μεταγραφή εγγράφων μέσω της εκπαίδευσης για συγκεκριμένες εργασίες; και τα παραδοσιακά συστήματα OCR βασίζονται στην αναγνώριση χαρακτήρων,而 όχι στη γλωσσική ερμηνεία.

Δύο μετρικές υιοθετήθηκαν, αρχίζοντας με Λαθός Λέξης (WER), το τυπικό μετρικό OCR για τον καθορισμό του πόσες λέξεις ένα σύστημα μετέγραψε λανθασμένα. Αντί να μετράει απλά λανθασμένους χαρακτήρες, το WER καταγράφει αντικαταστάσεις, διαγραφές και εισαγωγές σχετικά με το αρχικό κείμενο, καθιστώντας το ευαίσθητο και στα λανθασμένα κείμενα και στις λέξεις που έχουν παραλειφθεί ή προστεθεί.

Για τα κινέζικα, όπου οι λέξεις δεν χωρίζονται με κενά, η ίδια προσέγγιση εφαρμόστηκε στο επίπεδο χαρακτήρων, ως Λαθός Χαρακτήρα (CER).

Για να καταγράψουν πιο λεπτές λάθη, η μετρική Ομοιότητα Απόστασης Επεξεργασίας (EDS) επίσης χρησιμοποιήθηκε. Η EDS συγκρίνει το προβλεπόμενο κείμενο με το αρχικό στο επίπεδο χαρακτήρων, και – αντίθετα με το WER – μπορεί να διακρίνει μεταξύ μιας λέξης που είναι εντελώς λανθασμένη και μιας που διαφέρει μόνο από ένα ή δύο γράμματα. Φυσικά, αυτό την καθιστά χρήσιμη για την ανίχνευση near-miss, καθώς και για μερικές ξαναγραφές που θα μπορούσαν να φαίνονται παρόμοιες.

Όπως φαίνεται στο γράφημα παρακάτω, τα παραδοσιακά συστήματα OCR αποδείχθηκαν τα πιο ανθεκτικά σε όλους τους τύπους perturbation, με μικρή απώλεια ακρίβειας επειδή αναγνωρίζουν κυρίως ατομικούς χαρακτήρες και όχι να υποθέτουν λέξεις από контекστ:

Αλλαγές στο Λαθός Λέξης (αριστερά) και την Ομοιότητα Απόστασης Επεξεργασίας (δεξιά) σε αγγλικά, κινέζικα και κορεατικά μετά την εφαρμογή των τριών μεθόδων perturbation. Τα παραδοσιακά συστήματα OCR έδειξαν την μικρότερη υποβάθμιση απόδοσης συνολικά, τα OCR-ειδικά μοντέλα κατέλαβαν το μέσο επίπεδο, ενώ τα γενικά μοντέλα AI ήταν συνήθως τα πιο επηρεασμένα από το διεφθαρμένο κείμενο. Πηγή

Τα OCR-ειδικά μοντέλα AI κατέλαβαν το μέσο επίπεδο; τα MinerU και LightOn παρέμειναν σχετικά ανθεκτικά; και τα olmOCR και DeepSeek-OCR έδειξαν μεγαλύτερη ευαισθησία στο διεφθαρμένο κείμενο, υποδεικνύοντας ότι η εκπαίδευση για συγκεκριμένες εργασίες μειώνει, αλλά δεν εξαφανίζει, την τάση να ξαναγράψουν ότι διαβάζουν.

Τα γενικά μοντέλα AI είχαν την χειρότερη απόδοση συνολικά, εμφανίζοντας την μεγαλύτερη αύξηση λαθών μεταγραφής όταν αντιμετωπίζουν perturbed κείμενο. Τα περισσότερα υπέφεραν από σημαντική υποβάθμιση απόδοσης σε σύγκριση με τα OCR-ειδικά μοντέλα ή τα παραδοσιακά συστήματα OCR – αν και το Gemini-3-Flash ξεχώρισε ως μια αξιοσημείωτη εξαίρεση, εκτελώντας πολύ σαν ένα σύνηθες σύστημα OCR.

Συνολικά, η κατάταξη αντιστοιχούσε στενά με το βαθμό στον οποίο κάθε μοντέλο βασίζεται σε γνώσεις γλώσσας, με ισχυρότερες γλωσσικές προκαταλήψεις να αντιστοιχούν σε μια μεγαλύτερη τάση να ξαναγράψουν αντί να μεταγράψουν απλά το κείμενο.

Μια ανάλυση των τύπων λαθών, που εμφανίζεται στον πίνακα παρακάτω, δείχνει ότι τα παραδοσιακά συστήματα OCR παρήγαγαν κυρίως συμβατικά λάθη μεταγραφής, όπως αντικαταστάσεις, διαγραφές και εισαγωγές:

Αποτελέσματα από την αγγλική δοκιμή ‘Scramble’ perturbation, δείχνοντας πώς κάθε σύστημα μεταγραφής κατανέμει τα λάθη του σε ακριβείς ξαναγραφές, near-miss μεταγραφές (‘Κοντά’), πιο σημαντικά λάθη μεταγραφής (‘Μέτρια’) και εντελώς λανθασμένα εξόδους (‘Λάθος’). Τα μοντέλα είναι ταξινομημένα με βάση το ποσοστό ξαναγράφησης των διεφθαρμένων λέξεων.

Αντίθετα, τα γενικά μοντέλα AI ήταν πολύ πιο πιθανό να αντικαταστήσουν διεφθαρμένες λέξεις με πιθανές εναλλακτικές ενώ διατηρούν το περιβάλλον της πρότασης, παρέχοντας ισχυρά στοιχεία ότι δεν απλά διαβάζουν λανθασμένα το διεφθαρμένο κείμενο, αλλά ενεργά το ξαναγράφουν χρησιμοποιώντας γλωσσικό контекστ.

Η μελέτη também βρήκε ότι τα λάθη μεταγραφής δεν παρέμειναν περιορισμένα στις διεφθαρμένες λέξεις:

Αποτελέσματα από την ανάλυση της διάδοσης λαθών, δείχνοντας τα ποσοστά λαθών ανά λέξη σε διεφθαρμένες και αδιεφθαρμένες λέξεις μετά από κάθε τύπο perturbation. Η αλλαγή περίπου 4.7% των λέξεων προκάλεσε λάθη μεταγραφής να εξαπλωθούν σε γειτονικά, αμετάβλητα κείμενο σε πολλά μοντέλα.

Όπως φαίνεται στον πίνακα αποτελεσμάτων παραπάνω και στο γράφημα παρακάτω, η αλλαγή περίπου 4.7% των λέξεων σε ένα αγγλικό έγγραφο αυξάνει σημαντικά τα ποσοστά λαθών σε γειτονικά, αμετάβλητα κείμενο:

Επιπλέον αποτελέσματα από την ανάλυση της διάδοσης λαθών, δείχνοντας την αύξηση των λαθών μεταγραφής σε διεφθαρμένες και αδιεφθαρμένες λέξεις μετά από κάθε τύπο perturbation. Τα γενικά μοντέλα AI εμφάνισαν την μεγαλύτερη αύξηση λαθών, με λάθη να εξαπλώνονται συχνά πέρα από τις αρχικά διεφθαρμένες λέξεις.

Τα γενικά μοντέλα VLMs ήταν τα πιο επηρεασμένα, με τα ποσοστά λαθών σε αμετάβλητες λέξεις να αυξάνονται μέχρι και δέκα φορές σε σύγκριση με το baseline. Αντίθετα, τα παραδοσιακά συστήματα OCR έδειξαν μόνο μια ήπια αύξηση. Τα μοντέλα που ξαναέγραψαν το μεγαλύτερο ποσοστό διεφθαρμένων λέξεων cũng εμφάνισαν την ισχυρότερη διάδοση λαθών, υποδεικνύοντας ότι και οι δύο συμπεριφορές προκύπτουν από την ίδια υποκείμενη εξάρτηση από γλωσσικό контекστ.

Στην πράξη, αυτό σημαίνει ότι μια μικρή ποσότητα διεφθαρμένου κειμένου μπορεί να危険εύσει την ακρίβεια ενός αλλιώς ακριβούς εγγράφου, καθιστώντας τα καθαρά κείμενα OCR benchmark scores một αξιόπιστο οδηγό για την πιστή μεταγραφή του πραγματικού κόσμου.

Τέλος, οι συγγραφείς επίσης εξέτασαν αν το μήκος της λέξης επηρεάζει τη συμπεριφορά της ξαναγράφισης, βρίσκοντας ότι οι σύντομες λέξεις ήταν σημαντικά πιο ευάλωτες από τις μακρύτερες.

Επειδή περιέχουν λιγότερες οπτικές ενδείξεις, σύντομες λέξεις φαίνεται να ενθαρρύνουν τα VLMs να βασίζονται περισσότερο σε γνώσεις γλώσσας – αυξάνοντας την πιθανότητα ότι το διεφθαρμένο κείμενο θα αντικατασταθεί με μια πιθανή εναλλακτική αντί να μεταγραφεί κυριολεκτικά (που θα μπορούσε να προκαλέσει một χρήσιμο συναγερμό για ανθρώπινη επιτήρηση).

Οι συγγραφείς επίσης βρήκαν ότι ενώ οι ρητές οδηγίες όχι να διορθώσουν λάθη μειώνουν αυτή τη τάση, δεν τη εξαφανίζουν. Αυτό θα φαινόταν να υποδηλώνει ότι η ερμηνευτική μεταγραφή είναι μια εγγενής ιδιότητα των τρεχουσών VLMs, και όχι μια συμπεριφορά που μπορεί να κατασταλεί με βεβαιότητα μέσω προτροπών μόνο.

Οι συγγραφείς καταλήγουν:

‘Για εφαρμογές που απαιτούν κυριολεκτική μεταγραφή, όπως η επεξεργασία νομικών εγγράφων, η ψηφιοποίηση ιστορικών χειρογράφων και η νομική, τα παραδοσιακά συστήματα OCR ή τα προσεκτικά επιλεγμένα OCR-ειδικά VLMs παραμένουν η ασφαλέστερη επιλογή, ενώ τα γενικά VLMs εισάγουν συστηματική ξαναγραφή που δεν καταγράφεται από τα καθαρά κείμενα benchmarks.’

Συμπέρασμα

Αυτή η μελέτη επαναλαμβάνει ένα επαναλαμβανόμενο νήμα στην βιβλιογραφία LLM: ότι mặc dù τα εκπαιδευμένα μοντέλα VLM είναι εξαιρετικά ισχυρά, είναι επίσης ανθεκτικά σε κρίσιμες οδηγίες – σε αυτή την περίπτωση Διάβασε και μεταγράψε τα γράμματα που βρίσκεις στην εικόνα.

Τα πιο προηγμένα μοντέλα δεν μπορούν να το κάνουν, φαίνεται – ως αν они θεωρούν το έργο ‘σκουπίδι’, ή αλλιώς είναι ιρραциональως υποχρεωμένα να ολοκληρώσουν μια ‘ημιτελή εργασία’.

* Η μετατροπή μου των εσωτερικών αναφορών των συγγραφέων σε υπερσύνδεσμους.

Πρώτη δημοσίευση Δευτέρα, 27 Ιουλίου 2026