Είναι κρίσιμο: οι εταιρικοί πράκτορες δεν κατανοούν την επισήμανση

Υπάρχουν πολλά σημαντικά έγγραφα σε χαρτί που δεν έχουν σαρωθεί, ιδίως στον επιχειρηματικό κόσμο. Υπολογίζεται ότι ψηφιοποιείται μόλις το 1% των τεσσάρων δισεκατομμυρίων έντυπων εγγράφων που διακινούνται κάθε χρόνο στο παγκόσμιο εμπόριο, με αποτέλεσμα τα υπόλοιπα να βρίσκονται πέρα από τις αναλυτικές δυνατότητες της μηχανικής μάθησης.

Αυτή είναι απλώς μια πρόχειρη εκτίμηση του προβλήματος στον επιχειρηματικό τομέα· οι κυβερνήσεις παράγουν επίσης τεράστιο όγκο έντυπου ή βιβλιοδετημένου υλικού, και τα Εθνικά Αρχεία των ΗΠΑ ανέφεραν φέτος ότι έχει ψηφιοποιηθεί μόλις το 4,04% των αναλογικών εγγράφων που διατηρούν, ενώ απομένουν 11,97 δισεκατομμύρια.

Επομένως, πρόκειται για συνεχιζόμενο και όχι για κληρονομημένο πρόβλημα, και ομολογώ πως κι εγώ συμβάλλω σε αυτό:

Αυτό μπροστά στο οποίο κάθομαι τις περισσότερες μέρες.

Όταν μελετώ εργασίες, τις εκτυπώνω, επειδή χρειάζονται πολλή ανθρώπινη επεξεργασία, πέρα από τη μηχανική σύνοψη. Επειδή ο χρόνος πιέζει, σημειώνω με μεγάλες πινελιές τα βασικά σημεία και τα πιθανά αποσπάσματα, ώστε να ξεχωρίζει αμέσως η δομή των δεδομένων όταν έρθει η ώρα να γράψω. Δεν είμαι, βέβαια, τόσο ψυχαναγκαστικός ώστε να χρησιμοποιώ υπογραμμιστές· αντί γι’ αυτούς, δηλώνω την έμφαση με διάφορα σύμβολα, μεγαλύτερα γράμματα και άλλα, ιδιαίτερα προσωπικά σημάδια που υποδηλώνουν τη σημασία τους.

Ωστόσο, πολλοί άνθρωποι, μεταξύ των οποίων και σημαντικά πρόσωπα που γράφουν σημαντικά κείμενα, χρησιμοποιούν έγχρωμους υπογραμμιστές και διαφορετικά χρώματα γραμματοσειράς για να δώσουν έμφαση.

Ο Winston Churchill χρησιμοποιούσε διαφορετικού χρώματος στυλό για να δίνει έμφαση με διαφορετικούς τρόπους. Εδώ, καθώς προετοιμάζει την ομιλία του «finest hour», φαίνεται να χρησιμοποιεί το κόκκινο ως κώδικα διορθώσεων. Πηγή

Σύμφωνα με την ίδια την εργασία που απεικονίζεται στην προηγούμενη φωτογραφία (εκείνη πάνω στο μαύρο αναλόγιο), ενδέχεται να υπάρχουν εκατοντάδες εκατομμύρια έγγραφα που περιέχουν τέτοιου είδους επισήμανση, την οποία τα συστήματα εισαγωγής εγγράφων, όπως το Docling, δεν μπορούν προς το παρόν να εντοπίσουν.

Αυτές οι χειροκίνητες επισημάνσεις έχουν σημασία, καθώς προσδίδουν βαρύτητα στο κείμενο με τρόπο που δεν αποτυπώνεται κατ’ ανάγκην στη γλωσσική του διατύπωση. Επομένως, αν περιορίσουμε το περιεχόμενο μιας σελίδας με επισημάνσεις σε απλό κείμενο μέσω OCR (ή με πιο προηγμένες μεθόδους, όπως τα πολυτροπικά γλωσσικά μοντέλα (VLM)), δεν αποδίδεται όλη η πρόθεση του συγγραφέα, ενώ ενδέχεται ακόμη και να παραποιηθούν οι σκοποί και οι επιδιώξεις του εγγράφου.

Μόνο οι επισημάνσεις

Η νέα μελέτη* διαπιστώνει ότι οι ευρέως χρησιμοποιούμενοι μετατροπείς εγγράφων παραλείπουν συστηματικά τις επισημάνσεις και τα χρώματα κειμένου, με αποτέλεσμα οι πράκτορες τεχνητής νοημοσύνης να εξακολουθούν να μην μπορούν να διακρίνουν σημαντικές οδηγίες. Από τα 6.462 έγγραφα πολιτικής που εξετάστηκαν στις δοκιμές της μελέτης, σχεδόν το ένα τρίτο περιείχε κόκκινο κείμενο ή επισημάνσεις, ενώ περίπου ένα στα δέκα χρησιμοποιούσε αυτά τα σημάδια για να στρέψει την προσοχή σε σημαντικές απαιτήσεις.

Σχετικά με τους πράκτορες εισαγωγής εταιρικών εγγράφων, οι συγγραφείς^† αναφέρουν^††:

«Οι ώριμοι μετατροπείς ανακτούν πιστά το κείμενο, τους πίνακες και τη δομή, οπότε η ροή επεξεργασίας φαίνεται να λειτουργεί σωστά.

«Δείχνουμε ότι όλοι τους χάνουν ένα επίπεδο: το νόημα που ενσωματώνει ο συγγραφέας στον τρόπο με τον οποίο το κείμενο εμφανίζεται—και ότι αυτή η απώλεια κάνει τους πράκτορες να σφάλλουν με απόλυτη βεβαιότητα, αντί να εμφανίζονται απλώς ελλιπείς· μια αστοχία που είναι δυσκολότερο να εντοπιστεί κατά την εφαρμογή.»

Στη δοκιμή των συγγραφέων, όταν ζητήθηκε από μοντέλα τεχνητής νοημοσύνης να εντοπίσουν σημαντικές απαιτήσεις σε πραγματικά έγγραφα πολιτικής, είχαν πολύ καλύτερες επιδόσεις όταν διατηρούνταν οι αρχικές επισημάνσεις και τα χρώματα κειμένου — ένα εύρημα που επιβεβαιώθηκε σε έξι μοντέλα, μεταξύ των οποίων τα GPT-5.6 Terra, Claude Opus 5 και Claude Sonnet 5.

Στην πράξη, από τις επισημάνσεις μπορούν να εξαχθούν δύο στοιχεία: α) το γεγονός ότι κάποιο σημείο είχε επισημανθεί και β) το χρώμα με το οποίο είχε επισημανθεί. Όταν χρησιμοποιούνται πολλά χρώματα για χειροκίνητες επισημάνσεις, ένας λογικός κανόνας θα ήταν να κωδικοποιείται το κόκκινο ως ένδειξη κάποιου είδους αρνητισμού (όπως είδαμε νωρίτερα στις διορθώσεις που έκανε ο Winston Churchill στις δικές του ομιλίες):

Στο κάτω μέρος αυτού του αποτελέσματος JSON από τον αναλυτή πρώτου σταδίου των συγγραφέων, βλέπουμε ότι η ροή επεξεργασίας εντόπισε και κωδικοποίησε την κόκκινη επισήμανση· και, όπως είναι λογικό, βλέπουμε ότι οι λέξεις αντιστοιχούν σε αυτό το κωδικοποιημένο επίπεδο έντασης. Ωστόσο, η μέθοδος είναι πιο χρήσιμη όταν η έμφαση δίνεται σε λέξεις που από μόνες τους δεν οξύνουν ιδιαίτερα τον τόνο και, επομένως, η επισήμανση προσθέτει έμφαση που έλειπε. Πηγή

Οι συγγραφείς προτείνουν ότι τα υφιστάμενα συστήματα επεξεργασίας μπορούν να λύσουν το πρόβλημα πολύ απλά, διατηρώντας τα αρχικά χρώματα επισήμανσης και κειμένου κατά τη μετατροπή των εγγράφων και προσθέτοντας ετικέτες που εξηγούν τη σημασία τους στο μοντέλο ΤΝ. Αυτό δεν απαιτεί πρόσθετη επεξεργασία από ΤΝ, αλλά σχεδόν διπλασιάζει τον αριθμό των διακριτών μονάδων (tokens) που χρειάζονται για την αναπαράσταση κάθε εγγράφου:

«Η ανάκτηση αυτών των ενδείξεων είναι ντετερμινιστική, απαιτεί μόνο κώδικα και δεν συνεπάγεται κλήσεις σε LLM· ολόκληρο το αποτέλεσμα που αναφέρεται εδώ προκύπτει αποκλειστικά από την ανάλυση. Έχει, ωστόσο, κόστος σε διακριτές μονάδες (tokens) —περίπου διπλάσιες από ό,τι το απλό κείμενο—, επομένως αποτελεί συνειδητή ανταλλαγή μέρους του διαθέσιμου πλαισίου για μεγαλύτερη πραγματολογική ακρίβεια και όχι δωρεάν όφελος.»

Αδιαφορία για την έντονη γραφή

Μια ενδιαφέρουσα πτυχή της μελέτης είναι ο βαθμός στον οποίο τα υφιστάμενα μέσα έμφασης σε ψηφιακά έγγραφα που έχουν πληκτρολογηθεί φαίνεται να είναι αναποτελεσματικά λόγω υπερβολικής χρήσης^††:

«Ολόκληρο το αποτέλεσμα [i.e., of the new pipeline] οφείλεται στην επισήμανση [and] [colour]. Η έντονη γραφή, τα πλάγια, η γραφή σταθερού πλάτους και η διακριτή διαγραφή δεν συνεισφέρουν τίποτα [measurable], καθώς τα διαστήματα εμπιστοσύνης εκτείνονται εκατέρωθεν του μηδενός.»

«Αυτό δεν συμβαίνει επειδή απουσιάζουν αυτές οι ενδείξεις: ένα μόνο έγγραφο περιέχει πάνω από χίλιες σημάνσεις έντονης γραφής. Συμβαίνει επειδή είναι τόσο συχνές, ώστε δεν παρέχουν πληροφορία.»

«Όταν ένας συντάκτης γράφει με έντονη γραφή κάθε επικεφαλίδα και κάθε ορισμένο όρο, δεν ξεχωρίζει έτσι τίποτα· αντίθετα, το να χρωματίσει ή να επισημάνει μια απαίτηση είναι μια σκόπιμη και φειδωλή ενέργεια. Η τυποποίηση των ενδείξεων αποδίδει μόνο όταν αυτές είναι αρκετά σπάνιες ώστε να σηματοδοτούν πρόθεση.»

Εργασίες και δοκιμές

Για να τεκμηριώσουν το σύστημα, οι συγγραφείς σάρωσαν 6.462 πραγματικά έγγραφα πολιτικής σε μορφή .docx από ένα μη προσδιορισμένο δημόσιο σώμα κειμένων, ελέγχοντάς τα για κόκκινο κείμενο και επισημάνσεις, χωρίς να κάνουν εικασίες με βάση τη διατύπωση. Στη συνέχεια, ζητήθηκε από τα μοντέλα να εντοπίσουν τις απαιτήσεις που είχαν επισημανθεί ως ιδιαίτερα σημαντικές και να αφήσουν τις μη επισημασμένες ανέπαφες, με βάση την ακόλουθη βασική προτροπή:

«Καταγράψτε κάθε απαίτηση του παρόντος εγγράφου στην οποία ο συντάκτης έχει δώσει ιδιαίτερη έμφαση ή προτεραιότητα.»

Για την κύρια δοκιμή επιλέχθηκαν 84 έγγραφα, τα οποία περιείχαν 332 επισημασμένες απαιτήσεις και 4.192 μη επισημασμένες (δηλαδή απαιτήσεις χωρίς κόκκινο κείμενο ή έγχρωμη επισήμανση). Κάθε έγγραφο έπρεπε να περιέχει τουλάχιστον μία επισημασμένη απαίτηση και τρεις μη επισημασμένες, ώστε η ΤΝ να μην μπορεί απλώς να τις παραθέσει όλες.

Η πραγματική τιμή αναφοράς καθορίστηκε απευθείας από τη μορφοποίηση των εγγράφων και όχι μέσω ανθρώπινης κρίσης ή άλλου μοντέλου ΤΝ. Η απόδοση μετρήθηκε με τις βαθμολογίες ακρίβειας, ανάκλησης και F1, λαμβάνοντας υπόψη τόσο τις απαιτήσεις που εντοπίστηκαν σωστά όσο και τα ψευδώς θετικά αποτελέσματα, δηλαδή τις μη επισημασμένες απαιτήσεις που συμπεριλήφθηκαν κατά λάθος.

Η βαθμολόγηση έγινε προγραμματιστικά, χωρίς τη συμμετοχή κριτή LLM. Για να θεωρηθεί μια απάντηση σωστή, έπρεπε να περιλαμβάνει τουλάχιστον τέσσερις συνεχόμενες λέξεις περιεχομένου από την αρχική απαίτηση, ώστε να αποτρέπεται η εσφαλμένη καταμέτρηση παρόμοιων αλλά διαφορετικών απαιτήσεων ως σωστών.

Αφαίρεση των επισημάνσεων

Πραγματοποιήθηκε μια πρόσθετη δοκιμή για να διαπιστωθεί αν μπορούσαν να εντοπιστούν οι σημαντικές απαιτήσεις μόνο από τη διατύπωσή τους, χωρίς επισημάνσεις ή χρώματα. Ένας ταξινομητής που βασιζόταν αποκλειστικά στο κείμενο και είχε εκπαιδευτεί με παραδείγματα πέτυχε βαθμολογία εμβαδού κάτω από την καμπύλη ROC (ROC AUC) 0.664 (όπου το 0.5 αντιστοιχεί σε τυχαία πρόβλεψη).

Οι απλούστερες μέθοδοι δεν είχαν καλύτερη απόδοση από την τύχη: όταν χρησιμοποιήθηκαν ως ενδείξεις λέξεις που υποδηλώνουν επείγοντα χαρακτήρα, καταγράφηκε βαθμολογία 0.508, ενώ το μήκος της πρότασης έδωσε βαθμολογία 0.492. Τα αποτελέσματα αυτά υποδηλώνουν ότι από τη διατύπωση και μόνο μπορούμε να μάθουμε ελάχιστα για το τι σκόπευε ο συντάκτης που χρησιμοποίησε τον μαρκαδόρο επισήμανσης.

Αυτό είναι λογικό: αν η διατύπωση ήταν αρκετά εμφατική, ο συντάκτης πιθανότατα δεν θα ένιωθε την ανάγκη να προσθέσει εκ των υστέρων έμφαση.

Οι μέθοδοι που συγκρίθηκαν

Οι προσεγγίσεις που συγκρίθηκαν ήταν ο αναλυτής των συγγραφέων, OURS· το OURS με ρόλους σημαντικότητας· το OURS με μη τυποποιημένη σήμανση· το docx2python· το Docling· και η μετατροπή σε απλό κείμενο.

Για κάθε προσέγγιση χρησιμοποιήθηκαν τα ίδια έγγραφα και οι ίδιες ερωτήσεις· άλλαζε μόνο ο τρόπος μετατροπής των εγγράφων. Η κύρια σύγκριση κάλυψε 76 έγγραφα, με κάθε δοκιμή να επαναλαμβάνεται τρεις φορές:

Αποτελέσματα δοκιμών που συγκρίνουν έξι μεθόδους εντοπισμού απαιτήσεων σημειωμένων ως «σημαντικές» σε έγγραφα Word. Το επάνω τμήμα παρουσιάζει τα αποτελέσματα από 76 έγγραφα, τα οποία δοκιμάστηκαν τρεις φορές. Το κάτω τμήμα παρουσιάζει μια ξεχωριστή δοκιμή επιβεβαίωσης με 79 έγγραφα και έξι επαναλήψεις. Οι υψηλότερες βαθμολογίες F1 υποδηλώνουν καλύτερη απόδοση· τα χαμηλότερα ποσοστά ψευδώς θετικών αποτελεσμάτων σημαίνουν ότι επιλέχθηκαν εσφαλμένα λιγότερες μη επισημασμένες απαιτήσεις. Οι στατιστικά σημαντικές διαφορές εμφανίζονται με έντονη γραφή.

Όπως φαίνεται παραπάνω, το υψηλότερο συνολικό σκορ F1, 0.690, πέτυχε το σύστημα των συγγραφέων, έναντι 0.586 για το docx2python, 0.150 για το Docling και μόλις 0.075 για το απλό κείμενο (το F1 συνδυάζει την ακρίβεια και την ανάκληση σε ένα ενιαίο μέτρο ορθότητας, όπου το 1.0 αντιστοιχεί σε τέλειο σκορ).

Η σημασία της διατήρησης της μορφοποίησης φάνηκε επίσης στα αποτελέσματα των ψευδώς θετικών: με το Docling, οι απαιτήσεις χωρίς επισήμανση επιλέχθηκαν λανθασμένα με ποσοστό σχεδόν τετραπλάσιο από εκείνο που καταγράφηκε για το σύστημα των συγγραφέων (4.3% έναντι 1.1%).

Σε ξεχωριστή δοκιμή εξετάστηκε αν τα μοντέλα ΤΝ ωφελούνταν όταν τους εξηγούσαν τη σημασία της μορφοποίησης, αντί να τους δείχνουν απλώς τα αρχικά χρώματα και τις επισημάνσεις. Διαπιστώθηκε μικρή αλλά στατιστικά σημαντική βελτίωση όταν τους δίνονταν αυτές οι πρόσθετες ετικέτες. Ωστόσο, το μεγαλύτερο μέρος του οφέλους είχε ήδη επιτευχθεί με τη διατήρηση της ίδιας της μορφοποίησης.

Εξωτερική πίεση

Οι ερευνητές πραγματοποίησαν μια πρόσθετη αξιολόγηση με τη Δοκιμασία Κατανόησης του Office (OCB) της Microsoft, η οποία μετρά πόσο σωστά μπορούν να ανακτηθούν πληροφορίες από έγγραφα του Office.

Από 59 έγγραφα Word αντλήθηκαν 326 ερωτήσεις, που αφορούσαν τη μορφοποίηση, τους πίνακες, τους υπερσυνδέσμους, τα σχόλια και τις υποσημειώσεις. Τόσο οι ερωτήσεις όσο και τα κριτήρια βαθμολόγησης δόθηκαν από τη Microsoft, ανεξάρτητα από τη μελέτη:

Αποτελέσματα σύγκρισης πέντε μεθόδων μετατροπής εγγράφων στη Δοκιμασία Κατανόησης του Office της Microsoft, με 326 ερωτήσεις από 59 έγγραφα Word. Οι βαθμολογίες κυμαίνονται από 0 έως 1, με τις υψηλότερες να υποδηλώνουν καλύτερη επίδοση· η υψηλότερη βαθμολογία σε κάθε κατηγορία εμφανίζεται με έντονη γραφή. Οι τελευταίες γραμμές συνοψίζουν τη συνολική επίδοση και τη στατιστική σημαντικότητα. Σε αυτήν την περίπτωση, το σύστημα των συγγραφέων πέτυχε την υψηλότερη συνολική βαθμολογία, αν και το docx2python είχε καλύτερη επίδοση στην αναγνώριση των επισημάνσεων.

Όπως φαίνεται παραπάνω, το σύστημα των συγγραφέων πέτυχε την εξαιρετική συνολική βαθμολογία 0.959, έναντι της καλής βαθμολογίας 0.810 για το docx2python, της μέτριας 0.720 για το Docling και της σχετικά χαμηλής 0.634 για το απλό κείμενο.

Το νέο σύστημα πέτυχε τέλειες βαθμολογίες στα μεταδεδομένα, τα σχόλια και τις υποσημειώσεις, ενώ όλες οι ανταγωνιστικές μέθοδοι βαθμολογήθηκαν με μηδέν — αν και οι βελτιώσεις αυτές δεν οφείλονταν αποκλειστικά στη διατήρηση των επισημάνσεων και των χρωμάτων κειμένου· το σύστημα των συγγραφέων αποδείχθηκε επίσης καλύτερο στην ανάκτηση πληροφοριών από πίνακες, διατάξεις εγγράφων, γραμματοσειρές και υπερσυνδέσμους.

Συμπέρασμα

Πρόσφατα προσπάθησα, χωρίς ιδιαίτερη επιτυχία, να δω αν θα μπορούσε να αυτοματοποιηθεί μέσω LLM ή/και Python η χειροκίνητη επισήμανση πινάκων και σχημάτων σε μια επιστημονική εργασία PDF, και τα αποτελέσματα ήταν… ε, ξεκαρδιστικά. Η διαστρωμάτωση, η ποσοτικοποίηση και η ανάλυση επιστημονικών εργασιών αποτελούν πλέον καθιερωμένο ερευνητικό πεδίο, και δεν υπάρχει πολύς χώρος — ούτε πολλές ελπίδες — για τον ερασιτέχνη που ασχολείται περιστασιακά.

Όσον αφορά αυτή την εργασία, το επίτευγμα των συγγραφέων είναι ότι εντόπισαν έναν σημαντικό δείκτη έμφασης που χανόταν κατά τη μετατροπή. Ωστόσο, ο διπλασιασμός της δαπάνης σε tokens που απαιτεί η λύση τους δεν είναι καθόλου αμελητέος, ιδίως στην κλίμακα στην οποία πρέπει να λειτουργούν τα επίπεδα OCR και εισαγωγής εγγράφων. Επομένως, νομίζω ότι το σημαντικό εδώ είναι πως εντόπισαν το πρόβλημα.

* Με τίτλο «Τι έγραψε ο συγγραφέας και τι διαβάζει ο πράκτορας: Αθέατη απώλεια ενδείξεων κατά την εισαγωγή εταιρικών εγγράφων».

^† Όλα από την Amazon.

^†† Οι έμφασεις των συγγραφέων, όχι δικές μου, αν και συνηθίζω να μετατρέπω τις ενδοκειμενικές παραπομπές των συγγραφέων σε υπερσυνδέσμους.

Δημοσιεύτηκε για πρώτη φορά την Παρασκευή, 30 Οκτωβρίου 2026