Γιατί το κείμενο που παράγεται από ΤΝ είναι δυσκολότερο στην κατανόηση απ’ όσο νομίζετε

Τα μοντέλα ΤΝ μπορεί να γίνονται δυσκολότερα στην κατανόηση, επειδή η εκπαίδευσή τους επιβραβεύει ολοένα και περισσότερο την αποτελεσματική επίλυση προβλημάτων αντί για την κατανοητή εξήγησή τους στους ανθρώπους.

Η παραπάνω πρόταση, χωρίς καμία επεξεργασία, γράφτηκε από το ChatGPT ως απάντηση σε αίτημα για μια μονοπρότατη σύνοψη μιας επιστημονικής μελέτης σε απλή γλώσσα, τύπου ELI5· και εμφανίζει τουλάχιστον μερικά από τα χαρακτηριστικά που αλλοιώνουν τη γλώσσα και εξηγούνται σε εκείνη τη νέα μελέτη*. Η νέα έρευνα καταλήγει στο συμπέρασμα ότι το ζήτημα αυτό αφορά όλα τα μοντέλα αιχμής, καθώς και μοντέλα που βρίσκονται κοντά στην αιχμή και ορισμένα μοντέλα ανοιχτών βαρών που επίσης δοκιμάστηκαν.

Για παράδειγμα, το πρώτο μέρος του αποσπάσματος «η εκπαίδευσή τους επιβραβεύει ολοένα και περισσότερο την αποτελεσματική επίλυση προβλημάτων» χαρακτηρίζει τη θέση της μελέτης ότι τα μοντέλα ΤΝ μερικές φορές αποδίδουν ανθρώπινες ενέργειες σε άψυχα πράγματα (καθώς στο παραπάνω παράδειγμα η «εκπαίδευση» παρουσιάζεται ως κάτι που επιβραβεύει ενεργά κάτι).

Αυτό μπορεί να δυσχεράνει την άμεση κατανόηση της φράσης, καθώς πρέπει πρώτα να αναγνωρίσουμε νοερά ότι πρόκειται για σχήμα λόγου και όχι να την εκλάβουμε κυριολεκτικά (κάτι πολύ απλούστερο).

Το δεύτερο μέρος, «επιβραβεύει ολοένα και περισσότερο την αποτελεσματική επίλυση προβλημάτων», συμπυκνώνει επίσης πολλές ιδέες, αναγκάζοντας τους αναγνώστες να αποκρυπτογραφήσουν τι επιβραβεύεται, τι επιλύεται και τι γίνεται αποτελεσματικότερο.

Η μελέτη αναφέρει^†:

«[Readers] χρησιμοποιούν την έμψυχη φύση ως ένδειξη κατά την επεξεργασία και, χωρίς πρόσθετο πλαίσιο, μια αναντιστοιχία μπορεί να προκαλέσει απόκριση P600^†† που σχετίζεται με την εκ νέου ανάλυση.

«Ωστόσο, η αναδιατύπωση αυτών των προτάσεων ώστε να αποφεύγονται τα άψυχα υποκείμενα ενδέχεται να απαιτεί μεγαλύτερη πρόταση: για παράδειγμα, η λέξη “δαγκώνει” υποκαθιστά τη φράση “προκαλεί πρόβλημα”.

«Υποθέτουμε ότι, κατά την εκπαίδευση, τα μοντέλα ενδέχεται να κατέληξαν να χρησιμοποιούν τέτοιες δομές ως αποτελεσματικούς, αν και μη τυπικούς, τρόπους έκφρασης νοημάτων που διαφορετικά θα απαιτούσαν περισσότερα διακριτά στοιχεία.»

Τι λέτε;

Αυτό είναι το βασικό επιχείρημα της μελέτης: επειδή τα σύγχρονα μοντέλα ΤΝ, όπως τα ChatGPT, Claude και Gemini, βελτιστοποιούνται για πολλών ειδών επίλυση προβλημάτων και όχι ειδικά για την επικοινωνία, τείνουν να παράγουν κείμενο με τη μορφή πολύ συμπυκνωμένων μηνυμάτων που χρειάζονται αποκωδικοποίηση.

Αυτό με εξέπληξε, καθώς προσπαθώ διαρκώς να πείσω το ChatGPT και τα αντίστοιχα μοντέλα να είναι λιγότερο φλύαρα και πιο συνοπτικά — ένα ζήτημα που αναγνωρίζεται και αντιμετωπίζεται στη σχετική βιβλιογραφία.

Αντίθετα, η μελέτη παρουσιάζει τη φλυαρία ως ένα είδος βόμβας αποσυμπίεσης, που εμποδίζει την εύκολη κατανόηση ακόμη και μιας όχι ιδιαίτερα μεγάλης πρότασης. Επομένως, αν συνδυάσουμε τα δύο ζητήματα —το υπερβολικό μήκος των προεπιλεγμένων απαντήσεων και την παρατήρηση της μελέτης για την υπερβολική συμπύκνωση— μπορούμε να φανταστούμε ότι το χαρακτηριστικό μοτίβο του προεπιλεγμένου ύφους απάντησης των μοντέλων ΤΝ αιχμής είναι αρκετά ιδιαίτερο (και, προφανώς, αυτό το μάλλον συνοπτικό ύφος χρησιμοποιείται εν μέρει ως κριτήριο από ανιχνευτές κειμένου που παράγεται από ΤΝ, αν και η μελέτη δεν εξετάζει αυτό το ζήτημα).

Οι συγγραφείς εξετάζουν επίσης τις διαδοχικές ονοματικές συνθέσεις, όπως στο προβληματικό απόσπασμα τίτλου Η ομάδα βοηθά τον σκύλο να δαγκώσει^†:

«Στα αγγλικά, τα ουσιαστικά προσδιορίζουν ελεύθερα άλλα ουσιαστικά σαν επίθετα: στη φράση κατάστημα καφέ, η λέξη καφέ προσδιορίζει τη λέξη κατάστημα, παρόλο που συνήθως λειτουργεί ως ουσιαστικό. Αυτό το χαρακτηριστικό επιτρέπει τη διαδοχική σύνδεση πολλών ουσιαστικών σε σύνθετες λέξεις με πλούσιο περιεχόμενο, οι οποίες δηλώνουν εξαιρετικά συγκεκριμένες έννοιες.

Ωστόσο, τέτοιες ακολουθίες μπορεί να δημιουργήσουν ασάφεια ως προς την ομαδοποίηση των λέξεων, όπως στον τίτλο Η ομάδα βοηθά το θύμα δαγκώματος σκύλου, και να δυσχεράνουν την ανάγνωση.»

Αν, λοιπόν, τα μεγάλα γλωσσικά μοντέλα είναι φλύαρα μέσω της συμπύκνωσης, μήπως γίνονται διπλά φλύαρα παράγοντας υπερβολικούς όγκους συμπυκνωμένου κειμένου ως απάντηση σε ένα ερώτημα; Αυτό σημαίνει ότι όχι μόνο υπάρχει πολύ κείμενο προς ανάγνωση ως απάντηση στο ερώτημά σας, αλλά και ότι το ίδιο το κείμενο μπορεί να περιέχει πολλά «υπονοούμενα» νοήματα που χρειάζονται αποκωδικοποίηση.

Μια μελέτη του 2023 υποστήριξε ότι τα μεγάλα γλωσσικά μοντέλα μπορεί να γίνουν άσκοπα φλύαρα επειδή κατά την εκπαίδευσή τους χρησιμοποιούνται κριτές ΤΝ, οι οποίοι συχνά επιβραβεύουν τις μεγαλύτερες απαντήσεις — ακόμη κι όταν, στις δοκιμές της μελέτης, οι άνθρωποι προτιμούσαν τις συντομότερες.

Οι συγγραφείς της νέας μελέτης αποδίδουν (βλ. το προηγούμενο απόσπασμα) ορισμένες από τις τάσεις συμπύκνωσης των μοντέλων αιχμής στην αρχιτεκτονική τους ροπή προς την εξοικονόμηση διακριτών στοιχείων — μια αρκετά γενναιόδωρη σκέψη στις μέρες μας.

Ας δούμε τις μεθόδους, τα δεδομένα και τις δοκιμές που χρησιμοποίησαν οι συγγραφείς στη μελέτη.

Δεδομένα και μέθοδοι

Οι ασυνήθιστοι συνδυασμοί λέξεων (που μετρήθηκαν μέσω n-γραμμάτων, δηλαδή ακολουθιών λέξεων) εξετάστηκαν ως προς το πόσο απρόβλεπτοι ήταν, καθώς οι σπάνιοι συνδυασμοί συνδέονται με μεγαλύτερη δυσκολία στην ανάγνωση.

Μετρήθηκε επίσης το μήκος εξάρτησης (η απόσταση ανάμεσα σε λέξεις που συνδέονται γραμματικά), καθώς οι μεγαλύτερες αποστάσεις επιβαρύνουν περισσότερο τη μνήμη εργασίας — ιδίως όταν το υποκείμενο και το ρήμα του χωρίζονται από αρκετές ενδιάμεσες λέξεις.

Εξετάστηκαν οι αντικειμενικές αναφορικές προτάσεις (κατασκευές όπως «το σπίτι που έχτισαν οι εργολάβοι»), ιδίως όταν παραλείπονταν προαιρετικές λέξεις (όπως το «που» στο «το σπίτι που έχτισαν οι εργολάβοι»).

Εξετάστηκαν επίσης οι προαναφερθείσες διαδοχικές ακολουθίες ουσιαστικών (τρία ή περισσότερα ουσιαστικά ενωμένα μεταξύ τους, όπως στη φράση «γεννήτρια μουσικής επένδυσης ταινιών τρόμου»), καθώς οι σχέσεις μεταξύ των επιμέρους λέξεών τους μπορεί να είναι αμφίσημες.

Εξετάστηκαν οι ρηματοποιήσεις ουσιαστικών (ουσιαστικά που χρησιμοποιούνται ως ρήματα, όπως το «βάλ’ το με το πιρούνι» αντί για «βάλε το στο πιρούνι»), καθώς και άψυχα υποκείμενα σε συνδυασμό με ρήματα που συνήθως συνδέονται με έμβια όντα, όπως αναφέρθηκε παραπάνω. Και οι δύο κατασκευές συμπυκνώνουν το νόημα σε λιγότερες λέξεις, αλλά ενδέχεται να απαιτούν από τους αναγνώστες πρόσθετη ερμηνευτική προσπάθεια.

Τα μοντέλα που εξετάστηκαν

Οι ερευνητές συγκέντρωσαν συνομιλίες που δημιουργήθηκαν από 14 μοντέλα: τα Kimi K2.5, GLM 5, Claude Sonnet 5, Opus 5, Opus 5.5 και Fable 5, τα GPT-5.6 Luna, Terra και Sol, τα Olmo Base, Instruct και Think, καθώς και τα Llama Base and Instruct.

Οι δοκιμές περιλάμβαναν δέκα αρχικές προτροπές για γενική συνομιλία και πέντε για προγραμματισμό. Σε κάθε εργασία, το μοντέλο έπρεπε να δημιουργήσει αντίγραφο ενός πραγματικού, δημόσιου αποθετηρίου GitHub, να εντοπίσει σφάλματα και να τα διορθώσει σε περιβάλλον απομόνωσης.

Οι συνομιλίες περιορίστηκαν σε 12 ανταλλαγές μηνυμάτων, ενώ οι συνεδρίες προγραμματισμού σε 11, και ακολουθούσε ένα προκαθορισμένο τελικό μήνυμα. Σε ξεχωριστή δοκιμή, ζητήθηκε από κάθε μοντέλο να γράψει επτά εκθέσεις με βάση εκφωνήσεις εργασιών από το σύνολο δεδομένων PERSUADE 2.0.

Για τη σύγκριση, επιλέχθηκαν ανθρώπινα κείμενα από πηγές που αντιστοιχούσαν όσο το δυνατόν περισσότερο στους τρεις τύπους αποτελεσμάτων της τεχνητής νοημοσύνης: το OpenSubtitles (συλλογή υποτίτλων για ταινίες και τηλεοπτικές εκπομπές, άσχετη με την πλατφόρμα υποτίτλων ανοιχτού κώδικα) χρησιμοποιήθηκε για τη γενική συνομιλία· το StackExchange (διαδικτυακό δίκτυο φόρουμ ερωτήσεων και απαντήσεων) για συζητήσεις προγραμματισμού· και εκθέσεις μαθητών από το προαναφερθέν σύνολο δεδομένων PERSUADE 2.0 για τις εργασίες γραφής. Χρησιμοποιήθηκε επίσης η Wikipedia ως πρόσθετη πηγή σύγκρισης.

Όπου υπήρχαν κατάλληλα ανθρώπινα δεδομένα, μετρήθηκαν τα ίδια γλωσσικά χαρακτηριστικά σε ανθρώπινα κείμενα και σε κείμενα που δημιουργήθηκαν από τεχνητή νοημοσύνη. Οι ίδιες συλλογές αναφοράς χρησιμοποιήθηκαν επίσης για την αξιολόγηση της συχνότητας των συνδυασμών λέξεων.

Χρησιμοποιήθηκε μετάφραση μετ’ επιστροφής (από τα αγγλικά στα ιαπωνικά και ξανά στα αγγλικά, με το μοντέλο NLLB-200), ώστε να διαχωριστούν οι υφολογικές προτιμήσεις από τις γλωσσικές αναγκαιότητες. Το νόημα διατηρήθηκε σε μεγάλο βαθμό, ενώ η δομή των προτάσεων άλλαξε, γεγονός που επέτρεψε τον εντοπισμό διατυπώσεων με περιττή πολυπλοκότητα.

Αποτελέσματα

Πείραμα 1

Όπως φαίνεται παρακάτω, αρκετές δύσκολες γλωσσικές κατασκευές εμφανίζονταν συχνότερα στα αρχικά κείμενα που δημιουργήθηκαν από τεχνητή νοημοσύνη, ιδίως στα μοντέλα αιχμής. Αυτό ερμηνεύτηκε ως ένδειξη προτίμησης για διατυπώσεις με περιττή πολυπλοκότητα:

Σύγκριση των αρχικών κειμένων που δημιουργήθηκαν από τεχνητή νοημοσύνη με εκδοχές τους που μεταφράστηκαν στα ιαπωνικά και στη συνέχεια ξανά στα αγγλικά. Οι πράσινες κουκκίδες δείχνουν γλωσσικά μοτίβα που χρησιμοποιούνταν συχνότερα στα αρχικά κείμενα· οι ροζ κουκκίδες δείχνουν μοτίβα που χρησιμοποιούνταν συχνότερα μετά τη μετάφραση. Οι διαφορές ήταν γενικά μεγαλύτερες στα μοντέλα GPT και Claude. Πηγή

Τα έξι γλωσσικά χαρακτηριστικά συγκρίθηκαν σε 14 μοντέλα τεχνητής νοημοσύνης, σε τρία περιβάλλοντα (συνομιλία, προγραμματισμός και συγγραφή εκθέσεων). Δώδεκα μοντέλα δοκιμάστηκαν σε συνομιλίες, εννέα στον προγραμματισμό και τα 14 στη συγγραφή εκθέσεων:

Σύγκριση έξι γλωσσικών χαρακτηριστικών σε μοντέλα τεχνητής νοημοσύνης για συνομιλία, προγραμματισμό και συγγραφή εκθέσεων. Κάθε ρόμβος αντιστοιχεί στο συγκεντρωτικό αποτέλεσμα ενός μοντέλου· οι οριζόντιες γραμμές δείχνουν διαστήματα εμπιστοσύνης 95%. Οι κατακόρυφες διακεκομμένες γραμμές υποδεικνύουν τις τιμές αναφοράς από κείμενα γραμμένα από ανθρώπους: OpenSubtitles (συνομιλία), StackExchange (προγραμματισμός) και μαθητικές εκθέσεις PERSUADE 2.0 (συγγραφή εκθέσεων). Οι διάστικτες γραμμές δείχνουν τις συγκρίσεις με τη Wikipedia. Οι υψηλότερες τιμές υποδηλώνουν γενικά συχνότερη χρήση της υπό μέτρηση κατασκευής ή μεγαλύτερη γλωσσική πολυπλοκότητα. Για καλύτερη ανάλυση, ανατρέξτε στην αρχική μελέτη.

Το αρχικό κείμενο που δημιουργήθηκε από τεχνητή νοημοσύνη συγκρίθηκε επίσης με τις εκδοχές του που προέκυψαν από την αντίστροφη μετάφραση, ώστε να μετρηθούν οι διαφορές στη δομή των προτάσεων:

Σύγκριση του αρχικού κειμένου που δημιουργήθηκε από τεχνητή νοημοσύνη (συμπαγή διαμάντια) με τις εκδοχές που μεταφράστηκαν στα ιαπωνικά και κατόπιν πίσω στα αγγλικά με τη χρήση του NLLB-200 (κενoί κύκλοι). Οι ροζ γραμμές υποδεικνύουν χαρακτηριστικά που χρησιμοποιήθηκαν συχνότερα μετά τη μετάφραση· οι πράσινες γραμμές υποδεικνύουν χαρακτηριστικά που χρησιμοποιήθηκαν συχνότερα στα πρωτότυπα. Οι αστερίσκοι υποδεικνύουν στατιστική σημαντικότητα (ένας, δύο ή τρεις αστερίσκοι αντιστοιχούν σε ολοένα ισχυρότερες στατιστικές ενδείξεις). Η μετάφραση περιόρισε τις περισσότερες δομές που σχετίζονται με τη δυσκολία ανάγνωσης, ιδίως στα μοντέλα αιχμής. Για καλύτερη ανάλυση της εικόνας, ανατρέξτε στην αρχική μελέτη.

Διαπιστώθηκε ότι τα μοντέλα αιχμής και τα μοντέλα που βρίσκονται κοντά στο επίπεδο αιχμής χρησιμοποιούσαν υπερβολικά συχνά ασυνήθιστους συνδυασμούς λέξεων, ρήματα που σχηματίζονται από ουσιαστικά, άψυχα υποκείμενα και αντικειμενικές αναφορικές προτάσεις από τις οποίες παραλείπονται προαιρετικές λέξεις (βλ. παραπάνω γράφημα). Αυτές οι τάσεις ήταν γενικά ασθενέστερες στα Llama και Olmo Base, αλλά εντονότερες στο Olmo Think.

Οι διαφορές στη συγγραφή δοκιμίων ήταν μικρότερες από ό,τι στη συνομιλία ή στον προγραμματισμό. Αυτό αποδόθηκε στο ότι τα δοκίμια βασίζονται σε μία μόνο προτροπή, ενώ οι εκτενείς συνομιλίες με διαδοχικές ανταλλαγές ενδέχεται να ευνοούν περισσότερο τη γλωσσική συμπύκνωση.

Οι συγγραφείς σημειώνουν:

«Τα δοκίμια PERSUADE παρουσιάζουν μικρότερες μεταβολές μετά την αντίστροφη μετάφραση σε διάφορες κατηγορίες (μετρήσεις n-grams, μήκη εξαρτήσεων, διαδοχικά ουσιαστικά, ρήματα που σχηματίζονται από ουσιαστικά) σε σύγκριση με τη συνομιλία και [coding].

«Υποθέτουμε ότι αυτό οφείλεται στο ότι περιλαμβάνουν μία μόνο προτροπή, σε αντίθεση με τις πολλές διαδοχικές ανταλλαγές στη συνομιλία και στον προγραμματισμό. Εικάζουμε ότι ορισμένα μοτίβα ενδέχεται να προκύπτουν σε εκτενείς συνομιλίες με διαδοχικές ανταλλαγές (οι οποίες μπορεί να απαιτούν μεγαλύτερη συμπύκνωση πληροφοριών)».

Η μικρότερη μεταβολή μετά τη μετάφραση παρατηρήθηκε στα Llama και Olmo Base και Instruct, τα οποία παρουσίαζαν επίσης τη μεγαλύτερη ομοιότητα με τα μαθητικά δοκίμια ως προς τους συνδυασμούς λέξεων και τη χρήση ρημάτων. Αντίθετα, διαπιστώθηκε ότι το Olmo Think συμπεριφερόταν περισσότερο σαν τα μοντέλα αιχμής. Το Claude Opus 5.5 φάνηκε να χρησιμοποιεί λιγότερες δύσκολες δομές από το Opus 5 σε 19 από τις 21 συγκρίσεις, ενώ σε οκτώ από αυτές τα διαστήματα εμπιστοσύνης 95% δεν αλληλεπικαλύπτονταν.

Πείραμα 2

Το δεύτερο πείραμα σχεδιάστηκε για να εξετάσει αν η υποκείμενη πίεση για την παραγωγή συντομότερων και πιο πληροφοριακά πυκνών απαντήσεων μπορεί να κάνει τα μοντέλα να προτιμούν γλωσσικές δομές που είναι δυσκολότερο να κατανοήσουν οι άνθρωποι.

Εδώ, το Qwen2.5-1.5B-Instruct βελτιστοποιήθηκε περαιτέρω με τη χρήση του Group Relative Policy Optimization (GRPO), και στο μοντέλο ανατέθηκε να μετατρέπει δομημένες περιγραφές συμβάντων σε μορφή JSON σε προτάσεις στα αγγλικά.

Τα δύο στοιχεία της εκπαίδευσης που προσαρμόστηκαν ήταν το πόσο μπορούσε το μοντέλο να αλλάξει τη συνήθη επιλογή λέξεών του (β)· και το πόσο αυστηρά τιμωρούνταν για την παραγωγή μεγαλύτερων απαντήσεων (λ). Κάθε συμβάν μπορούσε να διατυπωθεί με δύο γραμματικά ορθούς τρόπους, με γνωστή διαφορά στον αριθμό των tokens.

Για παράδειγμα, η φράση «He sent us a photo» απαιτούσε έξι tokens, έναντι επτά για τη φράση «He sent a photo to us». Χρησιμοποιήθηκε επίσης ξεχωριστή δοκιμή, στην οποία οι δύο τρόποι διατύπωσης του ίδιου νοήματος απαιτούσαν τον ίδιο αριθμό tokens, ώστε να ελεγχθεί αν οι διαφορές οφείλονταν στο μήκος της πρότασης.

Η επίδραση εξετάστηκε σε προτάσεις που δεν είχαν εμφανιστεί προηγουμένως, με τη χρήση τεσσάρων δομών που είχαν συναντηθεί κατά την εκπαίδευση· δύο μη εκπαιδευμένων δομών που περιλάμβαναν την προαιρετική λέξη «that»· και άσχετων δομών που περιλάμβαναν κτητικές αντωνυμίες, ποσοδείκτες, παθητική σύνταξη και προτάσεις σκοπού.

Οι δοκιμές σχεδιάστηκαν για να διαπιστωθεί αν η προτίμηση για συντομότερη διατύπωση θα αποκτούνταν και θα μεταφερόταν σε δομές που δεν είχαν εμφανιστεί ποτέ κατά την εκπαίδευση:

Η επίδραση της επιβολής ποινής στις μεγαλύτερες απαντήσεις κατά την εκπαίδευση. Στο A παρουσιάζεται ένα παράδειγμα πιο σύντομης και πιο εκτενούς διατύπωσης. Οι προτιμήσεις για συντομότερες διατυπώσεις μετρώνται στο B, ενώ στο C και στο D παρουσιάζονται δοκιμές με διατυπώσεις που δεν είχαν χρησιμοποιηθεί προηγουμένως στην εκπαίδευση. Το πορτοκαλί υποδεικνύει εκπαίδευση χωρίς περιορισμό στις αλλαγές του αρχικού μοντέλου· το μπλε υποδεικνύει εκπαίδευση με αυτόν τον περιορισμό. Οι διακεκομμένες γραμμές δείχνουν τις προτιμήσεις του αρχικού μοντέλου. Οι ισχυρότερες ποινές οδήγησαν γενικά σε μεγαλύτερη προτίμηση για συντομότερη διατύπωση, ακόμη και σε δομές που απουσίαζαν από την εκπαίδευση. Για καλύτερη ανάλυση, ανατρέξτε στην αρχική μελέτη.

Όσο αυξανόταν η ποινή για τις μεγαλύτερες απαντήσεις, τόσο συχνότερα επιλεγόταν η συντομότερη διατύπωση (όπως φαίνεται ακριβώς παραπάνω). Χωρίς την ποινή KL (έναν περιορισμό στο πόσο μπορούσε να αποκλίνει το μοντέλο από τις αρχικές προβλέψεις του για τις λέξεις), η μετατόπιση ήταν ταχεία· με αυτήν, παρατηρήθηκε το ίδιο αποτέλεσμα, αλλά πιο σταδιακά. Χωρίς καμία από τις δύο ποινές, οι προτιμήσεις διέφεραν σημαντικά μεταξύ των εκπαιδευτικών εκτελέσεων, αλλά ακόμη και μια μικρή ποινή μήκους οδήγησε σε σταθερή προτίμηση για συντομότερες εναλλακτικές.

Η προτίμηση αυτή παρατηρήθηκε επίσης σε πρωτόγνωρες δομές προτάσεων που περιλάμβαναν την προαιρετική λέξη «that». Η μεταφορά σε πιο απομακρυσμένες γραμματικές δομές ήταν πολύ ασθενέστερη, ενώ επίδραση διαπιστώθηκε μόνο στις κτητικές δομές όταν απουσίαζε η ποινή KL.

Οι συγγραφείς καταλήγουν:

«Θεωρούμε αυτά τα αποτελέσματα μια απόδειξη της αρχής ότι μια ποινή μήκους, όταν εφαρμόζεται κατά τη μάθηση ενισχυτικής μάθησης με GRPO, μπορεί να επηρεάσει άμεσα τα γραμματικά χαρακτηριστικά.

Επισημαίνουμε ότι δεν δόθηκε στο μοντέλο άμεση οδηγία να χρησιμοποιεί συμπυκνωμένη ή πυκνή γλώσσα, ούτε του δόθηκαν άμεσα πληροφορίες για τη διαθεσιμότητα συντακτικών εναλλακτικών.

Αντίθετα, η ποινή οδήγησε σε αναδυόμενη προτίμηση για τις συντομότερες εκδοχές των συντακτικών εναλλακτικών.»

Συμπέρασμα

Εδώ και καιρό με απασχολούν τα μοτίβα-άγκυρες —τόσο τα ακούσια όσο και τα σκόπιμα— που χαρακτηρίζουν τα κείμενα που παράγονται από την τεχνητή νοημοσύνη. Έτσι, αυτή η νέα συμβολή φωτίζει κάπως την προφανή αντίφαση ανάμεσα στη γνωστή φλυαρία των LLM και στην εξίσου γνωστή πλέον τάση τους να συμπυκνώνουν πληροφορίες με τρόπους που μοιάζουν «εύκολοι στην ανάγνωση», απλώς και μόνο επειδή χρησιμοποιούνται λίγες λέξεις — όμως αυτή είναι σαφώς η λανθασμένη ερμηνεία αυτού του στοιχείου.

Στα LLM, η συντομία στην παραγόμενη γραφή μπορεί να υποδηλώνει πολυπλοκότητα και όχι ουσιαστική συμπύκνωση, σαν να μας έδινε η τεχνητή νοημοσύνη έναν γρίφο αντί για τις άμεσες έννοιες πίσω από τις λέξεις. Όλα αυτά, προφανώς, ώστε ένα μόνο μοντέλο να μπορεί να γράφει κώδικα και να συντάσσει κείμενα.

* Με τίτλο «Γιατί είναι τόσο δύσκολο να κατανοήσουμε τη γλώσσα που παράγεται από την τεχνητή νοημοσύνη;», το άρθρο υπογράφεται από δύο συγγραφείς από το New York University και το The University of Texas.

^† Η μετατροπή των ενσωματωμένων παραπομπών των συγγραφέων σε υπερσυνδέσμους έγινε από εμένα.

^†† https://mikeydoes.com/glossary/p600/

Δημοσιεύτηκε για πρώτη φορά τη Δευτέρα, 26 Οκτωβρίου 2026