Η Αγωνία του AI να Μιμηθεί την Ιστορική Γλώσσα

Μια συνεργασία ερευνητών στις Ηνωμένες Πολιτείες και τον Καναδά διαπίστωσε ότι τα μεγάλα μοντέλα γλώσσας (LLMs) όπως το ChatGPT δυσκολεύονται να αναπαράγουν ιστορικές ιδιωματικές εκφράσεις χωρίς εκτεταμένη προ-εκπαίδευση – μια δαπανηρή και εργατοειδής διαδικασία που ξεπερνά τις δυνατότητες των meisten ακαδημαϊκών ή ψυχαγωγικών πρωτοβουλιών, καθιστώντας έργα όπως την ολοκλήρωση του τελευταίου, ατελείωτου μυθιστορήματος του Τσαρλς Ντίκενς μέσω του AI μια απίθανη πρόταση.

Οι ερευνητές εξέτασαν μια σειρά μεθόδων για τη δημιουργία κειμένου που ήχου ιστορικά ακριβή, ξεκινώντας από απλή προτροπή με πρόζα του πρώτου μέρους του 20ου αιώνα και μεταβαίνοντας σε λεία εκπαίδευση ενός εμπορικού μοντέλου σε μια μικρή συλλογή βιβλίων από εκείνη την περίοδο.

Εξέτασαν επίσης τα αποτελέσματα σε σχέση με ένα ξεχωριστό μοντέλο που είχε εκπαιδευτεί εξ ολοκλήρου σε βιβλία που δημοσιεύθηκαν μεταξύ 1880 και 1914.

Στην πρώτη από τις δοκιμές, η προτροπή του ChatGPT-4o να μιμηθεί fin‑de‑siècle γλώσσα παρήγαγε khá διαφορετικά αποτελέσματα από αυτά του μικρότερου GPT2-βασισμένου μοντέλου που είχε λειαθεί σε λογοτεχνία από την περίοδο:

Ζητήθηκε να ολοκληρώσει ένα πραγματικό ιστορικό κείμενο (πάνω-κεντρο), ακόμη και ένα καλά προετοιμασμένο ChatGPT-4o (κάτω αριστερά) δεν μπορεί να αποφύγει να πέσει πίσω στο ‘μονό’ τρόπο, αποτυγχάνοντας να αντιπροσωπεύσει την запрошенная ιδιωματική έκφραση. Αντίθετα, το λειασμένο GPT2 μοντέλο (κάτω δεξιά) καταλαμβάνει το στυλ της γλώσσας καλά, αλλά δεν είναι τόσο ακριβές σε άλλους τρόπους.

Αν και η λεία εκπαίδευση φέρνει την έξοδο πιο κοντά στο πρωτότυπο στυλ, οι ανθρώπινοι αναγνώστες ήταν ακόμη συχνά σε θέση να ανιχνεύσουν ίχνη σύγχρονης γλώσσας ή ιδεών, υποδεικνύοντας ότι ακόμη και τα προσεκτικά ρυθμισμένα μοντέλα συνεχίζουν να αντανακλούν την επίδραση των σύγχρονων δεδομένων εκπαίδευσης.

… (το υπόλοιπο του περιεχομένου)

Συμπλήρωση του Κειμένου

Το έγγραφο εξετάζει στη συνέχεια εάν η λεία εκπαίδευση μπορεί να παράγει ένα ανώτερο αποτέλεσμα,既然 αυτή η διαδικασία περιλαμβάνει την άμεση επίδραση των χρησιμοποιούμενων βαρών του μοντέλου με ‘συνέχιση’ της εκπαίδευσής του σε δεδομένα που καθορίζονται από τον χρήστη – μια διαδικασία που μπορεί να επηρεάσει την αρχική βασική λειτουργικότητα του μοντέλου, αλλά να βελτιώσει σημαντικά την απόδοσή του στον τομέα που ‘πوشείται’ σε αυτό ή που τονίζεται κατά τη λεία εκπαίδευση.

Στην πρώτη πειραματική δοκιμή, η ομάδα εκπαίδευσε GPT‑4o‑mini σε περίπου δύο χιλιάδες ζευγάρια ολοκλήρωσης παραγράφων από βιβλία που δημοσιεύθηκαν μεταξύ 1905 και 1914, με στόχο να δει εάν μια μικρότερη κλίμακα λείας εκπαίδευσης μπορεί να μετατοπίσει την έξοδο του μοντέλου προς ένα πιο ιστορικά ακριβές στυλ.

… (το υπόλοιπο του περιεχομένου)

Συμπέρασμα

Πιθανότατα, μια από τις πιο ενδιαφέρουσες ερωτήσεις που προκύπτουν από το νέο έγγραφο είναι αυτή της αυθεντικότητας. Ενώ δεν είναι τέλειες εργαλεία, οι συνάρτηση απώλειας και μετρικές όπως LPIPS και SSIM δίνουν στους ερευνητές της υπολογιστικής όρασης τουλάχιστον μια μεθοδολογία για την αξιολόγηση ενάντια στην πραγματική αλήθεια.

Όταν παράγουν νέο κείμενο στο στυλ μιας παλιάς εποχής, αντίθετα, δεν υπάρχει πραγματική αλήθεια – μόνο μια προσπάθεια να κατοικήσει μια εξαφανισμένη πολιτιστική προοπτική. Η προσπάθεια να αναπαράγει αυτήν την στάση της σκέψης από λογοτεχνικά ίχνη είναι ο ίδιος ένας τρόπος κβαντοποίησης,既然 αυτά τα ίχνη είναι απλά αποδεικτικά στοιχεία, ενώ η πολιτιστική συνείδηση από την οποία προέρχονται παραμένει πέρα από ερμηνεία και πιθανότατα πέρα από φαντασία.

Σε πρακτικό επίπεδο, επίσης, οι βάσεις των σύγχρονων μοντέλων γλώσσας, διαμορφωμένες από τις σύγχρονες νόρμες και δεδομένα, κινδυνεύουν να ερμηνεύσουν ή να καταστρέψουν ιδέες που θα είχαν φανεί λογικές ή αμελητέες σε έναν αναγνώστη της εποχής του Εδουάρδου, αλλά που τώρα καταγράφονται ως (συχνά προσβλητικά) απομεινάρια προκατάληψης, ανισότητας ή αδικίας. Một wonders, επομένως, ακόμη και αν μπορούσαμε να δημιουργήσουμε τέτοια συνομιλία, εάν δεν θα μας απομακρύνει.

Πρώτη δημοσίευση Παρασκευή, 2 Μαΐου 2025