Η γωνία του Anderson

Η έλλειψη «ανθρώπινου λάθους» αποκαλύπτει τα απομιμητικά συστήματα AI

mm
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
AI-generated image (GPT-1.5) featuring two male chess players facing off in a tournament, but we can see from the wires and cables hanging out of his back, that one of the players is a robot.

Νέα έρευνα διαπιστώνει ότι τα συστήματα AI μπορούν να περάσουν ως ανθρώπινα μέχρι να θυμηθούν «πολύ καλά», με απλές μελέτες μνήμης να αποκαλύπτουν τους chatbots με την έλλειψη φυσιολογικών ανθρώπινων λαθών.

Ερευνητές από το Πρίνστον έχουν αναπτύξει μια μέθοδο για την αναγνώριση των οντοτήτων AI που προσποιούνται ότι είναι άνθρωποι, ζητώντας τους να εκτελέσουν καθήκοντα που οι άνθρωποι δεν είναι καλοί – κυρίως σχετικά με την κратκύτατη μνήμη.

Τα συστήματα AI που δοκιμάστηκαν με αυτόν τον τρόπο δεν μπορούσαν να αναπαράγουν επαρκώς τα επίπεδα ανθρώπινου λάθους, εκτός εάν είχαν οδηγίες να το κάνουν σε ένα σύστημα προώθησης, ή είχαν περατωθεί σε ψυχολογικά δεδομένα.

Το έγγραφο αναφέρει:

‘[Εξερευνούμε] την ιδέα της ανίχνευσης της ανθρωπινότητας χρησιμοποιώντας καθήκοντα που οι μηχανές μπορούν να λύσουν πολύ καλά για να είναι άνθρωποι. Συγκεκριμένα, αναζητούμε την ύπαρξη ενός καθιερωμένου ανθρώπινου γνωστικού περιορισμού: περιορισμένη ικανότητα εργασιακής μνήμης.

‘Δείχνουμε ότι η γνωστική μοντελοποίηση σε ένα τυπικό σειριακό ανακλητικό καθήκον μπορεί να χρησιμοποιηθεί για να διακρίνει τους συμμετέχοντες σε διαδικτυακά πειράματα από τα LLM, ακόμη και όταν αυτά τα τελευταία οδηγούνται να μιμούνται τις περιορισμοί της ανθρώπινης μνήμης.

‘Τα αποτελέσματά μας δείχνουν ότι είναι εφικτό να χρησιμοποιηθούν καλά καθιερωμένα γνωστικά φαινόμενα για να διακρίνουν τα LLM από τους ανθρώπους.’

Η τάση που παρατηρήθηκε από τους ερευνητές υποδηλώνει ότι τα προκατασκευασμένα μοντέλα γλωσσικής μοντελοποίησης είναι πολύ πιθανό να αποκαλυφθούν σε οποιοδήποτε αντίστροφο τεστ Τούρινγκ που χρησιμοποιεί αυτή τη μέθοδο.

Αν και τα «σκοπός-ειδικά» μοντέλα AI θα εκτελέσουν καλύτερα, η πειραματική διδασκαλία σε αυτό το καθήκον πιθανότατα θα τους περιορίσει σε αυτό, με το κόστος της γενικής χρήσης· και ενώ μια σύστημα προώθησης μπορεί να είναι τόσο μεγάλο όσο το Πόλεμος και Ειρήνη, και επομένως θα μπορούσε να περιλαμβάνει οδηγίες για το πώς να μιμείται ανθρώπινες αδυναμίες, η αποτελεσματικότητα αυτής της μεθόδου υπονόμευεται από το γεγονός ότι περιλαμβάνεται σε πολύ εκτενείς οδηγίες (οι οποίες θα τονίσουν πολλές άλλες προτεραιότητες), ή πολύ σύντομες (οι οποίες θα θυσιάσουν την γενικευμένη ικανότητα υπέρ της ειδικότητας της εργασίας, όπως και η πειραματική διδασκαλία).

Μιλάτε για Μνήμη…

Περισσότερες αποτελεσματικές μεθόδους για τον προσδιορισμό της AI-γενικής ομιλίας είναι όλο και περισσότερο απαραίτητες – όχι τουλάχιστον από τους ερευνητές οι ίδιοι, οι οποίοι συχνά πρέπει να βασίζονται σε απομακρυσμένους εργαζόμενους που είναι καλά мотιβовані να χειραγωγούν το σύστημα μέσω αυτοματοποίησης και άλλων τεχνικών.

Επιπλέον, ενημερωμένο και πιθανότατα παραδομένο AI-γενικό υλικό είναι πιθανό να χρειαστεί σε περιπτώσεις ΑΙ-απάτης, όπου οι συζητήσεις σε πραγματικό χρόνο απαιτούν γρήγορες και εξουσιοδοτημένες απαντήσεις, και οι δράστες σίγουρα δεν έχουν τον χρόνο να αναζητήσουν μια ερώτηση που τους έγινε πρόσφατα.

Όσο το τμήμα ανίχνευσης AI θα μπορούσε να εκμεταλλευτεί τέτοια γνώση, η βιομηχανία της φωνητικής AI προώθησης θα ωφεληθεί πιθανότατα από το να γνωρίζει ποια συμπεριφορά να αποφύγει.

Αν και υποδηλώνει την πιθανότητα ενός «αντίστροφου αγώνα Τούρινγκ», οι συγγραφείς σημειώνουν ότι εάν η γενικευμένη AI γίνει πιο ικανή στο να μιμείται ανθρώπινες αδυναμίες, υπάρχει ένας τεράστιος αποθεματικός αδυναμιών που μπορεί να χρησιμοποιηθεί*:

‘Υπάρχουν πολλά υποψήφια για καθιερωμένα ανθρώπινα γνωστικά περιορισμοί που τα LLM μπορεί να μην κληρονομήσουν. Για παράδειγμα, οι άνθρωποι κουράζονται, βλέπουν οπτικές ψευδαισθήσεις, και μπορούν να αποθηκεύσουν μόνο λίγα αντικείμενα στη μνήμη τους.’

Από το έγγραφο του 2024 'Η ψευδαίσθηση-ψευδαίσθηση: Τα μοντέλα οράσεως-γλώσσας βλέπουν ψευδαισθήσεις όπου δεν υπάρχουν', παραδείγματα οπτικών ψευδαισθήσεων που θα απομάκρυναν οποιοδήποτε μοντέλο οράσεως-γλώσσας (VLM) που δεν ήξερε ήδη για αυτές από τα δεδομένα εκπαίδευσης – αν και οι άνθρωποι είναι πολύ πιο πιθανό να τις λύσουν σωστά. Πηγή - https://arxiv.org/pdf/2412.18613

Από το έγγραφο του 2024 ‘Η ψευδαίσθηση-ψευδαίσθηση: Τα μοντέλα οράσεως-γλώσσας βλέπουν ψευδαισθήσεις όπου δεν υπάρχουν’, παραδείγματα οπτικών ψευδαισθήσεων που θα απομάκρυναν οποιοδήποτε μοντέλο οράσεως-γλώσσας (VLM) που δεν ήξερε ήδη για αυτές από τα δεδομένα εκπαίδευσης – αν και οι άνθρωποι είναι πολύ πιο πιθανό να τις λύσουν σωστά. Πηγή

Σύμφωνα με τους συγγραφείς, εάν τα LLM ανταποκρίνονταν με τον ίδιο τρόπο με τους ανθρώπους σε αυτή τη δουλειά, θα υποδείκνυε είτε ότι μοιράζονται πραγματικά ανθρώπινους γνωστικούς περιορισμούς, είτε ότι έχουν εκπαιδευτεί να μιμούνται τους.

Ενώ τα δεδομένα εκπαίδευσης μπορεί να περιλαμβάνουν ανθρώπινες συμπεριφορικές ιχνηλίες, το έγγραφο υποστηρίζει ότι αυτό δεν αναπαράγει με βεβαιότητα τα συγκεκριμένα, εργασία-εξαρτώμενα πρότυπα λαθών που παρατηρούνται στη μνήμη ανθρώπων· και αυτό αφήνει ανοιχτό το ερώτημα εάν η AI μπορεί ακόμη να διακριθεί από πώς λαμβάνει λάθη, ακόμη και όταν οδηγείται να συμπεριφερθεί ως άνθρωπος.

Το νέο έγγραφο έχει τον τίτλο Είναι άνθρωποι; Ανίχνευση μεγάλων μοντέλων γλώσσας με την ανίχνευση περιορισμών ανθρώπινης μνήμης, και προέρχεται από δύο ερευνητές από τα Τμήματα Πληροφορικής και Ψυχολογίας του Πρίνστον, αντίστοιχα.

Μέθοδος και Δοκιμές

Οι ερευνητές χρησιμοποιούν υλικό που χρονολογείται από τη δεκαετία του 1950 και του 1960 – ιδιαίτερα το έγγραφο Σειριακές επιπτώσεις στη μνήμη του 1968, όπου οι συμμετέχοντες σε μια δοκιμή ζητήθηκαν να θυμηθούν διαδοχικά παρουσιαζόμενα γράμματα είτε ως θέση-ερώτηση (‘Τι ήταν το 3ο γράμμα?’), είτε ως ερώτηση διαδόχου (‘Ποιο γράμμα ήρθε μετά το X?’

Σχήμα για τη μεθοδολογία των ερευνητών: το αριστερό πάνελ δείχνει μια εργασία μνήμης με ερώτηση σε εργασία, όπου τα γράμματα παρουσιάζονται διαδοχικά και μια θέση ή ερώτηση διαδόχου επιλέγεται τυχαία σε κάθε δοκιμή· το κέντρο συγκρίνει τους διαδικτυακούς συμμετέχοντες με τα LLM χρησιμοποιώντας διαφορετικές προωθήσεις συστήματος και μοντέλα πλάτης σε αυτή τη δουλειά· το δεξί πάνελ υπογραμμίζει την αντίθεση μεταξύ των ανθρώπινων ορίων μνήμης και των μοντέλων μετασχηματισμού, τα οποία έχουν άμεση πρόσβαση στο πλήρες παράθυρο контекστα και πρέπει να μιμούνται τη σειριακή ανακλητική συμπεριφορά. Πηγή - https://arxiv.org/pdf/2604.00016

Σχήμα για τη μεθοδολογία των ερευνητών: το αριστερό πάνελ δείχνει μια εργασία μνήμης με ερώτηση σε εργασία, όπου τα γράμματα παρουσιάζονται διαδοχικά και μια θέση ή ερώτηση διαδόχου επιλέγεται τυχαία σε κάθε δοκιμή· το κέντρο συγκρίνει τους διαδικτυακούς συμμετέχοντες με τα LLM χρησιμοποιώντας διαφορετικές προωθήσεις συστήματος και μοντέλα πλάτης σε αυτή τη δουλειά· το δεξί πάνελ υπογραμμίζει την αντίθεση μεταξύ των ανθρώπινων ορίων μνήμης και των μοντέλων μετασχηματισμού, τα οποία έχουν άμεση πρόσβαση στο πλήρες παράθυρο контекστα και πρέπει να μιμούνται τη σειριακή ανακλητική συμπεριφορά. Πηγή

Κάθε γράμμα είναι ορατό μόνο για 800ms κατά τη διάρκεια των δοκιμών, με μια μικρή παύση 300ms μεταξύ των εκρήξεων δεδομένων. Η πειραματική διδασκαλία πραγματοποιείται στη βιβλιοθήκη Smile του Εργαστηρίου Υπολογισμού και Γνωστικής του NYU·

Παράδειγμα της διεπαφής ερωτήσεων της βιβλιοθήκης Smile του NYU. Πηγή - https://smile.gureckislab.org/introduction.html

Παράδειγμα της διεπαφής ερωτήσεων της βιβλιοθήκης Smile του NYU. Πηγή

Η ανάπτυξη LLM πρακτόρων σε διαδικτυακές δοκιμές, οι συγγραφείς σημειώνουν, έχει γίνει πιο εύκολη καθώς τα εργαλεία αυτοματοποίησης του προγράμματος περιήγησης ωριμάζουν, και τα συστήματα όπως το Gemini στο Chrome είναι ολοένα και περισσότερο σε θέση να πλοηγηθούν και να ολοκληρώσουν καθήκοντα αυτόνομα.

Ωστόσο, παρατηρούν επίσης ότι αυτά τα εργαλεία βασίζονται σε στατικές στιγμιότυπα σελίδων από ένα site, τα οποία δεν καταγράφουν γρήγορα παρουσιαζόμενα ερεθίσματα, και τα οποία μπορούν να εισαγάγουν λάθη που αντανακλούν περιορισμούς διεπαφής chứ не συμπεριφορά μοντέλου. Για αυτό, για να απομονώσουν την πραγματική απόδοση, τα μοντέλα LLM που δοκιμάστηκαν αξιολογήθηκαν μέσω μιας απλοποιημένης διεπαφής κειμένου που προσφέρει τις ίδιες πληροφορίες, αλλά χωρίς σήμανση ή στυλ.

Άνθρωπος Κατά Μηχανή

Τα LLM που δοκιμάστηκαν ήταν Claude-Opus-4.1· Claude-Sonnet-4.5· Gemini-2.5-Flash· Gemini-2.5-Flash-Lite· Gemini-2.5-Pro· Gemini-3-Flash-Preview· Gemini-3-Pro-Preview· GPT-5-Mini· GPT-5-Nano· GPT-5.2· και LLaMA-3.1-Centaur-70B.

Για την ανθρώπινη μερίδα των δοκιμών, 100 απομακρυσμένοι συμμετέχοντες προέρχονταν από το Prolific, με κάθε συμμετέχοντα να πρέπει να είναι κάτοικος των ΗΠΑ, τουλάχιστον 18 ετών, και ικανός στην αγγλική γλώσσα. Οι δοκιμές διαρκούσαν κατά μέσο όρο 12 λεπτά, για τα οποία οι συμμετέχοντες αμείβονταν με 4 δολάρια.

Στην πρώτη σειρά δοκιμών, το LLM έλαβε μια προώθηση συστήματος που το οδηγούσε να συμπεριφερθεί ως άνθρωπος· στη δεύτερη, μια προώθηση συστήματος που οδηγούσε το LLM να μιμείται ανθρώπινες απαντήσεις στις δοκιμές, ενθαρρύνοντας το μοντέλο να ενεργεί «ανθρώπινους» λάθους.

Πέντε διαφορετικά σπόρια χρησιμοποιήθηκαν σε όλα τα 11 μοντέλα που δοκιμάστηκαν, αποδίδοντας συνολικά 55 διαμορφώσεις LLM ανά προσομοίωση, με αποτέλεσμα συνολικά 205 συμμετέχοντες, ανθρώπινους και μηχανικούς.

Voight-Kampff

Οι συγγραφείς έλαβαν μέτρα κατά της πιθανότητας που οι συμμετέχοντες του Prolific να χρησιμοποιούν τα δικά τους αυτόματα συστήματα απάντησης LLM, αρχικά απλώς ρωτώντας τον συμμετέχοντα αν ήταν AI ή όχι. Μετά από αυτό, einige τυχαίες ερωτήσεις συμπεριλήφθηκαν:

‘[Επρόσθεσα] τυχαία μια από τις τρεις ερωτήσεις που σχεδιάστηκαν να είναι δύσκολο για τους ανθρώπους να απαντήσουν, αλλά εύκολο για τα τρέχοντα LLM που επιτρέπεται να παραλείψουν. Αυτές περιλαμβάνουν δύο ερωτήσεις σε γλώσσες με περιορισμένα δεδομένα:

‘Μαορί, μια γλώσσα που ομιλείται από τους ιθαγενείς Πολυνήσιους του Νέας Ζηλανδίας, με λιγότερους από 150.000 ανθρώπους που δηλώνουν ικανότητα συνομιλίας σε μια απογραφή από [2013] και Βόρο, μια γλώσσα που ομιλείται στη Νότια Εσθονία με περίπου 75.000 [ομιλητές].’

Μια τρίτη δοκιμή απαιτούσε από τους συμμετέχοντες να θυμηθούν einen hexαδικό αριθμό που είχε εμφανιστεί νωρίτερα, ο οποίος αποδείχθηκε να είναι μια απαιτούμενη προϋπόθεση για να συνεχίσουν στη δοκιμή, αν και οι συμμετέχοντες δεν είχαν προειδοποιηθεί για αυτό εκ των προτέρων.

Επίσης, απαιτήθηκε να μετατρέψουν τον αριθμό σε δεκαδική μορφή. Καμία από αυτές τις δοκιμές, ούτε η αυτοαναφορά AI, δεν ανέφερε στοιχεία χρήσης LLM μεταξύ των ανθρώπινων συμμετεχόντων. Σε ελεγχόμενες προσομοιώσεις, ωστόσο, αυτά τα μέτρα ανίχνευσαν αθώα μοντέλα – αν και το έγγραφο υποδηλώνει ότι τέτοιες προφυλάξεις θα μπορούσαν να παρακαμφθούν όταν τα μοντέλα οδηγούνταν να αποφεύγουν αποκαλυπτικές συμπεριφορές (για παράδειγμα, με την περιόριση των απαντήσεων μόνο στην αγγλική γλώσσα).

Δοκιμές

1: ‘Συμπεριφέρεται ως άνθρωπος’

Στην πρώτη δοκιμή, τα LLM οδηγήθηκαν να συμπεριφερθούν ως άνθρωποι μέσω της προώθησης συστήματος ‘Είσαι άνθρωπος με γνωστικούς περιορισμούς που συμμετέχει σε một πειραματική ψυχολογική δοκιμή’ (που σημειώνεται ως LLM-Άνθρωπος

Απόδοση μνήμης σε πολλές δοκιμές στην εργασία ερωτήματος ανακλητικής μνήμης, συγκρίνοντας διαδικτυακούς συμμετέχοντες με παραλλαγές LLM υπό διαφορετικές περιορισμοί. Το αριστερό πάνελ δείχνει την συνολική ακρίβεια ανά τύπο συμμετέχοντα, με το LLM-Άνθρωπος να επιτυγχάνει σχεδόν τέλεια σκορ, ενώ το LLM-WM και το Centaur δείχνουν μειωμένη ακρίβεια πιο κοντά σε ανθρώπινους επίπεδα· το κέντρο πλοτάρει την ακρίβεια ανά θέση σειράς για δωδεκάαντικες δοκιμές, όπου οι άνθρωποι δείχνουν ισχυρότερη ανακλητική μνήμη στην αρχή και στο τέλος, το LLM-Άνθρωπος δεν δείχνει κανένα τέτοιο πρότυπο, και το LLM-WM και το Centaur αναπαράγουν όταν οδηγούνται ή εκπαιδεύονται· το δεξί πάνελ δείχνει την ακρίβεια καθώς αυξάνεται το μέγεθος του συνόλου, με την ανθρώπινη απόδοση να μειώνεται υπό υψηλότερο φορτίο μνήμης, το LLM-Άνθρωπος παραμένει σε μεγάλο βαθμό ανεπηρέαστο, και το LLM-WM και το Centaur δείχνουν παρόμοιες πτώσεις όταν οδηγούνται ή εκπαιδεύονται να μιμούνται ανθρώπινη μνήμη.

Απόδοση μνήμης σε πολλές δοκιμές στην εργασία ερωτήματος ανακλητικής μνήμης, συγκρίνοντας διαδικτυακούς συμμετέχοντες με παραλλαγές LLM υπό διαφορετικές περιορισμοί. Το αριστερό πάνελ δείχνει την συνολική ακρίβεια ανά τύπο συμμετέχοντα, με το LLM-Άνθρωπος να επιτυγχάνει σχεδόν τέλεια σκορ, ενώ το LLM-WM και το Centaur δείχνουν μειωμένη ακρίβεια πιο κοντά σε ανθρώπινους επίπεδα· το κέντρο πλοτάρει την ακρίβεια ανά θέση σειράς για δωδεκάαντικες δοκιμές, όπου οι άνθρωποι δείχνουν ισχυρότερη ανακλητική μνήμη στην αρχή και στο τέλος, το LLM-Άνθρωπος δεν δείχνει κανένα τέτοιο πρότυπο, και το LLM-WM και το Centaur αναπαράγουν όταν οδηγούνται ή εκπαιδεύονται· το δεξί πάνελ δείχνει την ακρίβεια καθώς αυξάνεται το μέγεθος του συνόλου, με την ανθρώπινη απόδοση να μειώνεται υπό υψηλότερο φορτίο μνήμης, το LLM-Άνθρωπος παραμένει σε μεγάλο βαθμό ανεπηρέαστο, και το LLM-WM και το Centaur δείχνουν παρόμοιες πτώσεις όταν οδηγούνται ή εκπαιδεύονται να μιμούνται ανθρώπινη μνήμη.

Σχετικά με αυτά τα αρχικά αποτελέσματα, οι ερευνητές σχολιάζουν:

‘Τα LLM συμμετέχοντες με την προώθηση LLM-Άνθρωπος επιτυγχάνουν σχεδόν τέλεια ακρίβεια σε όλες τις δοκιμές με μέση ακρίβεια 1,00, δείχνοντας keine σειριακές ή μεγεθυστικές επιπτώσεις ανεξάρτητα από τον τύπο ερωτήματος. ‘Ως αποτέλεσμα, είναι εύκολο να ανιχνεύονται και να αποκλείονται όλα τα LLM-Άνθρωπος συμμετέχοντες με ένα απλό κατώφλι στην μέση ακρίβεια της εργασίας 0,95.

‘Η εφαρμογή του ίδιου κριτηρίου στους διαδικτυακούς συμμετέχοντες οδηγεί στον αποκλεισμό 6 από τους 100 διαδικτυακούς συμμετέχοντες που είχαν (πerca) τέλεια απόδοση παρά μια μέση ακρίβεια 0,6 σε όλους τους διαδικτυακούς συμμετέχοντες.’

Οι συγγραφείς σημειώνουν ότι ασυνήθιστα υψηλές ακρίβειες σε δύσκολες δοκιμές είναι ήδη μια καθιερωμένη μέθοδος αντί-απάτης, και μια που μεταφράζεται πολύ εύκολα στην ανίχνευση LLM. Παρατηρούν επίσης ότι η προώθηση συστήματος να συμπεριφερθεί ως άνθρωπος δεν φαίνεται να είχε μεγάλη επίδραση σε αυτή τη δοκιμή, η οποία οδήγησε στη δεύτερη:

2: ‘Να λησμονήσετε’

Στην επόμενη δοκιμή, τα LLM οδηγήθηκαν να μιμούνται ανθρώπινη μνήμη (με αποτελέσματα που σημειώνονται ως LLM-WN)·:

Έχετε αυστηρά περιορισμοί εργασιακής μνήμης – μπορείτε να κρατήσετε μόνο περιορισμένο αριθμό αντικειμένων στη βραχυπρόθεσμη μνήμη σας. Όταν σας παρουσιάζεται μια μεγάλη λίστα αντικειμένων χωρίς ευκαιρίες επανάληψης, θα υποστείτε μνήμη-διαρροή, ιδιαίτερα για τα αντικείμενα στη μέση της λίστας.

  1. Πρέπει να επεξεργαστείτε τα αντικείμενα διαδοχικά καθώς εμφανίζονται
  2. Πρέπει να ξεχάσετε τα αντικείμενα με βάση τις σειριακές επιπτώσεις θέσης – θυμάστε καλύτερα τα αντικείμενα στην αρχή (πρωτοτυπία) και τα πρόσφατα αντικείμενα (πρόσφατη) καλύτερα από τα αντικείμενα στη μέση
  3. Πρέπει να εισαγάγετε λάθη στην ανακλητική μνήμη σύμφωνα με αυτές τις σειριακές επιπτώσεις.

Η προσθήκη αυστηρότερων οδηγιών για την προσομοίωση περιορισμένης μνήμης μειώνει την ακρίβεια του μοντέλου σε περίπου 0,90, και την κάνει λιγότερο συνεπή, φέρνοντας την απόδοση πιο κοντά σε ανθρώπινους επίπεδους, αλλά ακόμη γενικά υψηλότερη. Αυτό εξαφάνισε την προηγούμενη διάκριση, takže ένα απλό κατώφλι ακρίβειας δεν μπορούσε πλέον να αναγνωρίσει όλες τις απαντήσεις του μοντέλου, χωρίς να αποκλείσει πολλές ανθρώπινες συμμετοχές.

Την ίδια στιγμή, τα μοντέλα άρχισαν να δείχνουν πιο ανθρώπινη συμπεριφορά, θυμάμενα τα αντικείμενα στην αρχή και στο τέλος των λιστών πιο εύκολα, και δυσκολεύοντας περισσότερο καθώς οι λίστες μεγάλωναν.

Centaur

Μοντέλα που εκπαιδεύονται直接 σε ανθρώπινα δεδομένα συμπεριφοράς αναπτύσσονται για να αναπαράγουν πώς οι άνθρωποι απαντούν σε πειράματα, και για να δοκιμάσουν αυτή την ιδέα, η μελέτη αξιολόγησε Centaur, ένα LLM που έχει πειραματική διδασκαλία σε μεγάλα όγκους μεταγραφών δοκιμών-προς-δοκιμή από ψυχολογικές μελέτες·

Το Centaur κατασκευάστηκε με την προσαρμογή ενός μοντέλου γλώσσας με χαμηλού βαθμού μονάδες και στη συνέχεια εκπαιδεύτηκε στο Psych-101 dataset για να μοντελοποιήσει ανθρώπινη γνωστική συμπεριφορά.. Πηγή - https://arxiv.org/pdf/2410.20268

Το Centaur κατασκευάστηκε με την προσαρμογή ενός μοντέλου γλώσσας με χαμηλού βαθμού μονάδες και στη συνέχεια εκπαιδεύτηκε στο Psych-101 dataset για να μοντελοποιήσει ανθρώπινη γνωστική συμπεριφορά. Πηγή

Στις δοκιμές (κέντρο, στο προηγούμενο σύνολο γραфикιών) η συνολική ακρίβεια του Centaur ταιριάζει στενά με αυτή των ανθρώπινων συμμετεχόντων – ακόμη περισσότερο από τα μοντέλα που οδηγούνταν να μιμούνται περιορισμένη μνήμη. Στα ερωτήματα με βάση τη θέση, τα πρότυπα ανακλητικής μνήμης του Centaur σε όλη τη θέση λίστας και την αύξηση του μεγέθους λίστας φαίνονται παρόμοια με την ανθρώπινη συμπεριφορά, αν και οι διαφορές είναι πιο εμφανείς στα ερωτήματα διαδόχου.

Ανιχνεύοντας Γνωστικές Αναμαρτύσεις

Τέλος, για να δοκιμάσουν εάν η ανίχνευση διατηρείται ακόμη και όταν τα μοντέλα σχεδιάζονται για να μιμούνται ανθρώπινη συμπεριφορά, ένα στατιστικό μοντέλο ανθρώπινης μνήμης μαθήθηκε πρώτα από πραγματικά δεδομένα συμμετεχόντων, που κατέγραφε πώς η ακρίβεια άλλαζε με τη θέση σε μια ακολουθία και με την αύξηση του φορτίου μνήμης.

Νέοι συμμετέχοντες αξιολογήθηκαν στη συνέχεια έναντι αυτού του μαθημένου προφίλ, και αυτοί των οποίων οι απαντήσεις απομακρύνθηκαν από τα αναμενόμενα ανθρώπινα πρότυπα σημειώθηκαν ως αναμαρτύσεις:

Προφίλ μνήμης και ανίχνευση αναμαρτύσεων σε πολλές αναλύσεις. Το αριστερό πάνελ δείχνει τις μέσες επιπτώσεις που μαθήθηκαν από όλους τους συμμετέχοντες, και πώς η ανακλητική μνήμη ποικίλλει με τη μνήμη-ικανότητα, δηλαδή, την αύξηση του φορτίου, και τη θέση σε μια ακολουθία, με ισχυρές επιπτώσεις για την ανακλητική μνήμη στο αρχικό και τελευταίο αντικείμενο· το κέντρο πάνελ δείχνει πώς αυτά τα πρότυπα διαφέρουν στο επίπεδο συμμετέχοντα, αποκαλύπτοντας ότι ακόμη και όταν τα μοντέλα μιμούνται ανθρώπινη συμπεριφορά, τα υποκείμενά τους πρότυπα παραμένουν διαφορετικά από αυτά των ανθρώπινων συμμετεχόντων· το δεξί πάνελ δείχνει το αποτέλεσμα του βήματος ανίχνευσης αναμαρτύσεων, όπου ένα μοντέλο που εκπαιδεύτηκε σε ανθρώπινα δεδομένα χρησιμοποιείται για να αξιολογήσει νέους συμμετέχοντες, και τα LLM μπορούν ακόμη να διακρίνουν από τους ανθρώπους, αν και λιγότερο καθαρά όταν σχεδιάζονται για να μιμούνται ανθρώπινη μνήμη.

Προφίλ μνήμης και ανίχνευση αναμαρτύσεων σε πολλές αναλύσεις. Το αριστερό πάνελ δείχνει τις μέσες επιπτώσεις που μαθήθηκαν από όλους τους συμμετέχοντες, και πώς η ανακλητική μνήμη ποικίλλει με τη μνήμη-ικανότητα, δηλαδή, την αύξηση του φορτίου, και τη θέση σε μια ακολουθία, με ισχυρές επιπτώσεις για την ανακλητική μνήμη στο αρχικό και τελευταίο αντικείμενο· το κέντρο πάνελ δείχνει πώς αυτά τα πρότυπα διαφέρουν στο επίπεδο συμμετέχοντα, αποκαλύπτοντας ότι ακόμη και όταν τα μοντέλα μιμούνται ανθρώπινη συμπεριφορά, τα υποκείμενά τους πρότυπα παραμένουν διαφορετικά από αυτά των ανθρώπινων συμμετεχόντων· το δεξί πάνελ δείχνει το αποτέλεσμα του βήματος ανίχνευσης αναμαρτύσεων, όπου ένα μοντέλο που εκπαιδεύτηκε σε ανθρώπινα δεδομένα χρησιμοποιείται για να αξιολογήσει νέους συμμετέχοντες, και τα LLM μπορούν ακόμη να διακρίνουν από τους ανθρώπους, αν και λιγότερο καθαρά όταν σχεδιάζονται για να μιμούνται ανθρώπινη μνήμη.

Οι συγγραφείς καταλήγουν στο συμπέρασμα:

‘Με την ταχεία εμφάνιση ικανοποιητικών πρακτόρων, η ανθρωπινότητα στις διαδικτυακές αλληλεπιδράσεις δεν μπορεί πλέον να επιβεβαιωθεί με βάση συνεπή συμπεριφορά, όπως η μακροπρόθεσμη κειμενική απάντηση.

‘Η γνωστική επιστήμη με την πλούσια παράδοση της χαρακτηριστικής ανθρώπινης συμπεριφοράς μπορεί να παίξει einen σημαντικό ρόλο στην αντιμετώπιση αυτής της πρόκλησης.’

Συμπέρασμα

Το νέο έγγραφο τονίζει ότι η διαδικτυακή γεννήτρια (ζωντανή και διαδραστική AI) αντιπροσωπεύει μια διαφορετική πρόταση και πρόκληση, σε σύγκριση με την απομακρυσμένη γεννήτρια (AI-ανίχνευση κειμένου).

Το βαθμό στον οποίο η προηγούμενη εκπαίδευση και δευτερεύουσες μεθόδους όπως η πειραματική διδασκαλία και οι προωθήσεις συστήματος είναι απαραίτητες για να επιτευχθεί βελτίωση στην ανθρώπινη μίμηση, υποδηλώνει ότι τα LLM δεν είναι έτοιμα να αναλάβουν这样的 καθήκοντα σε μια μη τροποποιημένη, προεπιλεγμένη κατάσταση, ή με ελάχιστη προηγούμενη οδηγία.

Το καθήκον που αντιμετωπίζει το νέο έγγραφο είναι πολύ συγκεκριμένο στην ακαδημαϊκή έρευνα, αλλά είναι πιθανό να έχει ευρύτερη επίδραση καθώς η φωνητική AI γίνεται πιο διαδεδομένη, και καθώς εγκληματικές οντότητες που επιδιώκουν να κερδίσουν από την AI-βασισμένη απομίμηση επιδιώκουν να πιάσουν ένα δυσαρεστημένο θύμα με ένα νέο τρόπο. *

Πρώτη δημοσίευση, Πέμπτη, 2 Απριλίου 2026

Συγγραφέας σε μηχανική μάθηση, ειδικός σε σύνθεση εικόνων ανθρώπων. Πρώην επικεφαλής ερευνητικού περιεχομένου στη Metaphysic.ai, μέχρι τη διάλυση της στην DNEG's Brahma.ai.
Portfolio site: martinanderson.ai
Contact: martin@martinanderson.ai