Γιατί τα Μοντέλα Γλώσσας Χάνουν τον Δρόμο τους στη Συνομιλία

Μια νέα έρευνα από την Microsoft Research και τη Salesforce διαπιστώνει ότι ακόμη και τα πιο ικανά Μεγάλα Μοντέλα Γλώσσας (LLMs) διαλύονται όταν οι οδηγίες δίνονται σε στάδια αντί να δίνονται όλα μαζί. Οι ερευνητές βρήκαν ότι η απόδοση μειώνεται κατά μέσο όρο 39% σε έξι εργασίες όταν μια πρόκληση διασπείρεται σε πολλαπλά στάδια:

Μια συνομιλία σε ένα στάδιο (αριστερά) αποφέρει τα καλύτερα αποτελέσματα, αλλά είναι ακατάλληλη για τον τελικό χρήστη. Μια συνομιλία σε πολλαπλά στάδια (δεξιά) βρίσκει ακόμη και τα υψηλότερα μοντέλα LLMs να χάνουν την αποτελεσματική έμπνευση στη συνομιλία. Πηγή: https://arxiv.org/pdf/2505.06120

Περισσότερο εντυπωσιακά, η αξιοπιστία των απαντήσεων παίρνει μια πτώση, με prestigioso μοντέλα όπως ChatGPT-4.1 και Gemini 2.5 Pro oscillating μεταξύ σχεδόν τέλειων απαντήσεων και φανερών αποτυχιών, ανάλογα με τον τρόπο που η ίδια εργασία εκφράζεται: περαιτέρω, η συνεχή απόδοση μπορεί να μειωθεί περισσότερο από το μισό στη διαδικασία.

Για να εξερευνήσουν αυτή τη συμπεριφορά, η έρευνα εισάγει μια μέθοδο που ονομάζεται sharding*, η οποία διασπά τις πλήρως καθορισμένες προκλήσεις σε μικρότερα θραύσματα και τα απελευθερώνει ένα-ένα σε μια συνομιλία.

Στις πιο βασικές λέξεις, αυτό είναι ισοδύναμο με το να δίνεις μια συνοχή και μια πλήρη εντολή σε ένα εστιατόριο, αφήνοντας τον σερβιτόρο με τίποτα να κάνει παρά να αναγνωρίσει την αίτηση: ή αλλιώς, να επιτεθεί στο ζήτημα συνεργατικά:

Δύο ακραίες εκδοχές μιας συνομιλίας σε ένα εστιατόριο (δεν προέρχονται από το νέο έγγραφο, για εικονογραφική χρήση μόνο).

Για έμφαση, το παραπάνω παράδειγμα μπορεί να βάλει τον πελάτη σε ένα αρνητικό φως. Αλλά η βασική ιδέα που απεικονίζεται στη δεύτερη στήλη είναι αυτή της συναλλακτικής ανταλλαγής που διευκρινίζει ένα σύνολο προβλημάτων, πριν από την αντιμετώπιση των προβλημάτων – φαινομενικά ένας ρητός και εύλογος τρόπος προσέγγισης μιας εργασίας.

Αυτή η ρύθμιση αντικατοπτρίζεται στη νέα εργασία με την προσεγγιστική, sharded προσέγγιση της αλληλεπίδρασης LLM. Οι ερευνητές σημειώνουν ότι τα LLMs συχνά παράγουν υπερβολικά μακρές απαντήσεις και στη συνέχεια συνεχίζουν να βασίζονται στις δικές τους ερμηνείες ακόμη και μετά το που αυτές οι ερμηνείες έχουν αποδειχθεί λανθασμένες ή άσχετες. Αυτή η τάση, σε συνδυασμό με άλλα παράγοντες, μπορεί να προκαλέσει στο σύστημα να χάσει την πίστη στη συναλλαγή ολόκληρη.

Στην πραγματικότητα, οι ερευνητές σημειώνουν αυτό που πολλοί από εμάς έχουμε βρει ανεκδοτικά – ότι ο καλύτερος τρόπος για να επαναφέρετε τη συνομιλία στη σωστή πορεία είναι να ξεκινήσετε μια νέα συνομιλία με το LLM.

‘Εάν μια συνομιλία με ένα LLM δεν οδήγησε στα αναμενόμενα αποτελέσματα, η έναρξη μιας νέας συνομιλίας που επαναλαμβάνει τις ίδιες πληροφορίες μπορεί να αποφέρει σημαντικά καλύτερα αποτελέσματα από τη συνέχιση μιας συνεχιζόμενης συνομιλίας.’

‘Αυτό συμβαίνει επειδή τα τρέχοντα LLMs μπορούν να χάσουν τον δρόμο τους στη συνομιλία, και τα πειράματά μας δείχνουν ότι η επιμονή σε μια συνομιλία με το μοντέλο είναι ανεπιτυχής. Επιπλέον, поскольку τα LLMs παράγουν κείμενο με τυχαίο τρόπο, μια νέα συνομιλία μπορεί να οδηγήσει σε βελτιωμένα αποτελέσματα.’

Οι ερευνητές αναγνωρίζουν ότι συστήματα όπως Autogen ή LangChain μπορούν να βελτιώσουν τα αποτελέσματα, ενεργώντας ως ερμηνευτικά στρώματα μεταξύ του τελικού χρήστη και του LLM, επικοινωνώντας μόνο με το LLM όταν έχουν συλλέξει αρκετές ‘sharded’ απαντήσεις για να συνδυαστούν σε μια seule συνοχή (η οποία ο τελικός χρήστης δεν θα εκτεθεί σε αυτήν).

Ωστόσο, οι ερευνητές υποστηρίζουν ότι ένα ξεχωριστό επίπεδο αφαίρεσης δεν πρέπει να είναι απαραίτητο, ή να χτιστεί απευθείας στο πηγή LLM:

‘Μια επιχείρηση μπορεί να γίνει ότι οι ικανότητες πολλαπλού σταδίου δεν είναι μια απαραίτητη λειτουργία των LLMs, καθώς μπορεί να ανατεθεί σε ένα πλαίσιο πράκτορα. Με άλλα λόγια, χρειαζόμαστε εγγενή υποστήριξη πολλαπλού σταδίου σε LLMs όταν ένα πλαίσιο πράκτορα μπορεί να διευθύνει τις αλληλεπιδράσεις με τους χρήστες και να εκμεταλλευτεί τα LLMs μόνο ως оперατορές ενός σταδίου;…’

Αλλά μετά από δοκιμή της πρότασης σε μια σειρά παραδειγμάτων, συμπεραίνουν:

‘[Εξαρτώντας] από ένα πλαίσιο πράκτορα για την επεξεργασία της πληροφορίας μπορεί να είναι περιοριστικό, και υποστηρίζουμε ότι τα LLMs πρέπει να υποστηρίζουν εγγενώς την αλληλεπίδραση πολλαπλού σταδίου’

Αυτό το ενδιαφέρον νέο έγγραφο έχει τον τίτλο LLMs Get Lost In Multi-Turn Conversation, και προέρχεται από τέσσερις ερευνητές από την Microsoft Research και τη Salesforce,

Θραυσματοποιημένες Συνομιλίες

Η νέα μέθοδος πρώτα διασπά τις συμβατικές οδηγίες ενός σταδίου σε μικρότερα θραύσματα, σχεδιασμένα να εισαχθούν σε κρίσιμους моментούς κατά τη διάρκεια μιας αλληλεπίδρασης LLM, μια δομή που αντικατοπτρίζει τον εξερευνητικό, εναλλακτικό τρόπο εμπλοκής που παρατηρείται σε συστήματα όπως το ChatGPT ή το Google Gemini.

Κάθε αρχική οδηγία είναι μια seule, αυτοπεριεχόμενη πρόκληση που παραδίδει ολόκληρη την εργασία σε ένα στάδιο, συνδυάζοντας μια υψηλού επιπέδου ερώτηση, υποστηρικτικό контέκστ και οποιαδήποτε σχετικές προϋποθέσεις. Η θραυσματοποιημένη εκδοχή διασπά αυτή σε πολλαπλά μικρότερα μέρη, με κάθε θραύσμα να προσθέτει μόνο ένα κομμάτι πληροφορίας:

Ζευγαρωμένες οδηγίες που δείχνουν (α) μια πλήρη πρόκληση που παραδίδεται σε ένα στάδιο και (β) την θραυσματοποιημένη εκδοχή που χρησιμοποιείται για να προσομοιώσει μια ακαθόριστη, πολλαπλού σταδίου αλληλεπίδραση. Σημαντικά, κάθε εκδοχή παραδίδει την ίδια πληροφοριακή φόρτωση.

Το πρώτο θραύσμα εισάγει πάντα τον κύριο στόχο της εργασίας, ενώ τα υπόλοιπα παρέχουν διευκρινιστικές λεπτομέρειες. Μαζί, παραδίδουν την ίδια περιεχόμενο όπως η αρχική οδηγία, αλλά διασκορπισμένα φυσικά σε πολλαπλά στάδια στη συνομιλία.

Κάθε προσομοιωμένη συνομιλία αναπτύσσεται μεταξύ τριών στοιχείων: του βοηθού, του μοντέλου υπό αξιολόγηση: του χρήστη, ενός προσομοιωμένου πράκτορα με πρόσβαση στην πλήρη οδηγία σε θραυσματοποιημένη μορφή: και του συστήματος, που επιτηρεί και βαθμολογεί την ανταλλαγή.

Η συνομιλία αρχίζει με τον χρήστη που αποκαλύπτει το πρώτο θραύσμα και τον βοηθό που απαντά ελεύθερα. Το σύστημα στη συνέχεια ταξινομεί αυτή την απάντηση σε μια από τις πολλές κατηγορίες, όπως μια αίτηση διευκρίνισης ή μια πλήρης προσπάθεια απάντησης.

Εάν το μοντέλο κάνει μια προσπάθεια απάντησης, ένα ξεχωριστό στοιχείο εξάγει μόνο το σχετικό span για αξιολόγηση, αγνοώντας οποιοδήποτε περιβάλλον κείμενο. Σε κάθε νέο στάδιο, ο χρήστης αποκαλύπτει ένα επιπλέον θραύσμα, προκαλώντας μια άλλη απάντηση. Η ανταλλαγή συνεχίζεται μέχρι να πάρει το μοντέλο την απάντηση σωστά ή μέχρι να μην υπάρχουν πλέον θραύσματα για να αποκαλυφθούν:

Διάγραμμα μιας προσομοιωμένης συνομιλίας με θραύσματα, με το αξιολογούμενο μοντέλο να υπογραμμίζεται με κόκκινο.

Πρώιμες δοκιμές έδειξαν ότι τα μοντέλα συχνά ρωτούσαν για πληροφορίες που δεν είχαν μοιραστεί ακόμη, οπότε οι ερευνητές εγκατέλειψαν την ιδέα της αποκάλυψης θραυσμάτων σε μια σταθερή σειρά. Αντίθετα, ένας προσομοιωτής χρησιμοποιήθηκε για να αποφασίσει ποιο θραύσμα να αποκαλυφθεί επόμενο, με βάση τον τρόπο που προχωρούσε η συνομιλία.

Ο προσομοιωτής χρήστη, που εφαρμόστηκε χρησιμοποιώντας το GPT-4o-mini, είχε πλήρη πρόσβαση και στην ολόκληρη οδηγία και στην ιστορία της συνομιλίας, με την Aufgabe να αποφασίσει, σε κάθε στάδιο, ποιο θραύσμα να αποκαλυφθεί επόμενο, με βάση τον τρόπο που εξελισσόταν η ανταλλαγή.

Ο προσομοιωτής χρήστη επανασυντάσσει επίσης κάθε θραύσμα για να διατηρήσει τη ροή της συνομιλίας, χωρίς να αλλάξει τη σημασία. Αυτό επέτρεψε στην προσομοίωση να αντανακλούν τη ‘δίδου-πάρου’ της πραγματικής διαλόγου, ενώ διατηρούσε τον έλεγχο του σχήματος της εργασίας.

Πριν από την έναρξη της συνομιλίας, ο βοηθός λαμβάνει μόνο τις βασικές πληροφορίες που χρειάζονται για την ολοκλήρωση της εργασίας, όπως ένα σχήμα βάσης δεδομένων ή μια αναφορά API. Δεν του λένε ότι οι οδηγίες θα διασπαστούν, και δεν τον καθοδηγούν προς κάποιο συγκεκριμένο τρόπο για να χειριστεί τη συνομιλία. Αυτό γίνεται με πρόθεση: στην πραγματική χρήση, τα μοντέλα σχεδόν ποτέ δεν λένε ότι μια πρόκληση θα είναι ατελής ή θα ενημερωθεί με τον καιρό, και η αφαίρεση αυτού του контέκστου βοηθά την προσομοίωση να αντανακλούν τον τρόπο με τον οποίο το μοντέλο συμπεριφέρεται σε ένα πιο ρεαλιστικό контέκστ.

Το GPT-4o-mini χρησιμοποιήθηκε επίσης για να αποφασίσει πώς θα ταξινομηθούν οι απαντήσεις του μοντέλου και να βγάλει οποιαδήποτε τελικές απαντήσεις από αυτές τις απαντήσεις. Αυτό βοήθησε την προσομοίωση να παραμείνει ευέλικτη, αλλά εισήγαγε περιστασιακές λάθη: ωστόσο, μετά από έλεγχο εκατοντάδων συνομιλιών με το χέρι, οι ερευνητές βρήκαν ότι λιγότερες από πέντε τοις εκατό είχαν προβλήματα, και λιγότερες από δύο τοις εκατό έδειξαν μια αλλαγή στο αποτέλεσμα λόγω αυτών, και τις θεωρούσαν μια χαμηλή enough λάθος ποσοστό εντός των παραμέτρων του έργου.

Σενάρια Προσομοίωσης

Οι ερευνητές χρησιμοποίησαν πέντε τύπους προσομοίωσης για να δοκιμάσουν τη συμπεριφορά του μοντέλου υπό διαφορετικές συνθήκες, κάθε一个 από τους οποίους ήταν μια παραλλαγή του τρόπου και του χρόνου που αποκαλύπτονται μέρη της οδηγίας.

Στη ρύθμιση Πλήρης, το μοντέλο λαμβάνει την ολόκληρη οδηγία σε ένα στάδιο. Αυτό αντιπροσωπεύει το τυπικό μορφότυπο αναφοράς και χρησιμεύει ως η βάση επιδόσεων.

Η ρύθμιση Θραυσματοποιημένη διασπά την οδηγία σε πολλαπλά μέρη και τα παραδίδει ένα-ένα, προσομοιώνοντας μια πιο ρεαλιστική, ακαθόριστη συνομιλία. Αυτή είναι η κύρια ρύθμιση που χρησιμοποιείται για να δοκιμάσει πώς τα μοντέλα χειρίζονται την πολλαπλού σταδίου είσοδο.

Στη ρύθμιση Συνδεμένο, τα θραύσματα συνδέονται πίσω σε μια seule λίστα, διατηρώντας την ορολογία τους αλλά αφαιρώντας τη δομή του σταδίου. Αυτό βοηθά να απομονωθεί η επίδραση της θραυσματοποίησης από την επανασύνταξη ή την απώλεια περιεχομένου.

Η ρύθμιση Επανάληψη τρέχει όπως η Θραυσματοποιημένη, αλλά προσθέτει ένα τελικό στάδιο όπου όλες οι προηγούμενες θραύσματα επαναλαμβάνονται πριν το μοντέλο δώσει μια τελική απάντηση. Αυτό δοκιμάζει εάν μια περίληψη πρόκλησης μπορεί να βοηθήσει στην ανάκτηση της χαμένης πίστης.

Τέλος, Χιονόπτωση πάει παραπέρα, επαναλαμβάνοντας όλα τα προηγούμενα θραύσματα σε κάθε στάδιο, διατηρώντας την πλήρη οδηγία ορατή καθώς η συνομιλία εξελίσσεται – και προσφέροντας μια πιο συγχωρητική δοκιμή της πολλαπλού σταδίου ικανότητας.

Τύποι προσομοίωσης με βάση τις θραυσματοποιημένες οδηγίες. Μια πλήρως καθορισμένη πρόκληση διασπάται σε μικρότερα μέρη, τα οποία μπορούν στη συνέχεια να χρησιμοποιηθούν για να προσομοιώσουν είτε μονό-στάδιο (Πλήρης, Συνδεμένο) είτε πολλαπλού σταδίου (Θραυσματοποιημένη, Επανάληψη, Χιονόπτωση) συνομιλίες, ανάλογα με το πόσο γρήγορα αποκαλύπτεται η πληροφορία.

Εργασίες και Μέτρα

Εξέλεξαν έξι εργασίες παραγωγής για να καλύψουν τόσο το προγραμματισμό όσο και το φυσικό γλωσσικό τομέα: προκλήσεις κώδικα λήφθηκαν από HumanEval και LiveCodeBench: ερωτήσεις Text-to-SQL προήλθαν από Spider: κλήσεις API κατασκευάστηκαν χρησιμοποιώντας δεδομένα από το Berkeley Function Calling Leaderboard: στοιχειώδεις μαθηματικές εργασίες παρέχθηκαν από GSM8K: εργασίες καπελώματος πινάκων βασίστηκαν σε ToTTo: και περίληψη πολλαπλών εγγράφων προήλθαν από το Summary of a Haystack dataset.

Η απόδοση του μοντέλου μετρήθηκε χρησιμοποιώντας τρία βασικά μέτρα: μέση απόδοση, ικανότητα, και αξιοπιστία.

Μέση απόδοση κατέγραψε πώς καλά έκανε ένα μοντέλο συνολικά σε πολλαπλά προσπάθειες: ικανότητα αντανακλούσε τα καλύτερα αποτελέσματα που μπορούσε να επιτύχει ένα μοντέλο, με βάση τις υψηλότερες βαθμολογίες εξόδου: και αξιοπιστία μετρούσε πόσο ποικίλα ήταν αυτά τα αποτελέσματα, με μεγαλύτερες διακυμάνσεις μεταξύ των καλύτερων και των χειρότερων αποτελεσμάτων που δείχνουν λιγότερο σταθερή συμπεριφορά.

Όλα τα σκορ τοποθετήθηκαν σε μια κλίμακα 0-100 για να διασφαλιστεί η συνέπεια σε όλες τις εργασίες, και τα μέτρα υπολογίστηκαν για κάθε οδηγία – και στη συνέχεια μέσος όρος για να παρέχει μια γενική εικόνα της απόδοσης του μοντέλου.

Έξι θραυσματοποιημένες εργασίες που χρησιμοποιήθηκαν στα πειράματα, καλύπτοντας τόσο το προγραμματισμό όσο και τη φυσική γλωσσική παραγωγή. Κάθε εργασία εμφανίζεται με μια πλήρη οδηγία και την θραυσματοποιημένη εκδοχή της. Μεταξύ 90 και 120 οδηγιών προσαρμόστηκαν από καθιερωμένα βENCHMARKS για κάθε εργασία.

Υποψήφιοι και Δοκιμές

Στις αρχικές προσομοιώσεις (με εκτιμώμενο κόστος $5000), 600 οδηγίες που εκτείνονταν σε έξι εργασίες θραυσματοποιήθηκαν και χρησιμοποιήθηκαν για να προσομοιώσουν τρεις τύπους συνομιλίας: πλήρης, συνδεμένο, και θραυσματοποιημένη. Για κάθε συνδυασμό μοντέλου, οδηγίας και τύπου προσομοίωσης, δέκα συνομιλίες τρέχθηκαν, παράγοντας πάνω από 200.000 προσομοιώσεις συνολικά – ένα σχήμα που επέτρεψε να καταγραφεί τόσο η συνολική απόδοση όσο και πιο sâuστόχαστα μέτρα ικανότητας και αξιοπιστίας.

Δοκιμάστηκαν δεκαπέντε μοντέλα, που εκτείνονταν σε ένα ευρύ φάσμα παρόχων και αρχιτεκτονικών: τα μοντέλα της OpenAI GPT-4o (έκδοση 2024-11-20), GPT-4o-mini (2024-07-18), GPT-4.1 (2025-04-14), και το μοντέλο σκέψης o3 (2025-04-16).

Τα μοντέλα της Anthropic ήταν Claude 3 Haiku (2024-03-07) και Claude 3.7 Sonnet (2025-02-19), πουเขtaient μέσω του Amazon Bedrock.

Η Google συνεισέφερε Gemini 2.5 Flash (preview-04-17) και Gemini 2.5 Pro (preview-03-25). Τα μοντέλα της Meta ήταν Llama 3.1-8B-Instruct και Llama 3.3-70B-Instruct, καθώς και Llama 4 Scout-17B-16E, μέσω του Together AI.

Οι υπόλοιπες συμμετοχές ήταν OLMo 2 13B, Phi-4, και Command-A, όλα προσεγγίστηκαν τοπικά μέσω Ollama ή Cohere API: και Deepseek-R1, που προσεγγίστηκε μέσω του Amazon Bedrock.

Για τα δύο ‘σκέψη’ μοντέλα (o3 και R1), όρια token αυξήθηκαν σε 10.000 για να φιλοξενήσουν μεγαλύτερες αλυσίδες σκέψης:

Μέσες βαθμολογίες απόδοσης για κάθε μοντέλο σε έξι εργασίες: κώδικας, βάση δεδομένων, ενέργειες, δεδομένα-σε-κείμενο, μαθηματικά, και περίληψη. Αποτελέσματα εμφανίζονται για τρεις τύπους προσομοίωσης: πλήρης, συνδεμένο, και θραυσματοποιημένη. Μοντέλα ταξινομούνται με βάση την μέση βαθμολογία πλήρους ρύθμισης. Σκίαση αντανακλά το βαθμό της πτώσης της απόδοσης από την πλήρη ρύθμιση, με τις δύο τελευταίες στήλες που αναφέρουν μέσες πτώσεις για συνδεμένο και θραυσματοποιημένο σχετικά με την πλήρη ρύθμιση.

Σχετικά με αυτά τα αποτελέσματα, οι ερευνητές δηλώνουν^†:

‘Σε υψηλό επίπεδο, κάθε μοντέλο βλέπει την απόδοσή του να χειροτερεύει σε κάθε εργασία όταν συγκρίνουμε την πλήρη και τη θραυσματοποιημένη απόδοση, με μια μέση χειροτέρευση της τάξης του -39%. Ονομάζουμε αυτό το φαινόμενο Χαμένοι στη Συνομιλία: μοντέλα που επιτύγχαναν αστρικές (90%+) αποδόσεις στο εργαστήριο-όμοιο περιβάλλον της πλήρως καθορισμένης, μονό-σταδίου συνομιλίας αγωνίζονται στις ίδιες εργασίες σε ένα πιο ρεαλιστικό περιβάλλον όταν η συνομιλία είναι ακαθόριστη και πολλαπλού σταδίου.’

Συνδεμένο σκορ μέσος όρος 95% του πλήρους, που δείχνει ότι η πτώση της απόδοσης στη θραυσματοποιημένη ρύθμιση δεν μπορεί να εξηγηθεί από απώλεια πληροφορίας. Μοντέλα όπως Llama3.1-8B-Instruct, OLMo-2-13B, και Claude 3 Haiku έδειξαν πιο έντονη χειροτέρευση κάτω από συνδεμένο, που δείχνει ότι τα μικρότερα μοντέλα είναι γενικά λιγότερο ανθεκτικά στην επανασύνταξη από τα μεγαλύτερα.

Οι ερευνητές παρατηρούν^†:

‘Εκπληκτικά, περισσότερα μοντέλα (Claude 3.7 Sonnet, Gemini 2.5, GPT-4.1) χάνουν τον δρόμο τους στη συνομιλία, συγκριτικά με τα μικρότερα μοντέλα (Llama3.1-8B-Instruct, Phi-4), με μέσες χειροτερεύσεις της τάξης του 30-40%. Αυτό οφείλεται εν μέρει στις ορισμοί μετρήσεων.既然 τα μικρότερα μοντέλα επιτύγχαναν χαμηλότερα απόλυτα σκορ στη Πλήρης ρύθμιση, είχαν λιγότερο περιθώριο για χειροτέρευση από τα καλύτερα μοντέλα.

‘Σύντομα, δεν έχει σημασία πόσο ισχυρή είναι η απόδοση μονό-σταδίου ενός LLM: παρατηρούμε μεγάλες χειροτερεύσεις της απόδοσης στη ρύθμιση πολλαπλού σταδίου.’

Η αρχική δοκιμή δείχνει ότι κάποια μοντέλα αντέχουν καλύτερα σε συγκεκριμένες εργασίες: Command-A στις ενέργειες, Claude 3.7 Sonnet, και GPT-4.1 στον κώδικα: και Gemini 2.5 Pro στα δεδομένα-σε-κείμενο, που δείχνει ότι η ικανότητα πολλαπλού σταδίου ποικίλλει ανά τομέα. Μοντέλα σκέψης όπως o3 και Deepseek-R1 δεν ήταν καλύτερα συνολικά, vielleicht επειδή οι μακρύτερες απαντήσεις τους εισήγαγαν περισσότερες υποθέσεις, οι οποίες είχαν την τάση να μπερδεύουν τη συνομιλία.

Αξιοπιστία

Η σχέση μεταξύ ικανότητας και αξιοπιστίας, σαφής στις μονό-σταδιο προσομοιώσεις, φαίνεται να διαλύεται κάτω από συνθήκες πολλαπλού σταδίου. Ενώ η ικανότητα έπεσε μόνο μετρίως, η αβεβαιότητα διπλασιαζόταν κατά μέσο όρο. Μοντέλα που ήταν σταθερά στις πλήρεις προκλήσεις, όπως GPT-4.1 και Gemini 2.5 Pro, έγιναν τόσο ανώμαλα όσο και τα αδύναμα μοντέλα όπως Llama3.1-8B-Instruct ή OLMo-2-13B μια φορά που η οδηγία θραυσματοποιήθηκε.

Επισκόπηση ικανότητας και αβεβαιότητας όπως εμφανίζεται σε ένα box plot (α), ακολουθούμενο από αποτελέσματα αξιοπιστίας από πειράματα με δεκαπέντε μοντέλα (β), και αποτελέσματα από τη σταδιακή θραυσματοποίηση δοκιμή όπου οι οδηγίες χωρίστηκαν σε ένα έως οκτώ θραύσματα (γ).

Οι απαντήσεις του μοντέλου συχνά ποικίλλουν τόσο πολύ όσο 50 πόντους στην ίδια εργασία, ακόμη και όταν τίποτα νέο δεν προστέθηκε, που δείχνει ότι η πτώση της απόδοσης δεν οφείλεται σε έλλειψη ικανότητας, αλλά στο ότι το μοντέλο γίνεται ολοένα και πιο ασταθές σε κάθε στάδιο.

Το έγγραφο δηλώνει^†:

‘[Αν και] καλύτερα μοντέλα τείνουν να έχουν ελαφρώς υψηλότερη ικανότητα πολλαπλού σταδίου, όλα τα μοντέλα τείνουν να έχουν παρόμοια επίπεδα αβεβαιότητας. Με άλλα λόγια, σε πολλαπλού σταδίου, ακαθόριστες ρυθμίσεις, όλα τα μοντέλα που δοκιμάζουμε εμφανίζουν πολύ υψηλή αβεβαιότητα, με την απόδοση να χειροτερεύει 50 πο인트 κατά μέσο όρο μεταξύ της καλύτερης και της χειρότερης προσομοιωμένης εκτέλεσης για μια σταθερή οδηγία.’

Για να δοκιμάσουν εάν η χειροτέρευση της απόδοσης ήταν συνδεδεμένη με τον αριθμό των σταδίων, οι ερευνητές έτρεξαν μια σταδιακή θραυσματοποίηση πείραμα, χωρίζοντας κάθε οδηγία σε ένα έως οκτώ θραύσματα (βλ. δεξιά στήλη στο παραπάνω εικόνα).

Όσο αυξανόταν ο αριθμός των θραυσμάτων, η αβεβαιότητα αυξανόταν σταθερά, επιβεβαιώνοντας ότι ακόμη και μικρές αύξησεις του αριθμού των σταδίων έκαναν τα μοντέλα πιο ασταθή. Η ικανότητα παρέμεινε größtenteils αμετάβλητη, ενισχύοντας ότι το ζήτημα έγκειται στην συνέπεια, όχι στην ικανότητα.

Έλεγχος Θερμοκρασίας

Μια ξεχωριστή σειρά πειραμάτων δοκιμάζει εάν η αβεβαιότητα ήταν απλώς ένα προϊόν της τυχαίας συμπεριφοράς. Για να το κάνουν αυτό, οι ερευνητές ποικίλλουν την ρύθμιση θερμοκρασίας και του βοηθού και του προσομοιωτή χρήστη σε τρεις τιμές: 1.0, 0.5, και 0.0.

Στις μονό-σταδιο μορφές όπως πλήρης και συνδεμένο, η μείωση της θερμοκρασίας του βοηθού βελτίωσε σημαντικά την αξιοπιστία, μειώνοντας την ποικιλία μέχρι και 80%: αλλά στη θραυσματοποιημένη ρύθμιση, η ίδια παρέμβαση είχε μικρή επίδραση:

Σκορ αβεβαιότητας για διαφορετικά συνδυασμούς θερμοκρασίας βοηθού και προσομοιωτή χρήστη σε πλήρεις, συνδεδεμένες και θραυσματοποιημένες ρυθμίσεις, με χαμηλότερες τιμές που δείχνουν μεγαλύτερη σταθερότητα της απάντησης.

Ακόμη και όταν και ο βοηθός και ο χρήστης ορίστηκαν σε μηδενική θερμοκρασία, η αβεβαιότητα παρέμεινε υψηλή, με το GPT-4o να δείχνει ποικιλία γύρω στο 30%, που δείχνει ότι η αστάθεια που παρατηρείται σε πολλαπλού σταδίου συνομιλίες δεν είναι απλώς στохαστική θόρυβος, αλλά μια δομική αδυναμία του τρόπου με τον οποίο τα μοντέλα χειρίζονται τη θραυσματοποιημένη είσοδο.

Επιπτώσεις

Οι ερευνητές γράφουν για τις επιπτώσεις των ευρημάτων τους σε ασυνήθιστα μεγάλο μήκος στο τέλος του εγγράφου, υποστηρίζοντας ότι η ισχυρή απόδοση μονό-σταδίου δεν εγγυάται την αξιοπιστία πολλαπλού σταδίου, και προειδοποιούν κατά της υπερεξάρτησης από πλήρως καθορισμένα βENCHMARKS όταν αξιολογούν την πραγματική ετοιμότητα (καθώς τέτοιες βENCHMARKS mask την αστάθεια σε πιο φυσικές, θραυσματοποιημένες αλληλεπιδράσεις).

Επίσης, προτείνουν ότι η αβεβαιότητα δεν είναι απλώς ένα δείγμα artifact, αλλά μια βασική περιορισμός του τρόπου με τον οποίο τα τρέχοντα μοντέλα επεξεργάζονται την εξελισσόμενη είσοδο, και προτείνουν ότι αυτό ανεβάζει ανησυχίες για τα πλαίσια πράκτορα, τα οποία εξαρτώνται από τη συνεχιζόμενη σκέψη σε κάθε στάδιο.

Τέλος, υποστηρίζουν ότι η ικανότητα πολλαπλού σταδίου πρέπει να αντιμετωπίζεται ως μια βασική ικανότητα των LLMs, όχι κάτι που ανατίθεται σε εξωτερικά συστήματα.

Οι ερευνητές σημειώνουν ότι τα αποτελέσματά τους πιθανότατα υποτιμούν την πραγματική κλίμακα του προβλήματος, και επικεντρώνονται στην ιδανική συνθήκη της δοκιμής: ο προσομοιωτής χρήστη στη ρύθμιση τους είχε πλήρη πρόσβαση στην οδηγία και μπορούσε να αποκαλύψει θραύσματα σε μια βέλτιστη σειρά, η οποία έδωσε στον βοηθό μια ακαδημαϊκά ευνοϊκή συνθήκη (σε πραγματική χρήση, οι χρήστες συχνά παρέχουν θραυσματοποιημένες ή αμφίβολες προκλήσεις χωρίς να γνωρίζουν τι χρειάζεται το μοντέλο να ακούσει επόμενο).

Επιπλέον, ο βοηθός αξιολογήθηκε αμέσως μετά από κάθε στάδιο, πριν από την πλήρη ανάπτυξη της συνομιλίας, αποτρέποντας την αργότερη σύγχυση ή αυτο-αντίφαση από το να ποινικοποιηθεί, το οποίο θα χειροτέρευε την απόδοση. Αυτές οι επιλογές, αν και απαραίτητες για τον έλεγχο του πειράματος, σημαίνουν ότι τα κενά αξιοπιστίας που παρατηρήθηκαν στην πρακτική χρήση είναι πιθανότατα ακόμη μεγαλύτερα από αυτά που αναφέρθηκαν.

Συμπεραίνουν:

‘[Πιστεύουμε ότι] οι διεξαχθείσες προσομοιώσεις αντιπροσωπεύουν ένα ευνοϊκό έδαφος δοκιμής για την ικανότητα πολλαπλού σταδίου των LLMs. Λόγω των υπερβολικά απλοποιημένων συνθηκών της προσομοίωσης, πιστεύουμε ότι η χειροτέρευση που παρατηρήθηκε στα πειράματα είναι πιθανότατα μια υποτιμολόγηση της αβεβαιότητας των LLMs, και πόσο συχνά τα LLMs χάνουν τον δρόμο τους στη συνομιλία σε πραγματικές ρυθμίσεις.‘

Συμπέρασμα

Όποιος έχει ξοδέψει σημαντικό χρόνο με ένα LLM θα αναγνωρίσει πιθανότατα τα ζητήματα που διατυπώνονται εδώ, από πρακτική εμπειρία: και οι περισσότεροι από εμάς, φαντάζομαι, έχουν ενσυνείδητα εγκαταλείψει ‘χαμένες’ συνομιλίες LLM για νέες, με την ελπίδα ότι το LLM μπορεί να ‘ξεκινήσει από την αρχή’ και να σταματήσει να εμμονεύει με υλικό που προέκυψε σε μια μακρά, στριφνή και ολοένα και πιο ενοχλητική ανταλλαγή.

Είναι ενδιαφέρον να σημειωθεί ότι η ρίψη περισσότερου контέκστου στο πρόβλημα μπορεί να μην το λύσει: και να παρατηρήσει ότι το έγγραφο ανεβάζει περισσότερα ερωτήματα από αυτά που παρέχει απαντήσεις (εκτός από τους τρόπους για να παραπηδήξει το πρόβλημα).

* Παραπλανητικά, αυτό δεν σχετίζεται με τη συμβατική σημασία του ‘sharding’ στο AI.

† Διευκρινίσεις των συγγραφέων.

Πρώτη δημοσίευση Δευτέρα, 12 Μαΐου 2025