Η Ai2 κυκλοφορεί το StateBench για τη μέτρηση της παρακολούθησης κατάστασης σε μεγάλα συμφραζόμενα

Το Allen Institute for AI (Ai2) παρουσίασε το StateBench στις 3 Νοεμβρίου 2026, δημοσιεύοντας ένα σύνολο αξιολόγησης τεσσάρων επιπέδων, ένα σύνολο δεδομένων και κώδικα για να ελέγξει αν τα γλωσσικά μοντέλα μπορούν να παρακολουθούν μεταβαλλόμενες μεταβλητές σε μεγάλα έγγραφα. Η Ai2 ανέφερε ότι και τα τέσσερα μοντέλα αιχμής που δοκίμασε απέτυχαν στις δυσκολότερες μορφές παρακολούθησης κατάστασης καθώς μεγάλωναν οι είσοδοι.

Το συνοδευτικό άρθρο των Jackson Petty, William Merrill και Ashish Sabharwal παρουσιάζει την εργασία ως απάντηση σε ένα κενό στη μέτρηση. Οι υπάρχουσες δοκιμές τείνουν να επικεντρώνονται στο πρόβλημα λέξεων S₅, μια δύσκολη εργασία που βασίζεται στην παρακολούθηση διαδοχικών ανταλλαγών μεταξύ πέντε αντικειμένων, ενώ απλούστερες μορφές μπορεί να αντιπροσωπεύουν καλύτερα πρακτικές εργασίες και να αναδεικνύουν ήδη διαφορές μεταξύ αρχιτεκτονικών. Αντίθετα, το StateBench διαχωρίζει την παρακολούθηση κατάστασης ανάλογα με το είδος ενημέρωσης που πρέπει να ακολουθήσει ένα μοντέλο.

Τέσσερα επίπεδα ενημερώσεων κατάστασης

Στο πρώτο επίπεδο, οι εργασίες r-trivial χρησιμοποιούν αμετάβλητες αναθέσεις, επομένως το μοντέλο χρειάζεται μόνο να ανακτήσει την αρχική τιμή μιας μεταβλητής. Οι απεριοδικές εργασίες επιτρέπουν την επανάθεση τιμών, οπότε αρκεί η πιο πρόσφατη ανάθεση. Οι επιλύσιμες εργασίες προσθέτουν αυτοαναφορικές ενημερώσεις, όπως x = x + 5, κάτι που απαιτεί να μεταφέρεται κάθε αλλαγή στα επόμενα βήματα. Οι γενικές πεπερασμένες εργασίες προσθέτουν αναθέσεις μέσω αναφοράς, συμπεριλαμβανομένων των ανταλλαγών, οι οποίες δημιουργούν εξαρτήσεις μεταξύ μεταβλητών.

Οι κατηγορίες έχουν επίσης τυπική βάση στη θεωρία Krohn–Rhodes, ένα αλγεβρικό πλαίσιο που αναλύει τα προβλήματα παρακολούθησης πεπερασμένων καταστάσεων σε στοιχειώδεις πράξεις. Για ελεγχόμενες συγκρίσεις, οι ερευνητές παράγουν τις άλλες παραλλαγές από μία γενική πεπερασμένη ακολουθία, διατηρώντας σταθερό τον αριθμό των μεταβλητών, των διακριτών τιμών και των θέσεων ανάθεσης και αλλάζοντας μόνο τη λειτουργία ενημέρωσης. Το σύνολο αξιολόγησης καλύπτει από 8 έως 64.000 αναθέσεις, και κάθε ακολουθία αντιστοιχίζει μία σωστή τελική κατάσταση με τέσσερις λανθασμένες υποψήφιες απαντήσεις για παραγωγική αξιολόγηση ή αξιολόγηση πολλαπλής επιλογής. Τα προβλήματα παρουσιάζονται επίσης σε διάφορες μορφές κειμένου, μεταξύ άλλων ως κώδικας ακεραίων και ως κελιά υπολογιστικών φύλλων, για να ελεγχθεί αν η μορφή παρουσίασης επηρεάζει το αποτέλεσμα.

Τα προεκπαιδευμένα μοντέλα δυσκολεύονται καθώς αυξάνονται οι εξαρτήσεις

Η αξιολόγηση ανοιχτών μοντέλων της Ai2 περιλάμβανε τον μετασχηματιστή Olmo 3 με 7 δισεκατομμύρια παραμέτρους και το Olmo Hybrid, το οποίο προσθέτει επίπεδα Gated DeltaNet, καθώς και μικρότερα συστήματα εκπαιδευμένα στα ίδια δεδομένα. Κανένα δεν είχε εκτεθεί κατά την εκπαίδευση σε συμφραζόμενα μεγαλύτερα από 64.000 tokens, ενώ τα περισσότερα δοκιμάστηκαν σε μεγαλύτερα μήκη. Η Ai2 ανέφερε ότι σχεδόν όλα είχαν καλές επιδόσεις στις εργασίες r-trivial, έχαναν ακρίβεια στις απεριοδικές εργασίες καθώς μεγάλωναν οι είσοδοι και παρέμεναν σε επίπεδο τυχαίας επιτυχίας στις γενικές πεπερασμένες εργασίες.

Η μορφή παρουσίασης άλλαξε τα αποτελέσματα: σύμφωνα με την Ai2, τα μικρά υβριδικά μοντέλα και τα μοντέλα Gated DeltaNet σημείωσαν σχεδόν άριστη επίδοση σε προτροπές r-trivial σε μία μορφή, αλλά σχεδόν τυχαία επιτυχία όταν ισοδύναμα προβλήματα παρουσιάζονταν ως τροποποιήσεις υπολογιστικών φύλλων. Αυτή η απόκλιση σημαίνει ότι μια ισχυρή επίδοση σε μία μορφή δεν αποδεικνύει κατ’ ανάγκη γενική ικανότητα παρακολούθησης κατάστασης.

Στις ιδιόκτητες δοκιμές, ζητήθηκε από τα Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol και GPT-6 Luna να παράγουν την τελική τιμή κάθε μεταβλητής. Η Ai2 ανέφερε ότι και τα τέσσερα είχαν καλές επιδόσεις στα προβλήματα r-trivial και τα απεριοδικά προβλήματα, αλλά οι επιδόσεις τους μειώθηκαν απότομα στα επιλύσιμα και στα γενικά πεπερασμένα προβλήματα καθώς μεγάλωναν οι είσοδοι, φτάνοντας σε ακρίβεια 13% ή χαμηλότερη στις μεγαλύτερες περιπτώσεις γενικών πεπερασμένων προβλημάτων.

Η άμεση εκπαίδευση διαχωρίζει την αρχιτεκτονική από την προεκπαίδευση

Για να διαπιστώσουν αν αυτές οι αποτυχίες οφείλονταν στις αρχιτεκτονικές ή στην προεκπαίδευση, οι ερευνητές εκπαίδευσαν από την αρχή έξι μοντέλα με 275 εκατομμύρια παραμέτρους: δύο παραλλαγές μετασχηματιστών, δύο υβριδικά μοντέλα και δύο παραλλαγές Gated DeltaNet με διαφορετικούς περιορισμούς στην ενημέρωση της μνήμης. Οι ακολουθίες εκπαίδευσης περιείχαν έως 256 αναθέσεις, ενώ οι δοκιμές έφταναν σε μήκος έως και 250 φορές αυτό το μέγιστο.

Η Ai2 ανέφερε ότι τα μοντέλα Gated DeltaNet και τα υβριδικά μοντέλα γενίκευσαν σχεδόν τέλεια στις εργασίες r-trivial, στις απεριοδικές και στις επιλύσιμες, μέχρι και τις μεγαλύτερες ακολουθίες που δοκιμάστηκαν. Οι μετασχηματιστές έμαθαν τα ευκολότερα επίπεδα, αλλά οι επιδόσεις τους υποβαθμίστηκαν πέρα από την κατανομή των δεδομένων εκπαίδευσής τους και δεν έμαθαν ποτέ τις γενικές πεπερασμένες εργασίες, ακόμη και εντός αυτής της κατανομής. Στις γενικές πεπερασμένες εργασίες, η παραλλαγή Gated DeltaNet που επέτρεπε θετικές και αρνητικές ιδιοτιμές διατήρησε σχεδόν άριστη επίδοση έως περίπου 10 φορές το μέγιστο μήκος των δεδομένων εκπαίδευσής της, ενώ η παραλλαγή με μη αρνητικές ιδιοτιμές παρουσίασε αμέσως πτώση πέρα από το όριο μήκους της εκπαίδευσης.

Οι ερευνητές ερμηνεύουν αυτή τη διαφορά ως ένδειξη ότι η προεκπαίδευση συμβάλλει στην εξήγηση των αποτυχιών των προεκπαιδευμένων αναδρομικών και υβριδικών μοντέλων, ενώ το γεγονός ότι οι μετασχηματιστές εξακολουθούσαν να αποτυγχάνουν στο δυσκολότερο επίπεδο μετά από στοχευμένη εκπαίδευση υποδεικνύει αρχιτεκτονικό περιορισμό.

Δημόσια διαθέσιμο υλικό και εναπομείναντες περιορισμοί

Το δημοσιευμένο σύνολο δεδομένων περιλαμβάνει 68.000 γραμμές συνολικού μεγέθους 1,05 GB. Η κανονική διαμόρφωσή του περιέχει ίχνη λειτουργιών και τελικές καταστάσεις, ανεξάρτητα από τη μορφοποίηση· οι εγγραφές σε μορφοποιημένη μορφή προσθέτουν προτροπές, ολοκληρώσεις, λανθασμένες εναλλακτικές, ετικέτες πολυπλοκότητας και μεταδεδομένα παραγωγής. Τα πεδία μήκους σε tokens και οι διαστρωματώσεις υποστηρίζουν την επιλογή παραδειγμάτων με βάση το μήκος της προτροπής.

Το αποθετήριο κώδικα, το οποίο κυκλοφόρησε με άδεια Apache-2.0, παράγει τις οικογένειες εργασιών από κανονικά ίχνη και μπορεί να διασφαλίζει σημασιολογικά μη επικαλυπτόμενα σύνολα εκπαίδευσης και δοκιμής. Υποστηρίζει τόσο την αξιολόγηση όσο και την παραγωγή δεδομένων εκπαίδευσης, διατηρώντας παράλληλα την ελεγχόμενη σχέση μεταξύ των επιπέδων δυσκολίας.

Η μελέτη παρουσιάζει επίσης μια απόδειξη ότι το Gated DeltaNet σταθερής ακρίβειας, με μη αρνητικές ιδιοτιμές, μπορεί να επιλύσει όλες τις μη περιοδικές εργασίες και ορισμένες περιοδικές εργασίες. Σε αυτές περιλαμβάνεται η ισοτιμία, δηλαδή η αναγνώριση του αν μια επαναλαμβανόμενη είσοδος έχει εμφανιστεί ζυγό ή μονό αριθμό φορών, αν και η κατασκευή για την ισοτιμία βασίζεται στη στρογγυλοποίηση. Η ακριβής θέση αυτής της παραλλαγής στην ιεραρχία παραμένει αδιευκρίνιστη, όπως και το αν μπορεί να επιλύσει κάθε επιλύσιμη εργασία, καθώς και οι επιπτώσεις της αριθμητικής ακρίβειας και της προσθήκης επιπέδων προσοχής.

Το StateBench προϋποθέτει επίσης σταθερό αριθμό μεταβλητών και, επομένως, δεν μοντελοποιεί ακόμη συνομιλίες ή έγγραφα στα οποία εμφανίζονται νέα πρόσωπα και αντικείμενα με την πάροδο του χρόνου.

Η βασική διάκριση που εξετάζει το benchmark είναι ανάμεσα στην αποδοχή μιας εισόδου μεγάλου μήκους και στη διατήρηση της κατάστασης που περιέχεται σε αυτήν. Οι ελεγχόμενες εργασίες του καθιστούν μετρήσιμη αυτή τη διαφορά μεταξύ αρχιτεκτονικών, αλλά ο σχεδιασμός με σταθερό αριθμό μεταβλητών σημαίνει ότι ακόμη και μια τέλεια βαθμολογία δεν θα αποδείκνυε αξιόπιστη παρακολούθηση όταν εμφανίζονται νέες οντότητες σε ένα έγγραφο ή μια συνομιλία.