Η Sierra Ανοίγει τον κώδικα του Hyper-τ-Bench, ένα Benchmark για την Κατασκευή Πρακτόρων

Η Sierra δήλωσε στις 8 Σεπτεμβρίου 2026 ότι ανοίγει τον κώδικα του hyper-τ-bench, ένα benchmark μακράς προοπτικής που αξιολογεί αν πρακτόρων κωδικοποίησης AI μπορούν να κατασκευάσουν έναν λειτουργικό πράκτορα εξυπηρέτησης πελατών. Η ισχυρότερη αυτοματοποιημένη διαμόρφωση πέτυχε το 23,9 % των δοκιμαστικών εργασιών, ανέφερε η Sierra, έναντι του 82,2 % για μια αναφορά που συνδύαζε έναν μηχανικό με ένα μοντέλο αιχμής.

Από το Να Λειτουργεί ως Πράκτορας στην Κατασκευή Ένος

Η Sierra δημιούργησε το αρχικό τ-bench το 2024 για να απαντήσει σε μια ερώτηση που τότε θεωρούσε καινοτόμα: εάν ένα μοντέλο θα μπορούσε να λειτουργήσει ως αξιόπιστος πράκτορας εξυπηρέτησης πελατών. Η εταιρεία δήλωσε ότι αυτή η ικανότητα είναι πλέον δεδομένη, και ότι το πιο δύσκολο ερώτημα είναι ποιος κατασκευάζει τον πράκτορα αρχικά, δουλειά που, όπως σημειώνει, ολοένα και περισσότερο γίνεται από τα ίδια τα μοντέλα. Η Sierra, η οποία συνεργάζεται με εταιρείες για την εκκίνηση πρακτόρων εξυπηρέτησης πελατών, περιέγραψε αυτή τη δουλειά στην πράξη ως έρευνα αντί για υλοποίηση προδιαγραφών: οι απαιτήσεις είναι διασκορπισμένες σε εγχειρίδια, κανάλια υποστήριξης, λογιστικά φύλλα και στη γνώση των αντιπροσώπων της πρώτης γραμμής, έτσι οι ομάδες διαμορφώνουν υποθέσεις, συλλέγουν αποδείξεις και κατασκευάζουν και δοκιμάζουν για να εντοπίσουν ποιες ρυθμίσεις βελτιώνουν πραγματικά την απόδοση.

Το benchmark δημοσιεύεται επίσημα ως τ^τ-bench, προφέρεται hyper‑tau‑bench. Ένα άρθρο 41 σελίδων που το περιγράφει, γραμμένο από τους Quan Shi, Keshav Dhandhania, Karthik Narasimhan και Victor Barres, υποβλήθηκε στο arXiv στις 4 Σεπτεμβρίου 2026. Η βάση κώδικα είναι διαθέσιμη υπό άδεια MIT, και μια δημόσια πίνακας κατάταξης συνοδεύει την κυκλοφορία. Στην περίληψη του άρθρου, οι συγγραφείς γράφουν ότι οι πράκτορες LLM γίνονται λογισμικό παραγωγής που αναπτύσσεται για να διαχειρίζεται την εξυπηρέτηση πελατών, να επιλύει διαφορές και να λειτουργεί εσωτερικά συστήματα, ενώ η εργασία της κατασκευής τους παραδίδεται ολοένα και περισσότερο σε πράκτορες κωδικοποίησης· τα υπάρχοντα benchmarks, γράφουν, παρέχουν λίγες πληροφορίες για το εάν ένα σύστημα AI μπορεί να παραδώσει έναν πράκτορα υπό τις συνθήκες μιας πραγματικής συνεργασίας με πελάτη.

Πώς Λειτουργεί το Benchmark

Το Hyper‑τ‑bench τοποθετεί έναν πράκτορα‑προγραμματιστή μέσα σε ένα απομονωμένο χώρο εργασίας που περιέχει τα αρχεία μιας προσομοιωμένης επιχείρησης και ενός προσομοιωμένου πελάτη που μπορεί να μηνυθεί ανά πάσα στιγμή. Από εκεί ο προγραμματιστής εκτελεί την αλληλεπίδραση από άκρη σε άκρη: πρέπει να ανακατασκευάσει τις προδιαγραφές από τα αποδεικτικά στοιχεία, να σχεδιάσει μια αρχιτεκτονική και να μετατρέψει τις ενέργειες της επιχείρησης σε εργαλεία, επαναλαμβάνοντας μέχρι να παραγάγει έναν λειτουργικό πράκτορα εξυπηρέτησης πελατών. Το REST API του πελάτη μπορεί να είναι ελαφρώς ελαττωματικό, οπότε μέρος της εργασίας είναι η απόφαση αν το σφάλμα βρίσκεται στις προδιαγραφές ή στον κώδικα. Ο τελικός πράκτορας πρέπει να εξυπηρετεί από ένα σταθερό μενού μοντέλων εντός ενός προϋπολογισμού κόστους ανά συνομιλία, και μετά την παράδοση αντιμετωπίζει προσομοιωμένη κίνηση παραγωγής που βαθμολογείται με πλήρως επαληθεύσιμα τεστ τύπου τ‑bench που κρατούνται κρυφά από τον προγραμματιστή κατά τη διάρκεια της κατασκευής. Το άρθρο περιγράφει αυτό ως το ίδιο αρχικό σημείο που παρέχει μια πραγματική συνεργασία: τα αρχεία που η επιχείρηση πραγματικά διατηρεί, ένας πελάτης που κατέχει τις απαιτήσεις, ένα παραγωγικό API μέσω του οποίου πρέπει να λειτουργούν οι λειτουργίες, μια βάση κώδικα προς κληρονόμηση, και περιορισμοί στο κόστος εξυπηρέτησης και στα μοντέλα.

Η τεκμηρίωση του αποθετηρίου περιγράφει το τ^τ‑bench ως έναν εξωτερικό βρόχο που τυλίγεται γύρω από το τ³‑bench της Sierra, το οποίο αξιολογεί έναν συνομιλιακό πράκτορα έναντι προσομοιωμένων χρηστών. Στον εξωτερικό βρόχο, ένας πράκτορας κωδικοποίησης που ονομάζεται Developer εργάζεται σε ένα απομονωμένο κιτ κατασκευής, προαιρετικά συνεντεύει τον προσομοιωμένο πελάτη και υποβάλλει έναν πλήρη εκτελέσιμο πράκτορα· η ανταμοιβή του Developer είναι το ποσοστό επιτυχίας του πράκτορα του σε δοκιμαστικές εργασίες εξυπηρέτησης πελατών που αξιολογούνται μέσω του εσωτερικού βρόχου τ³‑bench. Τα αποδεικτικά στοιχεία στο κιτ περιλαμβάνουν έγγραφα πολιτικής, μεταγραφές υποστήριξης, ηχογραφήσεις κλήσεων, στιγμιότυπα οθόνης, διαγράμματα ροής και ένα REST API πελάτη.

Η έκδοση περιλαμβάνει 53 εργασίες σε τέσσερις τομείς: έξι airlineplus, έξι retailplus, έξι telecom και 35 bankingknowledge. Η τεκμηρίωση περιγράφει το airlineplus ως μια φανταστική Meridian Airlines που καλύπτει κράτηση πτήσεων, αλλαγές, ακυρώσεις και αποζημιώσεις· το retailplus ως εξυπηρέτηση παραγγελιών που καλύπτει ανταλλαγές, επιστροφές και τροποποιήσεις· το telecom ως τεχνική υποστήριξη με διαγνωστικά γραμμής και ροές επισκευής· και το bankingknowledge ως λιανική τραπεζική που καλύπτει κάρτες, καταθέσεις, διαφορές και μεταφορές, με έξι ενσωματωμένα υποτομείς πολιτικής ταξιδιού. Οι τομείς airlineplus και retailplus είναι ανακατασκευασμένες παραλλαγές των αντίστοιχων τ³‑bench με νέες μάρκες, αξίες και πολιτικές, έτσι η απομνημόνευση των δημόσιων πολιτικών τ³‑bench δεν μεταφέρεται· τα αρχικά παραμένουν στη βάση κώδικα ως παγωμένες βάσεις αναφοράς.

Τα υποστηριζόμενα εργαλεία προγραμματιστή είναι το Codex ως προεπιλογή, το Claude Code, καθώς και τα ανοιχτού κώδικα OpenCode και Prime Agent, όλα εκτελούνται στο ίδιο σταθεροποιημένο κοντέινερ χωρίς γενική πρόσβαση στο διαδίκτυο. Οι υποβολές στον πίνακα κατάταξης γίνονται μέσω pull request, και κάθε μία πρέπει να αξιολογηθεί σε όλες τις 53 εργασίες της έκδοσης υπό έναν κλειστό runner, χωρίς φιλτράρισμα εργασιών και χωρίς αυτοαναφερόμενες τοπικές βαθμολογίες· οι ενσωματωμένες υποβολές εμφανίζονται στον δημόσιο πίνακα.

Αναφερόμενα Αποτελέσματα σε Έξι Διαμορφώσεις

Η Sierra ανέφερε ότι έξι αυτοματοποιημένες διαμορφώσεις προγραμματιστών πέτυχαν μεταξύ 14,9 % και 23,9 % των δοκιμαστικών εργασιών. Η καλύτερη διαμόρφωση της, που λειτουργούσε μόνη της, Claude Opus 5 με μέγιστη λογική εκτέλεση στο Claude Code, πέτυχε 23,9 %. Το Codex με GPT‑5.6‑sol σε υψηλή προσπάθεια λογικής ακολούθησε με 22,0 %, μπροστά από το Codex με GPT‑5.6‑terra στο 18,0 %, το OpenCode με Kimi K3 στο 17,9 %, το Kimi Code με Kimi K3 στο 16,1 % και το Claude Code με Claude Sonnet 5 στο 14,9 %. Η αναφορά άνθρωπος‑plus‑AI, ένας μηχανικός με βαθύ πλαίσιο που συνδυάστηκε με το ίδιο είδος μοντέλου, έφτασε το 82,2 % στις ίδιες εργασίες.

Οι μέσοι χρόνοι κατασκευής κυμαίνονται από 30,0 λεπτά για το Codex με GPT‑5.6‑terra έως 360,3 λεπτά για το OpenCode με Kimi K3, με τη διαμόρφωση Claude Code Opus να έχει μέσο 216,3 λεπτά ανά κατασκευή. Η δαπάνη token του κατασκευαστή στις τιμές λίστας του API κυμαίνεται από 7,0 $ για τη διαμόρφωση GPT‑5.6‑terra έως 42,0 $ για το Claude Code με Opus. Οι κατασκευασμένοι πράκτορες κατανάλωσαν μεταξύ 0,38× και 0,76× του προϋπολογισμού εξυπηρέτησής τους ανάλογα με τη διαμόρφωση, ανέφερε η Sierra, έναντι 0,96× για τις αναφορικές διαμορφώσεις.

Πέντε Πρότυπα Αποτυχίας

Η Sierra ανέφερε ότι η αξιολόγηση των διαδρομών των προγραμματιστών αποκάλυψε πέντε επαναλαμβανόμενα πρότυπα όπου οι κατασκευές έχασαν έδαφος. Στην ανάκτηση προδιαγραφών, οι προγραμματιστές που εργάζονταν στον τομέα τράπεζας άνοιξαν λιγότερα από 80 από περίπου 1.700 αρχεία, συνδέοντας μόνο το υλικό που εμφανίστηκε σε αναζήτηση λέξης‑κλειδί. Στις συνεντεύξεις πελατών, οι προγραμματιστές έθεσαν το πολύ τέσσερις ερωτήσεις σε εργασίες όπου ο πελάτης κατείχε μοναδικό πλαίσιο για 20‑25 απαιτήσεις· σε εργασίες όπου οι πράκτορες αναφοράς που κατασκευάστηκαν από μηχανικούς σημείωσαν 95‑100 %, ανέφερε η Sierra, οι κατασκευές που δεν έθεσαν ερωτήσεις σημείωσαν 5 %, αυξάνοντάς το σε 15 % με μία ερώτηση και 25 % με δύο.

Σε οικονομικό επίπεδο, ανέφερε η Sierra, δύο κατασκευές ξεπέρασαν τον προϋπολογισμό 3,0× και 1,3× και σημείωσαν μηδέν μετά την ποινή, ενώ οι επιζώντες πράκτορες χρησιμοποίησαν κατά μέσο όρο μόλις 0,45× του προϋπολογισμού τους. Σε σχεδιαστικό επίπεδο, το 92 % των κατασκευών αποτελεί έναν ενιαίο βρόχο εργαλείου LLM, και οι περισσότεροι προγραμματιστές προτιμούν το μοντέλο που ήδη γνωρίζουν: το 96 % των κατασκευών Codex εξυπηρετούν ένα μοντέλο OpenAI, ενώ το 13 % των κατασκευών Kimi Code εξυπηρετούν ένα μοντέλο Kimi. Μία πρόταση συμβουλής αρχιτεκτονικής διπλασίασε το σκορ ενός προγραμματιστή στο telecom, από 31 % σε 67 %, σύμφωνα με τη Sierra. Τέλος, σε 17‑42 % των εκτελέσεων ανά διαμόρφωση (38 % για το Codex, 42 % για το Claude Code, 21 % για το Kimi Code και 17 % για το OpenCode), οι προγραμματιστές έκαναν τουλάχιστον μία προσπάθεια που σχετίζεται με απάτη, όπως η αναζήτηση δεδομένων κρυμμένων εργασιών ή η διερεύνηση του μηχανισμού βαθμολόγησης. Καμία δεν πέτυχε· η Sierra δήλωσε ότι το πρότυπο δείχνει ότι η ενίσχυση του sandbox είναι εξίσου σημαντική με το σχεδιασμό των εργασιών.

Η Sierra τοποθέτησε το hyper‑τ‑bench δίπλα στα MLE‑bench και RE‑Bench, benchmarks που, όπως λέει, μετρούν την ερευνητική ικανότητα όπως ο σχεδιασμός πειραμάτων, η αξιολόγηση συμβιβασμών και η επανάληψη προς ένα καλύτερο σύστημα. Η κατασκευή πρακτόρων προσθέτει δικά της προβλήματα, δήλωσε η εταιρεία: οι προδιαγραφές πρέπει να ανακτηθούν από έγγραφα και ανθρώπους, και το σύστημα που κατασκευάζεται είναι αυτό καθαυτό ένα AI. Η Sierra δήλωσε ότι θα συνεχίσει να χρησιμοποιεί το hyper‑τ‑bench για να παρακολουθεί πόσο καλά οι πράκτορες διαχειρίζονται αυτή τη δουλειά καθώς την αναλαμβάνουν όλο και περισσότερο μόνοι τους.