Οι πράκτορες τεχνητής νοημοσύνης σπάνια καταρρέουν. Αποτυγχάνουν αθόρυβα — και η έρευνα εξηγεί γιατί

Οι πράκτορες μεγάλων γλωσσικών μοντέλων απαντούν πλέον σε αιτήματα υποστήριξης, υποβάλλουν ερωτήματα σε βάσεις δεδομένων και σχεδιάζουν ταξίδια. Όταν κάτι πάει στραβά, συνήθως δίνουν μια απάντηση με αυτοπεποίθηση και επιστρέφουν κωδικό επιτυχίας. Ένας αυξανόμενος όγκος ερευνών εξηγεί γιατί αυτές οι αστοχίες είναι δύσκολο να εντοπιστούν και πώς οι ομάδες μηχανικών μαθαίνουν να τις μετρούν.

Μια αστοχία που μοιάζει με επιτυχία

Το παραδοσιακό λογισμικό συνήθως αποτυγχάνει με εμφανή τρόπο. Μια συνάρτηση προκαλεί εξαίρεση, ένας διακομιστής επιστρέφει κωδικό σφάλματος και ένας πίνακας παρακολούθησης γίνεται κόκκινος. Ένας πράκτορας τεχνητής νοημοσύνης λειτουργεί διαφορετικά. Είναι ένας βρόχος: ένα γλωσσικό μοντέλο διαβάζει μια προτροπή, αποφασίζει να καλέσει ένα εργαλείο, όπως ένα API αναζήτησης ή μια βάση δεδομένων, διαβάζει το αποτέλεσμα και αποφασίζει τι θα κάνει στη συνέχεια. Κάθε βήμα μπορεί να πάει στραβά, ενώ όλα τα αιτήματα δικτύου στην αλυσίδα εξακολουθούν να ολοκληρώνονται με επιτυχία.

Ας εξετάσουμε μια συνηθισμένη περίπτωση. Ένα εργαλείο καιρού αποτυγχάνει και επιστρέφει το κείμενο «η υπηρεσία δεν είναι διαθέσιμη» μέσα σε μια κατά τα άλλα κανονική απάντηση. Το μοντέλο διαβάζει αυτό το κείμενο, ζητά ευγενικά συγγνώμη ή, ακόμη χειρότερα, συντάσσει μια εύλογη πρόγνωση με βάση τα δεδομένα εκπαίδευσής του. Ο χρήστης λαμβάνει μια απάντηση με φυσική ροή. Τα αρχεία καταγραφής του διακομιστή δείχνουν ένα επιτυχημένο αίτημα με φυσιολογικό χρόνο απόκρισης. Τίποτα σε μια συμβατική υποδομή παρακολούθησης δεν καταγράφει ότι κάτι πήγε στραβά.

Οι πάροχοι μοντέλων περιγράφουν το ίδιο κενό στη δική τους τεκμηρίωση. Ο οδηγός του Google Gemini API επισημαίνει ότι το μοντέλο «δεν εκτελεί το ίδιο τη συνάρτηση». Απλώς προτείνει ένα όνομα συνάρτησης και ορίσματα, ενώ η εφαρμογή του προγραμματιστή εκτελεί την κλήση. Επομένως, η εφαρμογή είναι το μόνο μέρος του συστήματος που βλέπει το πραγματικό αποτέλεσμα. Ο οδηγός της Anthropic για τη μηχανική ανάπτυξης πρακτόρων τονίζει ένα συναφές σημείο: οι πράκτορες χρειάζονται «πραγματικά δεδομένα» από το περιβάλλον σε κάθε βήμα, όπως τα αποτελέσματα των εργαλείων, για να αξιολογούν την πρόοδό τους. Όταν ένα εργαλείο αναφέρει μια αστοχία ως απλό κείμενο, τα δεδομένα αυτά είναι λανθασμένα και ο πράκτορας δεν έχει τρόπο να το αντιληφθεί.

Δεν πρόκειται για ένα νέο είδος προβλήματος, αλλά για μια πιο έντονη εκδοχή ενός παλιού. Το 2015, μηχανικοί της Google με επικεφαλής τον D. Sculley περιέγραψαν το «κρυφό τεχνικό χρέος» στα συστήματα μηχανικής μάθησης. Υποστήριξαν ότι το μεγαλύτερο μέρος του κινδύνου σε ένα σύστημα μηχανικής μάθησης παραγωγικού περιβάλλοντος βρίσκεται έξω από τον κώδικα του μοντέλου, στις εξαρτήσεις από δεδομένα, στις ρυθμίσεις και στον συνδετικό κώδικα. Οι πράκτορες προσθέτουν ένα νέο επίπεδο σε αυτή τη λίστα. Οι προτροπές και οι περιγραφές των εργαλείων είναι ρυθμίσεις που μπορούν να αλλάξουν τη συμπεριφορά ενός συστήματος χωρίς να αλλάξει καθόλου ο κώδικάς του.

Μικρές αλλαγές, μεγάλες επιπτώσεις

Πόσο σημαντική μπορεί να είναι μια μικρή αλλαγή στην προτροπή; Σε εργασία που παρουσιάστηκε στο ICLR 2024, η Melanie Sclar από το University of Washington και οι συνεργάτες της άλλαξαν μόνο τη μορφοποίηση των προτροπών λίγων παραδειγμάτων: τα διαχωριστικά, τα κενά και τη χρήση κεφαλαίων. Το νόημα παρέμεινε το ίδιο. Ωστόσο, η απόδοση στην ίδια εργασία παρουσίασε διακύμανση έως και 76 μονάδων ακρίβειας στο LLaMA-2-13B. Η ευαισθησία δεν εξαφανίστηκε ούτε με μεγαλύτερα μοντέλα, ούτε με περισσότερα παραδείγματα ούτε με προσαρμογή μέσω οδηγιών.

Οι συγγραφείς συνιστούν να αναφέρεται το εύρος των επιδόσεων σε εύλογες μορφές προτροπών αντί για έναν μόνο αριθμό. Για τις ομάδες μηχανικών, το πρακτικό συμπέρασμα είναι απλούστερο: η αλλαγή μιας προτροπής ισοδυναμεί με αλλαγή κώδικα. Χρειάζεται ιστορικό εκδόσεων και δοκιμή πριν φτάσει στους χρήστες.

Το ίδιο ισχύει για τις περιγραφές των εργαλείων, τις οποίες το μοντέλο διαβάζει ως μέρος της προτροπής του. Ο οδηγός της Anthropic επισημαίνει ότι οι ορισμοί των εργαλείων αξίζουν «εξίσου μεγάλη προσοχή στη διαμόρφωση των προτροπών» με την κύρια προτροπή. Περιγράφει έναν πράκτορα προγραμματισμού που έκανε συνεχώς λάθη με σχετικές διαδρομές αρχείων. Όταν το εργαλείο τροποποιήθηκε ώστε να απαιτεί απόλυτες διαδρομές, το μοντέλο το χρησιμοποίησε χωρίς σφάλματα. Το μοντέλο δεν άλλαξε. Άλλαξε μόνο η περιγραφή που διάβασε.

Μία επιτυχία δεν αποδεικνύει σχεδόν τίποτα

Μια δεύτερη ερευνητική κατεύθυνση εξετάζει τη συνέπεια. Το σημείο αναφοράς τ-bench, που δημοσιεύτηκε από τον Shunyu Yao και τους συνεργάτες του στη Sierra και παρουσιάστηκε στο ICLR 2025, προσομοιώνει συνομιλίες εξυπηρέτησης πελατών στις οποίες ένας πράκτορας πρέπει να χρησιμοποιεί εργαλεία και να ακολουθεί επιχειρηματικούς κανόνες. Οι συγγραφείς εισήγαγαν μια μετρική που ονομάζεται pass^k: την πιθανότητα ένας πράκτορας να επιλύσει σωστά την ίδια εργασία και στις k προσπάθειες.

Τα αποτελέσματα ήταν απογοητευτικά. Ένας πράκτορας GPT-4o έλυσε περίπου το 61% των εργασιών λιανικής σε μία μόνο προσπάθεια. Όταν έπρεπε να πετύχει στην ίδια εργασία οκτώ φορές στη σειρά, το ποσοστό έπεσε περίπου στο 25%. Μια επίδειξη που λειτουργεί μία φορά λέει ελάχιστα για τη συμπεριφορά ενός συστήματος στην χιλιοστή εκτέλεση.

Πού καταρρέουν τα συστήματα πολλών πρακτόρων

Πολλές ομάδες συνδέουν πλέον διαδοχικά αρκετούς πράκτορες, αναθέτοντας στον έναν τον σχεδιασμό, στον δεύτερο την εκτέλεση και στον τρίτο τον έλεγχο της εργασίας. Μια μελέτη του 2025 από το UC Berkeley, με τίτλο «Γιατί αποτυγχάνουν τα συστήματα LLM πολλών πρακτόρων;», ανέλυσε περισσότερες από 1.600 σχολιασμένες καταγραφές εκτέλεσης σε επτά δημοφιλή πλαίσια πολλών πρακτόρων. Οι συγγραφείς, με επικεφαλής τον Mert Cemri, δημιούργησαν μια ταξινομία με την ονομασία MAST, η οποία περιλαμβάνει 14 τρόπους αστοχίας σε τρεις ομάδες: προβλήματα σχεδιασμού του συστήματος, ασυμφωνία μεταξύ πρακτόρων και επαλήθευση εργασιών.

Το βασικό τους εύρημα είναι ότι πολλές αστοχίες οφείλονται στον σχεδιασμό του συστήματος και όχι μόνο στους περιορισμούς του υποκείμενου μοντέλου. Οι πράκτορες αγνοούν τον ρόλο που τους έχει ανατεθεί, χάνουν τον ειρμό της συνομιλίας ή δηλώνουν ότι ολοκλήρωσαν μια εργασία χωρίς να ελέγξουν το αποτέλεσμα. Αυτές οι αστοχίες δεν αφήνουν πίσω τους κανένα σφάλμα. Γίνονται ορατές μόνο αν κάποιος μπορεί να διαβάσει τι έκανε πραγματικά κάθε πράκτορας. Το δημοσίευμα του Unite.AI για το παράδοξο των πολλών πρακτόρων διατυπώνει ένα συναφές αρχιτεκτονικό συμπέρασμα: η προσθήκη πρακτόρων μπορεί να ενισχύσει ένα αρχικό σφάλμα αντί να το εξαλείψει.

Κάνοντας το αόρατο ορατό

Η τεχνική προσέγγιση αντλεί ιδέες από τα κατανεμημένα συστήματα, όπου εδώ και καιρό παρακολουθούνται τα αιτήματα σε πολλές υπηρεσίες με μια τεχνική που ονομάζεται ιχνηλάτηση. Στους πράκτορες, κάθε αίτημα χρήστη γίνεται ένα ίχνος και κάθε κλήση μοντέλου ή εργαλείου γίνεται ένα «τμήμα» μέσα σε αυτό. Ένα τμήμα καταγράφει την είσοδό του, την έξοδό του, τα διακριτικά που χρησιμοποιήθηκαν και τον χρόνο που χρειάστηκε. Ο φορέας που ορίζει τα πρότυπα του κλάδου για αυτό το έργο, το OpenTelemetry, συντάσσει κοινές συμβάσεις για τμήματα παραγωγικής ΤΝ. Το 2026, οι συμβάσεις αυτές εξακολουθούν να χαρακτηρίζονται υπό ανάπτυξη, επομένως τα ονόματα των χαρακτηριστικών ενδέχεται να αλλάξουν.

Αρκετά έργα ανοικτού κώδικα, όπως τα Langfuse, Arize Phoenix και AcruxCore, εφαρμόζουν ήδη αυτή την ιδέα. Ο πηγαίος κώδικάς τους είναι δημόσιος, οπότε οι ομάδες μπορούν να εξετάσουν πώς αποθηκεύεται ένα ίχνος και να εκτελέσουν το λογισμικό στους δικούς τους διακομιστές. Καταγράφουν τις κλήσεις μοντέλων και εργαλείων ως τμήματα ενός ενιαίου ίχνους και επιτρέπουν στις ομάδες να τους προσθέτουν βαθμολογίες ποιότητας. Η επιλογή εργαλείου έχει μικρότερη σημασία από μία λεπτομέρεια: ένα τμήμα εργαλείου πρέπει να καταγράφει τι επέστρεψε πράγματι το εργαλείο και όχι μόνο αν το αίτημα δικτύου ολοκληρώθηκε με επιτυχία. Διαφορετικά, η αστοχία του εργαλείου καιρού που περιγράφηκε παραπάνω παραμένει αόρατη.

Οι έρευνες του κλάδου δείχνουν ότι η ιχνηλάτηση είναι πλέον συνηθισμένη, αλλά οι δοκιμές δεν έχουν ακολουθήσει τον ίδιο ρυθμό. Η έκθεση της LangChain «Η κατάσταση της μηχανικής πρακτόρων» κατέγραψε τις απαντήσεις 1.340 επαγγελματιών στα τέλη του 2025. Η ποιότητα ήταν το εμπόδιο που αναφέρθηκε συχνότερα για την παραγωγική χρήση πρακτόρων, καθώς την επισήμανε το 32% των ερωτηθέντων. Το 89% των οργανισμών δήλωσε ότι εφαρμόζει κάποια μορφή παρατηρησιμότητας για τους πράκτορές του, ενώ το 62% διέθετε λεπτομερή ιχνηλάτηση μεμονωμένων βημάτων και κλήσεων εργαλείων. Μόνο το 52,4% διενεργούσε αξιολογήσεις εκτός σύνδεσης σε σύνολα δοκιμών, ενώ το 37,3% αξιολογούσε την κίνηση σε πραγματικές συνθήκες. Οι περισσότερες ομάδες μπορούν να δουν τι έκαναν οι πράκτορές τους. Λιγότερες ελέγχουν αν αυτό ήταν σωστό.

Αξιολόγηση απαντήσεων σε μεγάλη κλίμακα

Τα ίχνη δείχνουν τι συνέβη. Δεν αποκαλύπτουν αν η απάντηση ήταν καλή. Η χειροκίνητη ανάγνωση κάθε συνομιλίας δεν μπορεί να εφαρμοστεί σε μεγάλη κλίμακα, γι’ αυτό και οι ομάδες χρησιμοποιούν όλο και συχνότερα ένα δεύτερο μοντέλο ως αξιολογητή, σε μια προσέγγιση γνωστή ως «LLM ως κριτής». Μια εργασία στο NeurIPS 2023 των Lianmin Zheng και συνεργατών του διαπίστωσε ότι ισχυρά μοντέλα, όπως το GPT-4, συμφωνούσαν με τις ανθρώπινες προτιμήσεις σε ποσοστό άνω του 80% των περιπτώσεων — περίπου όσο συχνά συμφωνούν και οι άνθρωποι μεταξύ τους.

Η ίδια εργασία κατέγραψε τις αδυναμίες της μεθόδου. Τα μοντέλα-κριτές προτιμούν την απάντηση που εμφανίζεται πρώτη, προτιμούν τις μεγαλύτερες απαντήσεις και μπορεί να ευνοούν κείμενα που έχουν γράψει τα ίδια. Επομένως, οι βαθμολογίες των κριτών είναι εκτιμήσεις. Είναι χρήσιμες για την αξιολόγηση μεγάλου όγκου περιεχομένου, αλλά πρέπει να ελέγχονται με βάση ένα μικρό σύνολο παραδειγμάτων με ανθρώπινη επισήμανση, όπου η σειρά των απαντήσεων έχει τυχαιοποιηθεί.

Από την πρακτική στην πολιτική

Αυτή η εργασία μέτρησης εξελίσσεται επίσης σε προσδοκία διακυβέρνησης. Το Εθνικό Ινστιτούτο Προτύπων και Τεχνολογίας των ΗΠΑ δημοσίευσε το Πλαίσιο Διαχείρισης Κινδύνων ΤΝ τον Ιανουάριο του 2023. Μία από τις τέσσερις βασικές λειτουργίες του, η «Μέτρηση», ζητά από τους οργανισμούς να ποσοτικοποιούν, να παρακολουθούν και να τεκμηριώνουν τους κινδύνους της ΤΝ διαχρονικά. Για έναν πράκτορα, τα ίχνη και οι βαθμολογίες αξιολόγησης αποτελούν τα τεκμήρια που ζητά αυτή η λειτουργία.

Τι μπορούν να κάνουν τώρα οι ομάδες

Αυτό απηχεί το επιχείρημα που διατυπώθηκε σε αυτή την πλατφόρμα, ότι η αξιοπιστία είναι η πραγματική δοκιμασία για την πρακτορική ΤΝ. Η παραπάνω έρευνα προσθέτει τη διάσταση της μέτρησης σε αυτό το επιχείρημα: η αξιοπιστία δεν είναι μια ιδιότητα που παρατηρείται μία φορά, αλλά ένα εύρος που πρέπει να μετράται διαρκώς.

Η έρευνα υποδεικνύει μια σύντομη σειρά πρακτικών, πολλές από τις οποίες συνιστούν και οι μεγαλύτεροι πάροχοι μοντέλων. Ο πρακτικός οδηγός της OpenAI για τη δημιουργία πρακτόρων προτρέπει τις ομάδες να «ορίζουν διαδικασίες αξιολόγησης, ώστε να καθορίζουν μια βασική γραμμή απόδοσης» πριν από τη βελτιστοποίηση και να παραδίδουν τον έλεγχο σε άνθρωπο όταν ένας πράκτορας υπερβαίνει έναν καθορισμένο αριθμό αποτυχημένων προσπαθειών ή αντιμετωπίζει μια ενέργεια υψηλού κινδύνου. Η Anthropic συνιστά «εκτεταμένες δοκιμές σε περιβάλλοντα απομόνωσης» προτού οι πράκτορες ενεργούν αυτόνομα.

Στην πράξη, αυτό σημαίνει μερικά συγκεκριμένα βήματα. Διατηρείτε τις προτροπές και τις περιγραφές εργαλείων υπό έλεγχο εκδόσεων, όπως τον κώδικα. Δοκιμάζετε κάθε αλλαγή προτροπής σε ένα σταθερό σύνολο δεδομένων και αναμένετε ένα εύρος αποτελεσμάτων, όχι έναν μόνο αριθμό. Εκτελείτε κάθε δοκιμαστική περίπτωση αρκετές φορές, επειδή μία μόνο εκτέλεση κρύβει την ασυνέπεια. Καταγράφετε τις εξόδους των εργαλείων μέσα στα ίχνη, ώστε ένα εργαλείο που απέτυχε να μην μπορεί να κρυφτεί πίσω από έναν κωδικό επιτυχίας. Αντιμετωπίζετε τις βαθμολογίες των αυτοματοποιημένων κριτών ως εκτιμήσεις και τις ελέγχετε με ανθρώπους.

Καμία από αυτές τις πρακτικές δεν απαιτεί κάποια σημαντική ανακάλυψη στις δυνατότητες των μοντέλων. Απαιτούν να αντιμετωπίζουμε έναν πράκτορα ΤΝ ως αυτό που είναι: ένα πιθανοκρατικό σύστημα που πρέπει να μετράται, επειδή σπάνια ανακοινώνει ο ίδιος τις αστοχίες του.