Πώς αξιολογείτε έναν πράκτορα ΤΝ; Εργασίες, πορείες εκτέλεσης, αξιοπιστία και κόστος

Η αξιολόγηση ενός πράκτορα ΤΝ σημαίνει ότι ελέγχουμε αν ολοκληρώνει αξιόπιστα αντιπροσωπευτικές εργασίες, ακολουθεί αποδεκτές διαδικασίες, σέβεται τα όριά του και προσφέρει επαρκή αξία σε σχέση με το κόστος του. Μια τελική απάντηση από μόνη της δεν αρκεί, καθώς ένας πράκτορας μπορεί να καταλήξει σε ένα εύλογο αποτέλεσμα μέσω μη ασφαλών ενεργειών, ισχυρισμών χωρίς τεκμηρίωση, υπερβολικών επαναλήψεων ή απλής τύχης.

Η αξιολόγηση πρακτόρων είναι δύσκολη, επειδή το σύστημα ενεργεί διαχρονικά. Το μοντέλο επιλέγει εργαλεία, παρατηρεί μεταβαλλόμενα περιβάλλοντα και μπορεί να ακολουθήσει διαφορετική διαδρομή σε κάθε εκτέλεση. Επομένως, οι αποτελεσματικές αξιολογήσεις μετρούν τα αποτελέσματα και τις πορείες εκτέλεσης σε επαναλαμβανόμενες δοκιμές.

Η ορολογία της αξιολόγησης πρακτόρων

Ο οδηγός της Anthropic για το να αποσαφηνίσουμε την αξιολόγηση πρακτόρων παρέχει ένα χρήσιμο σύνολο όρων:

• Εργασία: μία περίπτωση δοκιμής με στόχο, περιβάλλον, εισόδους και κριτήρια επιτυχίας.
• Δοκιμή: μία προσπάθεια του πράκτορα να ολοκληρώσει μια εργασία.
• Απομαγνητοφώνηση ή πορεία εκτέλεσης: η αλληλουχία μηνυμάτων, αποφάσεων, κλήσεων εργαλείων, παρατηρήσεων και ενεργειών κατά τη διάρκεια της δοκιμής.
• Αξιολογητής: ένας κανόνας, ένα πρόγραμμα, ένα μοντέλο ή ένα άτομο που βαθμολογεί μέρος της επίδοσης.
• Πλαίσιο αξιολόγησης: το σύστημα που προετοιμάζει τα περιβάλλοντα, εκτελεί τις δοκιμές, συλλέγει τα ίχνη, καλεί τους αξιολογητές και αναφέρει τα αποτελέσματα.

Ο διαχωρισμός αυτών των εννοιών αποτρέπει ένα συνηθισμένο λάθος: να θεωρούμε ότι μία επιτυχημένη επίδειξη αποδεικνύει πως ο πράκτορας θα αποδίδει αξιόπιστα.

Ξεκινήστε με σαφείς προδιαγραφές για την εργασία

Μια χρήσιμη εργασία αξιολόγησης περιγράφει την αρχική κατάσταση, τα διαθέσιμα εργαλεία, τους περιορισμούς, το αναμενόμενο αποτέλεσμα και τις σημαντικές απαγορευμένες ενέργειες. Η δοκιμή πρέπει να μοιάζει με πραγματική εργασία, χωρίς να αποκαλύπτει μία και μοναδική προκαθορισμένη διαδρομή.

Για έναν πράκτορα υποστήριξης, το «επίλυσε το αίτημα υποστήριξης» είναι υπερβολικά αόριστο. Μια καλύτερη διατύπωση προσδιορίζει το αρχείο του πελάτη, την εφαρμοστέα πολιτική, τις επιτρεπόμενες λύσεις, την απαιτούμενη επικοινωνία και τις αλλαγές που πρέπει να καταγραφούν στο σύστημα αναφοράς. Στη συνέχεια, η εργασία μπορεί να αξιολογηθεί αντικειμενικά.

Τέσσερα επίπεδα αξιολόγησης πρακτόρων

Αυτά τα επίπεδα πρέπει να παραμένουν ξεχωριστά στις αναφορές. Η συγχώνευσή τους σε έναν μέσο όρο μπορεί να αποκρύψει μη αποδεκτή συμπεριφορά — για παράδειγμα, υψηλό ποσοστό επιτυχίας στις εργασίες που συγκαλύπτει συχνές απόπειρες μη εξουσιοδοτημένης χρήσης εργαλείων. Οι ομάδες μπορούν πρώτα να ορίσουν αυστηρά όρια ασφαλείας και, στη συνέχεια, να συγκρίνουν την ποιότητα των αποτελεσμάτων και την αποδοτικότητα των εκτελέσεων που πληρούν αυτά τα όρια.

1. Ποιότητα αποτελέσματος

Πέτυχε ο πράκτορας τον στόχο; Οι αξιολογητές αποτελέσματος μπορούν να ελέγξουν ακριβείς αλλαγές κατάστασης, απαιτούμενα πεδία, αποτελέσματα δοκιμών, πραγματολογική ακρίβεια, τεκμηρίωση των παραπομπών ή ποιότητα βάσει κριτηρίων αξιολόγησης.

Όπου είναι δυνατό, χρησιμοποιήστε την τελική κατάσταση του περιβάλλοντος αντί για τους ισχυρισμούς του ίδιου του πράκτορα. Ένας πράκτορας προγραμματισμού δεν έχει πετύχει απλώς επειδή δηλώνει ότι διόρθωσε το σφάλμα· οι σχετικές δοκιμές και η συμπεριφορά του πρέπει να το επιβεβαιώνουν.

2. Ποιότητα πορείας εκτέλεσης

Ακολούθησε ο πράκτορας μια ορθή πορεία; Η αξιολόγηση της πορείας εκτέλεσης μπορεί να εντοπίσει περιττή πρόσβαση σε δεδομένα, απαγορευμένα εργαλεία, επαναλαμβανόμενες αποτυχίες, παραλείψεις επαλήθευσης, επινοημένες παρατηρήσεις ή παραβιάσεις των απαιτήσεων έγκρισης.

Δεν αποτελεί κάθε απόκλιση από μια διαδρομή αναφοράς σφάλμα. Οι πράκτορες μπορούν να βρίσκουν έγκυρες λύσεις που οι αξιολογητές δεν είχαν προβλέψει. Οι αξιολογητές πρέπει να επιβάλλουν τις πραγματικές απαιτήσεις, επιτρέποντας παράλληλα εναλλακτικές, αποδοτικές προσεγγίσεις.

3. Ασφάλεια και συμμόρφωση με τις πολιτικές

Παρέμεινε ο πράκτορας εντός των ορίων της εξουσιοδότησής του; Οι δοκιμές πρέπει να περιλαμβάνουν επιθέσεις μέσω εντολών, αντικρουόμενες οδηγίες, ευαίσθητα δεδομένα, ασαφή πρόθεση χρήστη και αιτήματα που απαιτούν άρνηση ή κλιμάκωση.

Οι αξιολογήσεις ασφάλειας χρειάζονται ρεαλιστικές συνέπειες σε περιβάλλον απομόνωσης. Δεν αρκεί μια πρόταση που συμμορφώνεται με την πολιτική, αν ο πράκτορας έχει ήδη στείλει το μήνυμα, αλλάξει την εγγραφή ή αποκαλύψει τα δεδομένα.

4. Λειτουργική αποδοτικότητα

Πόσος χρόνος και πόσα χρήματα χρειάστηκαν για την επιτυχία; Παρακολουθήστε τα διακριτικά του μοντέλου, τις κλήσεις εργαλείων, τον χρόνο απόκρισης σε πραγματικό χρόνο, τις επαναλήψεις, τις ανθρώπινες παρεμβάσεις και το κόστος εξωτερικών υπηρεσιών. Ένας πράκτορας που πετυχαίνει μετά από 100 περιττές ενέργειες μπορεί να είναι λιγότερο χρήσιμος από μια απλούστερη ροή εργασίας.

Χρησιμοποιήστε πολλαπλούς τύπους αξιολογητών

Οι αξιολογητές ντετερμινιστικού τύπου ελέγχουν συγκεκριμένες ιδιότητες: αν μια δοκιμή πέρασε, αν ένα αρχείο άλλαξε σωστά, αν ένα πεδίο βάσης δεδομένων έχει την απαιτούμενη τιμή ή αν έγινε κλήση σε απαγορευμένο τελικό σημείο. Είναι γρήγοροι και συνεπείς, αλλά καλύπτουν μόνο όσα κωδικοποιούν οι προγραμματιστές.

Οι αξιολογητές που βασίζονται σε μοντέλα κρίνουν χαρακτηριστικά όπως η σαφήνεια, η πληρότητα, η συνάφεια και η τήρηση λεπτών κριτηρίων. Κλιμακώνονται ευκολότερα από την ανθρώπινη αξιολόγηση, αλλά χρειάζονται και οι ίδιοι επικύρωση, καθώς μπορεί να είναι μεροληπτικοί ή ασυνεπείς.

Οι ανθρώπινοι αξιολογητές είναι σημαντικοί για την κρίση των ειδικών, τις αμφίσημες περιπτώσεις και την επικύρωση των αυτοματοποιημένων αξιολογητών. Η διαδικασία είναι πιο αργή και δαπανηρή, γι’ αυτό οι ομάδες συχνά τους αξιοποιούν σε δείγματα, περιπτώσεις διαφωνίας και τομείς με σημαντικές επιπτώσεις.

Τα ισχυρότερα σύνολα αξιολόγησης συνδυάζουν αυτές τις προσεγγίσεις. Αντίστοιχα, η πλατφόρμα Evals της OpenAI αντιμετωπίζει την αξιολόγηση ως δομημένη διαδικασία καθορισμού δοκιμών και αξιολογητών και διεξαγωγής επαναλαμβανόμενων πειραμάτων, όχι ως ανεπίσημη επιθεώρηση.

Η αξιοπιστία απαιτεί επαναλαμβανόμενες δοκιμές

Εκτελέστε κάθε εργασία αρκετές φορές, ώστε να παρατηρήσετε τη μεταβλητότητα που οφείλεται στη δειγματοληψία, στις αλλαγές των εργαλείων και στην κατάσταση του περιβάλλοντος. Αναφέρετε τόσο τη μέση απόδοση όσο και τη συχνότητα σοβαρών αποτυχιών. Σε ροές εργασιών που αποτελούνται από πολλά αλληλεξαρτώμενα βήματα, η ακρίβεια σε κάθε επιμέρους βήμα μπορεί να φαίνεται υψηλή, ενώ η αξιοπιστία από άκρο σε άκρο παραμένει χαμηλή, επειδή αρκεί μία αποτυχία για να εκτροχιάσει ολόκληρη την εργασία.

Η συμπεριφορά των πρακτόρων είναι πιθανοκρατική. Η ίδια εργασία μπορεί να οδηγήσει σε διαφορετικά σχέδια, κλήσεις εργαλείων και αποτελέσματα. Εκτελείτε κάθε σημαντική εργασία πολλές φορές και αναφέρετε ποσοστά επιτυχίας ή κατανομές βαθμολογιών, όχι μόνο το καλύτερο παράδειγμα.

Δύο μέτρα αξιοπιστίας απαντούν σε διαφορετικά ερωτήματα:

• Pass@k: η πιθανότητα να πετύχει τουλάχιστον μία από τις k προσπάθειες. Είναι χρήσιμο όταν γίνονται αποδεκτές πολλαπλές προσπάθειες.
• Pass^k: η πιθανότητα να πετύχουν και οι k προσπάθειες. Αντικατοπτρίζει τη συνέπεια όταν κάθε εκτέλεση πρέπει να λειτουργεί.

Ένα σύστημα μπορεί να έχει ελκυστικό pass@k, αλλά να παραμένει ακατάλληλο για αυτόματη λειτουργία, επειδή οι μεμονωμένες εκτελέσεις του είναι αναξιόπιστες.

Δημιουργήστε ένα αντιπροσωπευτικό σύνολο εργασιών

Ξεκινήστε από πραγματικές αποτυχίες και συνηθισμένα αιτήματα παραγωγής. Συμπεριλάβετε απλές εργασίες, δύσκολες οριακές περιπτώσεις, αμφίσημες εισόδους, σφάλματα εργαλείων, παρωχημένα δεδομένα, πληροφορίες που λείπουν και περιεχόμενο σχεδιασμένο για να παραπλανήσει.

Κατατάξτε τα αποτελέσματα ανά τύπο εργασίας και επίπεδο κινδύνου. Ένας συνολικός μέσος όρος μπορεί να αποκρύψει σοβαρή αδυναμία σε χρηματοοικονομικές ενέργειες, εργασίες μεγάλης διάρκειας ή συγκεκριμένη εφαρμογή. Διατηρήστε ένα σύνολο δεδομένων που δεν χρησιμοποιείται στην αξιολόγηση, ώστε η επανειλημμένη ρύθμιση των προτροπών να μη μετατρέψει το σύνολο αξιολόγησης σε σύνολο εκπαίδευσης.

Αξιολογήστε το περιβάλλον, όχι μόνο το μοντέλο

Η απόδοση ενός πράκτορα εξαρτάται από τους ορισμούς των εργαλείων, τα δικαιώματα πρόσβασης, τη μνήμη, τη διαχείριση του πλαισίου, τη διεπαφή χρήστη, τη συμπεριφορά του δικτύου και τον συντονισμό των επιμέρους λειτουργιών. Μια αναβάθμιση μοντέλου μπορεί να μειώσει ένα σφάλμα, αλλά να αναδείξει ένα άλλο.

Καταγράφετε την έκδοση ολόκληρης της στοίβας που χρησιμοποιείται σε κάθε εκτέλεση. Καταγράφετε το μοντέλο, τις προτροπές, τα εργαλεία, το στιγμιότυπο δεδομένων, το περιβάλλον, τους προϋπολογισμούς και τις εκδόσεις των αξιολογητών. Διαφορετικά, δεν είναι δυνατό να αποδοθεί μια αλλαγή στη βαθμολογία σε κάποια ουσιαστική αιτία.

Συνηθισμένα λάθη στην αξιολόγηση

Η διαρροή δεδομένων αποτελεί έναν ακόμη κίνδυνο. Αν οι εργασίες αξιολόγησης, οι αναμενόμενες απαντήσεις ή τα μοτίβα των αξιολογητών εμφανίζονται στα δεδομένα εκπαίδευσης του μοντέλου ή στο πλαίσιο της προτροπής, η βαθμολογία μπορεί να μετρά την αναγνώριση αντί για τη δυνατότητα γενίκευσης. Διατηρείτε ιδιωτικές εργασίες αξιολόγησης που δεν χρησιμοποιούνται στην εκπαίδευση, ανανεώνετε τις περιπτώσεις καθώς αλλάζουν τα συστήματα και καταγράφετε το ακριβές μοντέλο, την προτροπή, τις εκδόσεις των εργαλείων και το περιβάλλον που χρησιμοποιήθηκαν σε κάθε εκτέλεση.

• Αξιολόγηση με βάση τις επιδείξεις: επιλογή εργασιών αφού πρώτα διαπιστωθεί σε τι τα πηγαίνει καλά ο πράκτορας.
• Βαθμολόγηση μόνο της τελικής απάντησης: αγνόηση μη ασφαλών ή σπάταλων διαδρομών ενεργειών.
• Συμπεράσματα από μία μόνο εκτέλεση: αντιμετώπιση μιας τυχαίας επιτυχίας ως σταθερής ικανότητας.
• Δοκιμές με διαρροές: τοποθέτηση της απάντησης ή της διαδρομής αναφοράς στο πλαίσιο του πράκτορα.
• Μη επικυρωμένοι αξιολογητές μοντέλων: παραδοχή ότι ένας αυτοματοποιημένος κριτής έχει δίκιο, χωρίς να ελέγχεται αν συμφωνεί με τους ειδικούς.
• Στατικά περιβάλλοντα: δοκιμή μίας μόνο διεπαφής, κατάστασης λογαριασμού ή διάταξης δεδομένων.
• Απουσία αρνητικών δοκιμών: μέτρηση της ολοκλήρωσης εργασιών χωρίς έλεγχο του κατά πόσο ο πράκτορας αρνείται ή κλιμακώνει το ζήτημα με τον κατάλληλο τρόπο.
• Αγνόηση της οικονομικής διάστασης: βελτιστοποίηση της επιτυχίας, ενώ το κόστος και η καθυστέρηση καθίστανται μη αποδεκτά.

Από τις αξιολογήσεις εκτός σύνδεσης στην παρακολούθηση παραγωγής

Οι αξιολογήσεις εκτός σύνδεσης είναι ελεγχόμενες και επαναλήψιμες. Είναι ιδανικές για τη σύγκριση προτροπών, μοντέλων, εργαλείων και πολιτικών πριν από την κυκλοφορία. Η παρακολούθηση στην παραγωγή αποκαλύπτει το ευρύ φάσμα πραγματικών συμπεριφορών των χρηστών και των αλλαγών στο περιβάλλον.

Ένα ώριμο πρόγραμμα συνδέει τα δύο. Τα περιστατικά και τα ίχνη παραγωγής με χαμηλό βαθμό εμπιστοσύνης μετατρέπονται σε νέες εργασίες αξιολόγησης εκτός σύνδεσης. Οι υποψήφιες αλλαγές πρέπει να περνούν τη σουίτα δοκιμών παλινδρόμησης. Μετά την ανάπτυξη, οι ομάδες παρακολουθούν την επιτυχία των εργασιών, τα ποσοστά παρέμβασης, τα συμβάντα που σχετίζονται με πολιτικές, τα σφάλματα εργαλείων, το κόστος, την καθυστέρηση και τα σχόλια των χρηστών.

Μια πρακτική κάρτα βαθμολόγησης για πράκτορες

Μια κάρτα βαθμολόγησης πρέπει να διακρίνει τα απαράβατα κριτήρια από τις μετρικές βελτιστοποίησης. Η συμμόρφωση με τις πολιτικές, η εξουσιοδότηση και τα απαιτούμενα τεκμήρια μπορούν να αποτελούν κριτήρια επιτυχίας ή αποτυχίας· στη συνέχεια, η ακρίβεια, η καθυστέρηση, το κόστος και η προσπάθεια των αξιολογητών μπορούν να συγκρίνονται μεταξύ των αποδεκτών εκτελέσεων. Έτσι αποτρέπεται η ανταλλαγή ενός μικρού κέρδους αποδοτικότητας με υποβάθμιση της ασφάλειας, την οποία θα απέκρυπτε μια συνολική μέση βαθμολογία.

Μια χρήσιμη κάρτα βαθμολόγησης μπορεί να περιλαμβάνει:

• ποσοστό επιτυχίας εργασιών και βαθμολογία ποιότητας·
• συνέπεια σε επαναλαμβανόμενες δοκιμές·
• ποσοστό κρίσιμων παραβιάσεων πολιτικών·
• ακρίβεια στην επιλογή εργαλείων και στα ορίσματά τους·
• ποσοστό ανάκαμψης μετά από αστοχίες εργαλείων ή περιβάλλοντος·
• ποσοστό κλιμάκωσης σε ανθρώπους και παράκαμψης από αυτούς·
• διάμεση καθυστέρηση και καθυστέρηση στις ακραίες τιμές·
• κόστος μοντέλου, εργαλείων και ανθρώπινης εργασίας ανά επιτυχημένη εργασία·
• αποδοτικότητα της διαδρομής ενεργειών σε σύγκριση με ένα εύλογο σημείο αναφοράς.

Αναφέρετε το κόστος ανά επιτυχημένη εργασία και όχι μόνο το κόστος ανά εκτέλεση. Ένας φθηνός πράκτορας που αποτυγχάνει επανειλημμένα μπορεί να κοστίζει περισσότερο από ένα ισχυρότερο μοντέλο που επιτυγχάνει με την πρώτη.

Τι να θυμάστε για την αξιολόγηση ενός πράκτορα ΤΝ

Η αξιολόγηση πρακτόρων είναι η συστηματική δοκιμή ενός ολοκληρωμένου συστήματος που κατευθύνεται από στόχους, υπό ρεαλιστικές συνθήκες. Μετρά αν η εργασία είναι σωστή, αν η πορεία είναι αποδεκτή, αν η συμπεριφορά επαναλαμβάνεται με συνέπεια και αν το οικονομικό κόστος είναι εύλογο.

Ξεκινήστε με ένα μικρό σύνολο σημαντικών εργασιών, πολλαπλές δοκιμές, αξιολογητές σε διαδοχικά επίπεδα και πλήρεις διαδρομές ενεργειών. Έπειτα, μετατρέψτε κάθε ουσιαστική αστοχία στην παραγωγή σε δοκιμή παλινδρόμησης. Οι δυνατότητες των πρακτόρων αλλάζουν γρήγορα· ένα ανθεκτικό σύστημα αξιολόγησης βοηθά τις ομάδες να ξεχωρίζουν την πραγματική πρόοδο από μια πειστική επίδειξη.