Η AWS παρουσιάζει το UAEF για την αξιολόγηση πρακτόρων ΤΝ σε διαφορετικά πλαίσια

Στις 11 Νοεμβρίου 2026, η AWS δημοσίευσε μια τεχνική παρουσίαση του Universal Agent Evaluation Framework (UAEF), ενός συστήματος ανοικτού κώδικα με άδεια Apache-2.0, το οποίο αξιολογεί πράκτορες ΤΝ χρησιμοποιώντας 36 ενσωματωμένες μετρικές σε επτά διαστάσεις.

Το UAEF έχει σχεδιαστεί ώστε οι αξιολογήσεις να παραμένουν συγκρίσιμες στα LangGraph, LangChain, Strands Agents και Amazon Bedrock AgentCore. Τα συγκεκριμένα πλαίσια καταγράφουν με διαφορετικό τρόπο τα μηνύματα, τις κλήσεις εργαλείων και τις μεταβιβάσεις μεταξύ πρακτόρων, με αποτέλεσμα ο κώδικας αξιολόγησης που είναι προσαρμοσμένος σε μία μορφή να μπορεί να απαιτεί νέες μετρικές, λογική βαθμολόγησης και αποθήκευση αποτελεσμάτων μετά από αλλαγή πλαισίου. Αυτό δυσκολεύει τη διαπίστωση του κατά πόσο μια αλλαγή στην προτροπή, στο μοντέλο ή στα εργαλεία βελτίωσε τον πράκτορα.

Η AWS αναφέρει ότι πελάτες από 12 οργανισμούς στους τομείς των τηλεπικοινωνιών, της υγειονομικής περίθαλψης και των χρηματοοικονομικών υπηρεσιών χρησιμοποίησαν το UAEF για να εφαρμόσουν συνεπείς μετρικές και να συγκρίνουν εκδόσεις πρακτόρων πριν από την κυκλοφορία τους. Το αποθετήριο awslabs/uaef περιλαμβάνει τη βιβλιοθήκη Python, προσαρμογείς για πλαίσια, μετρικές, υποδομή ανάπτυξης στο AWS, διεπαφή ιστού και σημειωματάρια με δυνατότητα εκτέλεσης.

Κανονικοποιημένα ίχνη για κοινή βαθμολόγηση

Οι προσαρμογείς κανονικοποιούν τα μηνύματα, τις κλήσεις εργαλείων και τις μεταβιβάσεις κάθε πράκτορα σε μια κανονική μορφή AgentTrace, τη μοναδική αναπαράσταση που χρησιμοποιεί η μηχανή βαθμολόγησης. Το UAEF μπορεί να προσαρμόσει ένα υπάρχον ίχνος από προηγούμενη εκτέλεση, αρχείο καταγραφής ή αποθήκη παρατηρησιμότητας, ή να καλέσει έναν πράκτορα μέσω ενός ονόματος πόρου Amazon κατά τον χρόνο εκτέλεσης ή ενός τελικού σημείου HTTP και να μετατρέψει την εκτέλεση που προκύπτει. Ένας γενικός προσαρμογέας JSON επεκτείνει τη διαδικασία και σε προσαρμοσμένα πλαίσια.

Ο κατάλογος μετρικών οργανώνει τις ενσωματωμένες μετρικές στις εξής κατηγορίες: κλήσεις εργαλείων, ποιότητα απαντήσεων, υπεύθυνη ΤΝ, απόδοση, συνομιλία πολλαπλών γύρων, συντονισμός πολλών πρακτόρων και συλλογιστική. Οι βαθμολογίες χρησιμοποιούν κανονικοποιημένη κλίμακα από 0 έως 1, όπου το 1 είναι το άριστο. Οι ντετερμινιστικές μετρικές υπολογίζονται απευθείας από τα ίχνη και τα δεδομένα αναφοράς, ενώ οι μετρικές στις οποίες κριτής είναι ένα LLM χρησιμοποιούν ένα μοντέλο στο Amazon Bedrock για την αξιολόγηση χαρακτηριστικών όπως η συνάφεια και η ασφάλεια. Υποστηρίζονται επίσης προσαρμοσμένες μετρικές, καθώς και ενσωματώσεις με τα RAGAS και DeepEval.

Οι απαντήσεις αναφοράς είναι προαιρετικές συνολικά, αν και οι μετρικές σύγκρισης με αναφορά τις απαιτούν. Η αξιολόγηση κλήσεων εργαλείων μπορεί επίσης να ορίζει τα αναμενόμενα εργαλεία, τη σειρά τους και τα ορίσματά τους. Όταν μια μετρική δεν διαθέτει τα απαραίτητα δεδομένα εισόδου, δεν επιστρέφει βαθμολογία και εμφανίζει προειδοποίηση· το κενό αυτό αποτέλεσμα εξαιρείται από τους μέσους όρους των διαστάσεων αντί να υπολογίζεται ως μηδέν. Επομένως, μπορούν και πάλι να αξιολογηθούν μερικώς επισημασμένα σύνολα δεδομένων και μη επισημασμένη κίνηση παραγωγής, με τις μετρικές για τις οποίες υπάρχουν διαθέσιμα δεδομένα εισόδου.

Τα αποθηκευμένα πειράματα αποκαλύπτουν παλινδρομήσεις

Οι αξιολογήσεις που διατηρούνται αποθηκευμένες μετατρέπονται σε πειράματα. Το Amazon DynamoDB αποθηκεύει μεταδεδομένα για την καταχώριση και τη σύγκριση, όπως τον αριθμό των αξιολογήσεων και τις μέσες βαθμολογίες, ενώ το Amazon S3 διατηρεί τα πλήρη αποτελέσματα σε μορφή JSON, με βαθμολογίες ανά μετρική και το σκεπτικό του αξιολογητή. Σε κάθε μεμονωμένη εκτέλεση μπορούν να καταγράφονται το πλαίσιο, το μοντέλο, τα εργαλεία, η προτροπή συστήματος, οι παράμετροι, ένα στιγμιότυπο της διαμόρφωσης και η υποβολή Git, συνδέοντας κάθε βαθμολογία με τον σχεδιασμό του υπό δοκιμή πράκτορα. Το UAEF ελέγχει τα ίχνη για προσωπικές πληροφορίες πριν από την αποθήκευση και παρέχει δυνατότητα απόκρυψης στοιχείων από τα αποθηκευμένα αποτελέσματα.

Για τις μετρικές που είναι κοινές σε δύο εκτελέσεις, η μηχανή σύγκρισης υπολογίζει τις απόλυτες και ποσοστιαίες μεταβολές σε σχέση με μια γραμμή βάσης. Ένα διαμορφώσιμο όριο, το οποίο έχει οριστεί από προεπιλογή στο 5%, διακρίνει τις βελτιώσεις, τις παλινδρομήσεις και τα αμετάβλητα αποτελέσματα· οι παλινδρομήσεις χαρακτηρίζονται ως ήπιες, μέτριες ή σοβαρές και ομαδοποιούνται ανά διάσταση. Η ομαδοποίηση αυτή μπορεί να δείξει αν μια αναθεώρηση της προτροπής επηρέασε τις κλήσεις εργαλείων χωρίς να μεταβάλει την ποιότητα των απαντήσεων.

Οι αναφορές διαχωρίζουν τις αναπαραγώγιμες στατιστικές από την ερμηνεία που παράγεται από μοντέλο. Η διεπαφή ιστού παρουσιάζει αποτελέσματα ανά δοκιμαστική περίπτωση και διάσταση, ενώ μια προαιρετική στατιστική αναφορά καλύπτει τις κατανομές βαθμολογιών, τα διαστήματα εμπιστοσύνης, τις ακραίες τιμές, τις συσχετίσεις μεταξύ μετρικών και τις αποτυχημένες δοκιμαστικές περιπτώσεις, χωρίς να χρησιμοποιεί LLM. Μια ξεχωριστή ανάλυση, που παράγεται από το Bedrock, μπορεί να προτείνει τις βασικές αιτίες και ιεραρχημένα επόμενα βήματα για μία εκτέλεση ή για μια σύγκριση.

Η βιβλιοθήκη Python και η διαδικτυακή υπηρεσία χαμηλού κώδικα χρησιμοποιούν την ίδια μηχανή αξιολόγησης και τις ίδιες αποθήκες. Οι ομάδες μπορούν να εκτελούν αξιολογήσεις σε σημειωματάρια, σενάρια και αγωγούς συνεχούς ενοποίησης και συνεχούς παράδοσης ή μέσω προγράμματος περιήγησης, χωρίς να αλλάζει ο τρόπος βαθμολόγησης και σύγκρισης των αποτελεσμάτων.

Εξαρτήσεις από AWS και όρια απομόνωσης

Ο οδηγός εγκατάστασης απαιτεί Python 3.10 ή νεότερη έκδοση και τον διαχειριστή πακέτων uv. Για την αξιολόγηση από κριτή μέσω Bedrock και την αποθήκευση σε DynamoDB/S3 απαιτούνται διαπιστευτήρια AWS, επομένως οι ομάδες που χρησιμοποιούν αυτές τις λειτουργίες αξιολόγησης και αποθήκευσης παραμένουν συνδεδεμένες με υπηρεσίες AWS, ακόμη και όταν οι πράκτορές τους χρησιμοποιούν διαφορετικά πλαίσια.

Το UAEF αντιμετωπίζει τις εξόδους του υπό αξιολόγηση πράκτορα ως μη έμπιστες εισόδους για τις προτροπές των κριτών. Στέλνει χωριστά τα κριτήρια αξιολόγησης, διαφεύγει το περιεχόμενο, αναλύει αυστηρά τις απαντήσεις των κριτών και απαιτεί ένα αυτούσιο απόσπασμα τεκμηρίωσης πριν αποδεχτεί μια βαθμολογία. Η AWS επισημαίνει ότι οι βαθμολογίες των κριτών δεν θα πρέπει να χρησιμοποιούνται ως πύλη για τους ελέγχους ασφαλείας· η επιβολή των κανόνων κατά τον χρόνο εκτέλεσης πρέπει να γίνεται μέσω ξεχωριστής διαδρομής κλήσης του Amazon Bedrock Guardrails.

Το αποθετήριο περιγράφει το UAEF ως αρχιτεκτονική αναφοράς, σχεδιασμένη για λειτουργία εντός μιας πλατφόρμας που παρέχει απομόνωση χρηστών και μισθωτών. Δεν υποστηρίζεται η απευθείας ανάπτυξη σε περιβάλλον πολλών μισθωτών χωρίς την επιβολή αυτών των μέτρων από την πλατφόρμα υποδοχής. Κάθε μισθωτής χρειάζεται ξεχωριστή ανάπτυξη με δικό του λογαριασμό AWS ή, κατ’ ελάχιστον, δική του στοίβα, δικούς του πίνακες DynamoDB, κάδους S3 και ομάδα χρηστών Cognito.

Για τις επιχειρήσεις που χρησιμοποιούν πολλά πλαίσια πρακτόρων, το UAEF προσφέρει μια σταθερή βάση βαθμολόγησης, η οποία παραμένει αξιόπιστη παρά τις αλλαγές στις προτροπές, τα μοντέλα, τα εργαλεία ή την υλοποίηση. Για να διασφαλιστεί αυτή η συνέχεια, δεν αρκεί η εγκατάσταση της βιβλιοθήκης: οι χρήσιμες συγκρίσεις εξαρτώνται από κατάλληλες μετρικές και σύνολα δεδομένων, ενώ η χρήση σε περιβάλλον πολλών μισθωτών προϋποθέτει απομόνωση που παρέχεται εκτός του UAEF.