Jev και η Νέα Στρώση Απόφασης για AI Πράκτορες

Γιατί τα μοντέλα System One θα μπορούσαν να διαχωρίσουν την γρήγορη κρίση από τη αργή λογική

Πολλοί πράκτορες AI χρησιμοποιούν ένα μοντέλο γλώσσας για σχεδόν όλες τις αποφάσεις τους. Το μοντέλο γλώσσας επιλέγει ένα εργαλείο, αξιολογεί τα αποτελέσματα, καθορίζει αν πρέπει να συνεχίσει, και τελικά παράγει απαντήσεις. Ευέλικτο· ωστόσο, αυτή η διαδικασία μπορεί να είναι δαπανηρή όταν οι αποφάσεις ναι-όχι επαναλαμβάνονται σε μεγάλη κλίμακα. Η Unite.AI έχει προηγουμένως συζητήσει πώς οι ροές εργασίας με πράκτορες αυξάνουν τις κλήσεις μοντέλων, το πλαίσιο και τις επαναπροσπάθειες. Κάθε επιπλέον απόφαση μπορεί να προσθέσει χρόνο και χρήμα πριν παρέχει στους χρήστες χρήσιμες πληροφορίες.

Jev προτείνει να χωριστεί η εργασία διαφορετικά. Χρησιμοποιήστε ένα μοντέλο σχεδιασμένο για περιορισμένες κρίσεις, όπου το σύνολο των απαντήσεων είναι καθορισμένο. Χρησιμοποιήστε ένα γενετικό μοντέλο για ανοιχτό-τέλος λογική και γλώσσα. Το Jev υποστηρίζει ότι η κύρια ιδέα εδώ δεν είναι ότι όλοι οι πράκτορες πρέπει να αγοράσουν ένα νέο προϊόν. Η βασική έννοια είναι ότι ένας πράκτορας δεν χρειάζεται τον ίδιο τύπο νοημοσύνης σε κάθε σημείο.

Τι κάνει πραγματικά το Jev

Η TypeSafe παρουσίασε το Jev τον Σεπτέμβριο του 2026, το πρώτο από τα νέα μοντέλα System One. Το Jev δεν γράφει κείμενο. Αντίθετα, του στέλνετε μια κατάσταση (όπως ένα μήνυμα υποστήριξης και δεδομένα χρήστη). Στέλνετε επίσης μία ή περισσότερες ερωτήσεις που έχουν προκαθορισμένους τύπους απαντήσεων. Στη συνέχεια, το Jev ανταποκρίνεται με τυποποιημένες απαντήσεις και πιθανότητες.

Σύμφωνα με την την επίσημη τεκμηρίωση της εταιρείας, υπάρχουν τρία πρωτογενή στοιχεία για τη λήψη αποφάσεων:

• Choice σας επιτρέπει να επιλέξετε από προκαθορισμένες επιλογές.
• Score σας επιτρέπει να αξιολογήσετε κάτι βάσει μιας διατεταγμένης κλίμακας.
• Noul εκτιμά την πιθανότητα μια δήλωση να είναι αληθής.

Μπορείτε να θέσετε πολλαπλές ανεξάρτητες ερωτήσεις σχετικά με την ίδια κατάσταση σε ένα αίτημα.

Για παράδειγμα, ας υποθέσουμε ότι διαχειρίζεστε ένα ζήτημα εξυπηρέτησης πελατών. Ένα σύστημα μπορεί να θέλει να καθορίσει ποια ομάδα πρέπει να αναλάβει αυτήν την περίπτωση. Μπορεί επίσης να προσδιορίσει πόσο γρήγορα πρέπει να απαντήσει κάποιος και αν ο πελάτης ζήτησε επιστροφή χρημάτων.

Ένα μοντέλο συνομιλίας θα μπορούσε ενδεχομένως να εκτελέσει και τις τρεις εργασίες. Ωστόσο, θα πρέπει να επιστρέψει τα αποτελέσματα στην εφαρμογή σας ως δομημένη απόκριση. Αντίθετα, το Jev παρέχει μόνο αυτές τις περιορισμένες αποφάσεις. Η εφαρμογή σας θα αποφασίζει τότε ποια ενέργεια να αναλάβει με βάση αυτές τις αποφάσεις.

Η Αρχιτεκτονική Μεταβολή Σημαίνει Περισσότερο από το Μοντέλο

Η πλειονότητα αυτών των συζητήσεων συγκρίνει μεγάλα μοντέλα με μικρά. Το Jev προτείνει ένα εναλλακτικό όριο. Ορισμένα βήματα περιλαμβάνουν δημιουργία κειμένου. Άλλα είναι στενές κρίσεις που μπορεί να καταναλώσει το λογισμικό.

Αυτό δημιουργεί μια στρώση απόφασης στον πράκτορα. Το μοντέλο θα κάνει εκτίμηση. Το λογισμικό θα εφαρμόσει πολιτική. Εάν η εκτιμώμενη πιθανότητα υπερβεί ένα δοκιμασμένο όριο και η ενέργεια είναι χαμηλού κινδύνου και αντιστρέψιμη, η ροή εργασίας μπορεί να συνεχιστεί. Εάν υπάρχει αβεβαιότητα στα αποτελέσματα ή εάν η ενέργεια θα μπορούσε να έχει σοβαρές συνέπειες, το σύστημα μπορεί να ζητήσει ανθρώπινη επίβλεψη. Ένα μοντέλο λογικής μπορεί να βοηθήσει στην διερεύνηση της αβεβαιότητας, αλλά δεν αντικαθιστά την απαιτούμενη ανθρώπινη έγκριση.

Σχήμα 1. Ένα περιορισμένο μονοπάτι απόφασης διατηρεί τα όρια, τα δικαιώματα και την κλιμάκωση στον κώδικα.

Υπάρχουν ομοιότητες με τη δρομολόγηση μοντέλων, αλλά υπάρχει μια κρίσιμη διαφορά. RouteLLM λαμβάνει αποφάσεις σχετικά με το ποιο από τα δύο μοντέλα γλώσσας θα επιλεγεί. Επιλέγει μεταξύ ενός ισχυρότερου και ενός πιο αδύναμου μοντέλου για να ισορροπήσει την ποιότητα και το κόστος. Ένα μοντέλο System One παράγει περιορισμένες κρίσεις που ο κώδικας μπορεί να χρησιμοποιήσει άμεσα. Αυτές οι κρίσεις μπορούν να υποστηρίξουν τη δρομολόγηση μοντέλων καθώς και άλλες αποφάσεις μέσα σε έναν πράκτορα.

Γιατί οι Βρόχοι Πράκτορα Είναι Φυσική Επιλογή

Η φύση των βρόχων πρακτόρων τους καθιστά ιδιαίτερα κατάλληλους για τη λήψη πολυάριθμων κρίσεων σε πολύ μικρά επίπεδα. Αυτές οι κρίσεις βοηθούν στην επίτευξη του τελικού αποτελέσματος. Με άλλα λόγια, οι πράκτορες πρέπει να κάνουν πολλές «μικρές» κρίσεις μετά την υποβολή της ερώτησης ή του αιτήματος από τον χρήστη. Αυτές οι κρίσεις συμβαίνουν πριν επιστραφεί η απάντηση ή το αποτέλεσμα.

Ένα παράδειγμα θα ήταν η απόφαση για το ποια εργαλεία θα χρησιμοποιηθούν, η κατάταξη των ανακτημένων εγγραφών και η αξιολόγηση του κινδύνου. Το σύστημα επίσης καθορίζει αν υπάρχουν επαρκή αποδεικτικά στοιχεία και αν η διαδικασία πρέπει να συνεχιστεί. Πιθανότατα όλα αυτά θα συμβαίνουν επανειλημμένα. Επιπλέον, οι καθυστερήσεις μεταξύ κάθε βρόχου μπορούν να συσσωρευτούν με την πάροδο του χρόνου.

Αυτός ο ρόλος για τους βρόχους πρακτόρων παραδειγματίζεται από ενσωμάτωση του Jev στο LangChain, όπου το Jev μπορεί να εκτελεί τόσο τη δρομολόγηση μοντέλων όσο και ελέγχους κλήσεων εργαλείων. Ενώ το Jev ενσωματώνεται γύρω από τις άκρες του γενετικού μοντέλου, το ίδιο το γενετικό μοντέλο συνεχίζει να σχεδιάζει και να παράγει περιεχόμενο. Αυτό αντιπροσωπεύει μια πολύ πιο ρεαλιστική περίπτωση χρήσης για το Jev. Συμπληρώνει ένα γενικού σκοπού μοντέλο γλώσσας αντί να το αντικαθιστά.

Επιπλέον, ο παράλληλος διαχωρισμός ερωτήσεων αλλάζει επίσης τον τρόπο με τον οποίο οι ομάδες σκέφτονται τη διάσπαση των εργασιών. Συγκεκριμένα, οι ομάδες μπορούν να διασπάσουν μια ασαφή οδηγία σε πολλαπλές διακριτές ερωτήσεις αξιολόγησης. Αυτό μπορεί ενδεχομένως να οδηγήσει σε πολύ πιο σύντομη ακολουθία κλήσεων μοντέλου. Μπορεί να δημιουργήσει μια ροή εργασίας που είναι πολύ πιο εύκολη στην αξιολόγηση. Επιπλέον, επιτρέπει στους προγραμματιστές να χρησιμοποιούν ρητή επιχειρηματική λογική για να συνδυάζουν τις προκύπτουσες κρίσεις.

Τα γενικού σκοπού μοντέλα γλώσσας μπορούν να παράγουν δομημένη έξοδο και ενδέχεται να είναι η καλύτερη επιλογή σε ορισμένες περιπτώσεις. Για παράδειγμα, μπορεί να χρειάζεται να παρασχεθεί ταυτόχρονα μια απόφαση και μια εξήγηση. Συνεπώς, το Jev πρέπει να αποδείξει κάτι περισσότερο από τη συμμόρφωση με το σχήμα για να θεωρηθεί αποτελεσματικό.

Η αποτελεσματικότητα του Jev εξαρτάται από την επίτευξη μείωσης της συνολικής καθυστέρησης του συστήματος. Εξαρτάται επίσης από την παραγωγή χρήσιμων εκτιμήσεων πιθανότητας και την επίδειξη σταθερότητας στην απόδοση σε διαφορετικές εισόδους. Εάν το Jev αποτύχει να παραδώσει αυτά τα οφέλη, η επιλογή άλλου μοντέλου θα προσθέσει μόνο επιπλέον κόστος ανάπτυξης και λειτουργίας.

Σημαίνει η Τυποποίηση Σωστή;

Η γλώσσα που χρησιμοποιείται όταν γίνονται ισχυρισμοί για το Jev πρέπει επίσης να διατυπώνεται προσεκτικά. Δεδομένου ότι ο χώρος εξόδου ορίζεται εκ των προτέρων, το μοντέλο δεν πρέπει να επιστρέφει ένα εφεύρετο πεδίο ή μια μη αναγνώσιμη παράγραφο. Αυτό εξαλείφει μια μορφή αποτυχίας· δεν εξαλείφει το σημασιολογικό σφάλμα. Δεν υπάρχει τίποτα που να εμποδίζει ένα σύστημα από το να επιστρέψει λάθος τμήμα, να εκχωρήσει λανθασμένο επίπεδο κινδύνου ή να δηλώσει υπερβολική βεβαιότητα. Μπορεί να κάνει όλα αυτά ενώ είναι πλήρως τύπου-ασφαλές.

Το δικό του τεκμηρίωση του System One κάνει μια σημαντική διάκριση. Η βαθμονόμηση μετράται μεταξύ ομάδων προβλέψεων· δεν εγγυάται τη σωστή πρόβλεψη ενός μεμονωμένου στοιχείου. Σε παραγωγή, αυτό έχει συνέπειες. Οι ομάδες πρέπει να ελέγξουν εάν οι προβλεπόμενες πιθανότητες ταιριάζουν με τα παρατηρηθέντα αποτελέσματα στα δικά τους δεδομένα.

Τα αποδεικτικά στοιχεία απόδοσης παραμένουν πρώιμα

Η TypeSafe αναφέρει χρόνους απόκρισης 70 έως 500 χιλιοστά του δευτερολέπτου. Αναφέρεται επίσης σε σημαντικές εξοικονομήσεις κόστους και βελτιώσεις ταχύτητας στις εσωτερικές αξιολογήσεις ροής εργασίας. Επιπλέον, η TypeSafe υποδεικνύει ότι αυτά τα εντυπωσιακά κέρδη είναι πιθανό να βρίσκονται στο υψηλό άκρο των πραγματικών κερδών. Η TypeSafe’s δημόσια διαθέσιμη δοκιμή ροής εργασίας χρησιμοποιεί αναφορικές πιθανότητες που παρέχονται από άλλα μοντέλα αιχμής αντί για ετικέτες πραγματικού εδάφους. Τα αποτελέσματα είναι χρήσιμα για τη διαμόρφωση υποθέσεων. Τα αποτελέσματα δεν μπορούν να αντικαταστήσουν μια ανεξάρτητη δοκιμή έναντι πραγματικού φορτίου εργασίας.

Μια Πρακτική Δοκιμή Πριν την Υιοθέτηση

Όταν δημιουργείτε την πρώτη σας ροή αποφάσεων με τεχνητή νοημοσύνη, μην επιλέγετε τις πιο κρίσιμες αποφάσεις (π.χ., ιατρικές εγκρίσεις ή αναστολές λογαριασμών). Αντίθετα, επιλέξτε κάτι πολύ κοινό, αντιστρέψιμο και εύκολο στην ανασκόπηση από άλλα μέλη της ομάδας. Αυτό περιλαμβάνει, αλλά σίγουρα δεν περιορίζεται, στην δρομολόγηση αιτημάτων, την κατηγοριοποίηση εγγράφων, την επιλογή μοντέλου και την χαμηλού κινδύνου διασφάλιση ποιότητας.

Τέσσερις ερωτήσεις θα σας βοηθήσουν να αξιολογήσετε αν αυτό θα λειτουργήσει:

• Έχει η έξοδος πεπερασμένο αριθμό πιθανών απαντήσεων;
• Μπορείτε να διατυπώσετε σαφώς τα κριτήρια για την κρίση;
• Υπάρχουν μετρήσιμα αποτελέσματα; Παρακολουθήστε την πρόβλεψη, την πιθανότητά της, τη δράση και τα επακόλουθα αποτελέσματα. Ελέγχετε τη βαθμονόμηση τακτικά συγκρίνοντας τις προβλεπόμενες πιθανότητες με τα παρατηρηθέντα αποτελέσματα.
• Έχετε εναλλακτικό σχέδιο σε περίπτωση αποτυχίας της αυτοματοποιημένης διαδικασίας απόφασης; Προσδιορίστε ένα συγκεκριμένο σημείο για χρήση μοντέλου λογικής, ζήτηση περισσότερων πληροφοριών ή εμπλοκή ανθρώπου.

Η ανάλυσή σας πρέπει να περιλαμβάνει ολόκληρη τη ροή εργασίας, συμπεριλαμβανομένης της διαδικασίας λήψης αποφάσεων. Χρησιμοποιήστε μετρικές όπως η ακρίβεια απόφασης, τα ποσοστά αποχής ή κλιμάκωσης, ο συνολικός χρόνος επεξεργασίας από άκρη σε άκρη, το κόστος ανά επιτυχώς ολοκληρωμένη εργασία και η επίδραση των λαθών. Εκτελέστε δοκιμές σε δυσμενείς συνθήκες: μεταβαλλόμενη χρήση λέξεων, παράλειψη σχετικών δεδομένων, σπάνιες κατηγορίες και εχθρικές εισροές. Ένας βελτιστοποιημένος ταξινομητής που δημιουργεί επιπλέον κόστη downstream δεν αποτελεί βελτιστοποίηση.

Το Μακροπρόθεσμο Μάθημα Εδώ

Αν το Jev πετύχει, αλλάξει σημαντικά ή αντικατασταθεί γρήγορα, ένα πράγμα παραμένει σταθερό. Το αρχιτεκτονικό ερώτημα παραμένει. Είναι απαραίτητο κάθε μηχανική απόφαση να αποδίδεται ως παραγόμενη γλώσσα;

Σε πολλές περιπτώσεις, η απάντηση είναι «όχι». Σε περιβάλλον παραγωγής, ένα σύστημα που χρησιμοποιεί γενετικά μοντέλα μπορεί να παράγει ερμηνείες, σχέδια και εξηγήσεις. Χρησιμοποιώντας περιορισμένα μοντέλα απόφασης, το ίδιο σύστημα μπορεί να δρομολογεί, να βαθμολογεί και να φιλτράρει. Ο κώδικας μπορεί να συνεχίσει να καθορίζει αποδεκτές τιμές κατωφλίου και δικαιώματα. Οι άνθρωποι πρέπει να παραμένουν υπεύθυνοι για τις αποφάσεις που επηρεάζουν τη ζωή των άλλων.

Αν και αυτό αντιπροσωπεύει μια λιγότερο δραματική προοπτική από το να έχει ένα αυτόνομο μοντέλο να εκτελεί όλα τα καθήκοντα αξιόπιστα, αντικατοπτρίζει πώς δημιουργούνται αξιόπιστα συστήματα. Η επόμενη πρόοδος στην απόδοση για τους πράκτορες μπορεί να εξαρτάται από την επιλογή εκείνων των περιοχών του συστήματος όπου η σκέψη διαρκεί περισσότερο. Άλλες περιοχές χρειάζονται γρήγορες αποφάσεις, και κάποιες δεν απαιτούν καθόλου ενέργεια.