Αυτοί Μας Υποσχέθηκαν Πράκτορες, αλλά Ό,τι Πήραμε Ήταν Στατικά Σύνδεσμοι

Την άνοιξη του 2023, ο κόσμος ενθουσιάστηκε με την εμφάνιση των LLM-βασισμένων πρακτόρων AI. Δυνατά demos όπως το AutoGPT και το BabyAGI επέδειξαν το δυναμικό των LLMs που τρέχουν σε βρόχο, επιλέγοντας την επόμενη ενέργεια, παρατηρώντας τα αποτελέσματά της και επιλέγοντας την επόμενη ενέργεια, ένα βήμα κάθε φορά (γνωστό και ως πλαίσιο ReACT). Αυτή η νέα μέθοδος αναμενόταν να δώσει ενέργεια σε πράκτορες που θα εκτελούσαν αυτόνομα και γενικά πολλαπλά βήματα. Δώστε τους ένα στόχο και ένα σύνολο εργαλείων και θα φροντίσουν για το υπόλοιπο. Μέχρι το τέλος του 2024, το τοπίο θα ήταν γεμάτο από πράκτορες AI και πλαίσια κατασκευής πρακτόρων. Nhưng πώς μετρούνται αυτά τα πράγματα ενάντια στην υπόσχεση;

Είναι ασφαλές να πούμε ότι οι πράκτορες που τροφοδοτούνται από το ναΐφ πλαίσιο ReACT υποφέρουν από σοβαρές περιορισμούς. Δώστε τους μια εργασία που απαιτεί περισσότερα από quelques βήματα, χρησιμοποιώντας περισσότερα από quelques εργαλεία και θα αποτύχουν με λύπη. Πέρα από τα προφανή προβλήματα καθυστερήσεων, θα χάσουν την πορεία, θα αποτύχουν να ακολουθήσουν τις οδηγίες, θα σταματήσουν πολύ νωρίς ή πολύ αργά, και θα παράγουν εξαιρετικά διαφορετικά αποτελέσματα σε κάθε προσπάθεια. Και δεν είναι τυχαίο. Το πλαίσιο ReACT παίρνει τις περιορισμούς των απρόβλεπτων LLMs και τις ενισχύει με τον αριθμό των βημάτων. Ωστόσο, οι κατασκευαστές πρακτόρων που επιδιώκουν να λύσουν πραγματικές περιπτώσεις χρήσης, ιδίως στην επιχείρηση, δεν μπορούν να ανταποκριθούν σε αυτό το επίπεδο απόδοσης. Χρειάζονται αξιόπιστα, προβλέψιμα και εξηγημένα αποτελέσματα για σύνθετα πολλαπλά βήματα. Και χρειάζονται συστήματα AI που να μετριάζουν, παρά να ενισχύουν, την απρόβλεπτη φύση των LLMs.

Ετσι, πώς κατασκευάζονται οι πράκτορες στην επιχείρηση σήμερα; Για περιπτώσεις χρήσης που απαιτούν περισσότερα από quelques εργαλεία και quelques βήματα (π.χ. συνομιλίας RAG), οι κατασκευαστές πρακτόρων έχουν largamente εγκαταλείψει την δυναμική και αυτόνομη υπόσχεση του ReACT για μεθόδους που βασίζονται σε στατικές αλυσίδες – τη δημιουργία προκαθορισμένων αλυσίδων που σχεδιάζονται για να λύσουν μια συγκεκριμένη περίπτωση χρήσης. Αυτή η προσέγγιση μοιάζει με την παραδοσιακή μηχανική λογισμικού και είναι μακριά από την υπόσχεση του ReACT. Επιτυγχάνει υψηλότερα επίπεδα ελέγχου και αξιοπιστίας, αλλά λείπει αυτονομία και ευελιξία. Οι λύσεις είναι因此 ανάπτυξη-εντατική, στενή σε εφαρμογή και πολύ σκληρή για να αντιμετωπίσουν υψηλά επίπεδα μεταβλητότητας στο χώρο εισόδου και το περιβάλλον.

Για να είμαστε σίγουροι, οι πρακτικές στατικών αλυσίδων possono να ποικίλλουν στο πόσο “στατικές” είναι. Ορισμένες αλυσίδες χρησιμοποιούν LLMs μόνο για να εκτελέσουν ατομικά βήματα (π.χ. για να εξαγάγουν πληροφορίες, να συνοψίσουν κείμενο ή να σχεδιάσουν ένα μήνυμα), ενώ άλλες χρησιμοποιούν επίσης LLMs για να λάβουν ορισμένες αποφάσεις δυναμικά κατά την εκτέλεση (π.χ. ένας LLM που κατευθύνει μεταξύ εναλλακτικών ροών στην αλυσίδα ή ένας LLM που επικυρώνει το αποτέλεσμα ενός βήματος για να καθορίσει εάν πρέπει να εκτελεστεί ξανά). Σε κάθε περίπτωση, όσο οι LLMs είναι υπεύθυνοι για οποιαδήποτε δυναμική λήψη αποφάσεων στη λύση – είμαστε αναπόφευκτα παγιδευμένοι σε ένα εμπόδιο μεταξύ αξιοπιστίας και αυτονομίας. Όσο μια λύση είναι πιο στατική, είναι πιο αξιοπιστή και προβλέψιμη, αλλά και λιγότερο αυτόνομη και因此 πιο στενή σε εφαρμογή και πιο ανάπτυξη-εντατική. Όσο μια λύση είναι πιο δυναμική και αυτόνομη, είναι πιο γενική και απλή να κατασκευαστεί, αλλά και λιγότερο αξιοπιστή και προβλέψιμη.

Αυτό το εμπόδιο μπορεί να αναπαρασταθεί στο ακόλουθο γράφημα:

Αυτό μας οδηγεί στο ερώτημα, γιατί δεν έχουμε δει ακόμη ένα πλαίσιο που μπορεί να τοποθετηθεί στην άνω δεξιά γωνία; Είμαστε καταδικασμένοι να κάνουμε πάντα εμπόριο αξιοπιστίας για αυτονομία; Δεν μπορούμε να πάρουμε ένα πλαίσιο που προσφέρει τη απλή διεπαφή ενός πράκτορα ReACT (πάρτε ένα στόχο και ένα σύνολο εργαλείων και φροντίστε για το υπόλοιπο) χωρίς να θυσιάζουμε την αξιοπιστία;

Η απάντηση είναι – μπορούμε και θα το κάνουμε! Αλλά για αυτό, πρέπει να συνειδητοποιήσουμε ότι το κάνουμε όλα λάθος. Όλα τα τρέχοντα πλαίσια κατασκευής πρακτόρων μοιράζονται ένα κοινό ελάττωμα: βασίζονται στα LLMs ως το δυναμικό, αυτόνομο συστατικό. Ωστόσο, το κρίσιμο στοιχείο που μας λείπει – αυτό που χρειαζόμαστε για να δημιουργήσουμε πράκτορες που είναι και αυτόνομοι και αξιοπίστοι – είναι η τεχνολογία σχεδιασμού. Και τα LLMs δεν είναι καλοί σχεδιαστές.

Αλλά πρώτα, τι είναι “σχεδιασμός”; Με “σχεδιασμό” εννοούμε την ικανότητα να μοντελοποιούμε σαφώς εναλλακτικές πορείες δράσης που οδηγούν σε ένα επιθυμητό αποτέλεσμα και να εξετάζουμε και να εκμεταλλευόμαστε αυτές τις εναλλακτικές υπό προϋποθέσεις προϋπολογισμού. Ο σχεδιασμός πρέπει να γίνεται τόσο στο μακροscopic όσο και στο μικροscopic επίπεδο. Ένας μακρο-σχεδιασμός διασπάει μια εργασία σε εξαρτημένες και ανεξάρτητες ενέργειες που πρέπει να εκτελεστούν για να επιτευχθεί το επιθυμητό αποτέλεσμα. Τι συχνά παραβλέπεται είναι η ανάγκη για μικρο-σχεδιασμό που στοχεύει να εγγυηθεί επιθυμητά αποτελέσματα στο επίπεδο της ενέργειας. Υπάρχουν πολλές διαθέσιμες στρατηγικές για την αύξηση της αξιοπιστίας και την επίτευξη εγγυήσεων στο επίπεδο της ενέργειας χρησιμοποιώντας περισσότερη υπολογιστική ισχύ. Για παράδειγμα, θα μπορούσατε να παραφράσετε ερωτήσεις αναζήτησης σεหลาย γλώσσες, να ανακτήσετε περισσότερο контекστ ανά ερώτηση, να χρησιμοποιήσετε ένα μεγαλύτερο μοντέλο και να πάρετε περισσότερες ερμηνείες από ένα LLM – όλα αυτά οδηγούν σε περισσότερα αποτελέσματα που ικανοποιούν τις απαιτήσεις, από τα οποία μπορείτε να επιλέξετε το καλύτερο. Ένας καλός μικρο-σχεδιαστής μπορεί να χρησιμοποιήσει αποτελεσματικά την υπολογιστική ισχύ για να επιτύχει τα καλύτερα αποτελέσματα υπό einen δεδομένο προϋπολογισμό υπολογιστικής ισχύος και καθυστέρησης. Έτσι, οι σχεδιαστικοί AI συστήματα μπορούν να μετριάζουν την πιθανότητα φύση των LLMs για να επιτύχουν εγγυημένα αποτελέσματα στο επίπεδο της ενέργειας. Χωρίς τέτοιες εγγυήσεις, είμαστε πάλι στο πρόβλημα της συσσώρευσης σφαλμάτων που θα υπονομεύσει ακόμη και το καλύτερο μακρο-σχεδιασμό.

Αλλά γιατί δεν μπορούν τα LLMs να χρησιμεύσουν ως σχεδιαστές; Μετά όλα, είναι ικανά να μεταφράζουν υψηλού επιπέδου οδηγίες σε λογικές αλυσίδες σκέψης ή σχέδια που ορίζονται σε φυσική γλώσσα ή κώδικα. Ο λόγος είναι ότι ο σχεδιασμός απαιτεί περισσότερα από αυτά. Ο σχεδιασμός απαιτεί την ικανότητα να μοντελοποιούμε εναλλακτικές πορείες δράσης που μπορεί να οδηγήσουν σε ένα επιθυμητό αποτέλεσμα ΚΑΙ να σκεφτόμαστε για την αναμενόμενη उपयτικότητα και αναμενόμενη κόστος (σε υπολογιστική ισχύ και/ή καθυστέρηση) κάθε εναλλακτικής. Ενώ τα LLMs μπορούν πιθανώς να δημιουργήσουν αναπαραστάσεις διαθέσιμων πορειών δράσης, δεν μπορούν να προβλέψουν την αναμενόμενη उपयτικότητα και κόστος. Για παράδειγμα, τι είναι η αναμενόμενη उपयτικότητα και κόστος της χρήσης του μοντέλου X αντί του μοντέλου Y για να παράγει μια απάντηση ανά контекστ; Τι είναι η αναμενόμενη उपयτικότητα της αναζήτησης μιας συγκεκριμένης πληροφορίας στο corpus εγγράφων που έχει indeksi ή μια κλήση API στο CRM; Το LLM σας δεν έχει καν μια ιδέα. Και για καλό λόγο – ιστορικές ιχνηλατήσεις αυτών των πιθανών χαρακτηριστικών σπάνια βρίσκονται στη φύση και δεν περιλαμβάνονται στα δεδομένα εκπαίδευσης των LLMs. Επίσης, τείνουν να είναι συγκεκριμένα για το συγκεκριμένο εργαλείο και το περιβάλλον δεδομένων στο οποίο θα λειτουργήσει το σύστημα AI, αντί για τη γενική γνώση που μπορούν να αποκτήσουν τα LLMs. Και ακόμη και αν τα LLMs μπορούσαν να προβλέψουν την αναμενόμενη उपयτικότητα και κόστος, η σκέψη για αυτά για να επιλέξουν την πιο αποτελεσματική πορεία δράσης είναι μια λογική απόφαση-θεωρητική αφαίρεση, που δεν μπορεί να υποτεθεί ότι θα εκτελεστεί αξιόπιστα από τις προβλέψεις του επόμενου token των LLMs.

Ετσι, ποια είναι τα λείπουντα συστατικά για την τεχνολογία σχεδιασμού AI; Χρειαζόμαστε μοντέλα σχεδιαστών που μπορούν να μάθουν από την εμπειρία και την προσομοίωση για να μοντελοποιήσουν εναλλακτικές πορείες δράσης και αντίστοιχες πιθανότητες उपयτικότητας και κόστους ανά μια συγκεκριμένη εργασία σε ένα συγκεκριμένο εργαλείο και περιβάλλον δεδομένων. Χρειαζόμαστε μια Γλώσσα Ορισμού Σχεδιασμού (PDL) που μπορεί να χρησιμοποιηθεί για να αναπαραστήσει και να σκεφτεί για τις πορείες δράσης και τις πιθανότητες. Χρειαζόμαστε einen μηχανισμό εκτέλεσης που μπορεί να εκτελέσει deterministically και αποτελεσματικά einen δεδομένο σχεδιασμό που ορίζεται σε PDL.

Ορισμένοι άνθρωποι ήδη εργάζονται σκληρά για να παραδώσουν αυτή την υπόσχεση. Μέχρι τότε, συνεχίστε να κατασκευάζετε στατικές αλυσίδες. Απλώς παρακαλώ μην τις ονομάζετε “πράκτορες”.