Η πρακτορική ΤΝ θα προσκρούσει σε τοίχο υποδομών πριν από τοίχο νοημοσύνης

Τα μοντέλα βελτιώνονται ταχύτερα απ’ όσο μπορούμε να εξυπηρετήσουμε όσα τους ζητούν.

Οι περισσότερες συζητήσεις για την πορεία των πρακτόρων ΤΝ αφορούν τις δυνατότητές τους. Μπορεί το μοντέλο να σχεδιάζει αξιόπιστα; Μπορεί να διορθώνει τα δικά του λάθη; Μπορούμε να του εμπιστευτούμε μια ενέργεια με συνέπειες;

Αυτά είναι πραγματικά ερωτήματα. Δεν είναι, όμως, εκείνα που θα κρίνουν αν οι πράκτορες θα αναπτυχθούν σε μεγάλη κλίμακα τα επόμενα χρόνια, καθώς υπάρχει ένας πιο άμεσος περιορισμός, ο οποίος πλησιάζει ταχύτερα. Η εξυπηρέτηση των πρακτόρων είναι οικονομικά δύσκολη, και η δυσκολία μεγαλώνει ακριβώς όσο προστίθενται οι δυνατότητες που όλοι θέλουν.

Ένα chatbot και ένας πράκτορας έχουν διαφορετικό φόρτο εργασίας

Ένα αίτημα συνομιλίας είναι ένας κύκλος επικοινωνίας: εισάγεται η προτροπή, παράγονται τα διακριτά στοιχεία και η σύνδεση τερματίζεται. Μπορείτε να ομαδοποιήσετε τα αιτήματα, να αποθηκεύσετε στην προσωρινή μνήμη το πρόθεμα και να υπολογίσετε τη διεκπεραιωτική ικανότητα με βάση έναν μόνο αριθμό.

Ένα αίτημα προς πράκτορα είναι μια συνεδρία. Ο πράκτορας καλεί ένα εργαλείο, περιμένει, διαβάζει το αποτέλεσμα, αποφασίζει τι θα κάνει στη συνέχεια, καλεί άλλο εργαλείο και τελικά απαντά. Μια σχετικά απλή εργασία μπορεί να απαιτεί έξι ή οκτώ κλήσεις του μοντέλου, με αναμονή ανάμεσά τους.

Αυτή η διαφορά έχει σημασία για έναν λόγο που δεν σχετίζεται καθόλου με τη νοημοσύνη. Στα ενδιάμεσα βήματα, ο πράκτορας διατηρεί την κατάσταση —τη συνομιλία, τα αποτελέσματα των εργαλείων και τη συλλογιστική που έχει συσσωρευτεί. Από την πλευρά της εξυπηρέτησης, αυτή η κατάσταση βρίσκεται στη μνήμη της GPU ως προσωρινή μνήμη KV και καταλαμβάνει χώρο καθ’ όλη τη διάρκεια της συνεδρίας, ακόμη και στα δευτερόλεπτα που ο πράκτορας περιμένει απόκριση από ένα API που δεν ελέγχετε εσείς.

Έτσι, η μονάδα μέτρησης της χωρητικότητας παύει να είναι τα «αιτήματα ανά δευτερόλεπτο» και γίνεται οι «ταυτόχρονες συνεδρίες που παραμένουν στη μνήμη». Ένα σύστημα που εξυπηρετούσε άνετα χίλια αιτήματα συνομιλίας ανά δευτερόλεπτο μπορεί, με το ίδιο υλικό, να εξυπηρετεί μόνο μερικές δεκάδες ταυτόχρονες συνεδρίες πρακτόρων.

Η αναμονή είναι το δαπανηρό μέρος

Να μια άβολη ιδιότητα: κατά τη διάρκεια μιας κλήσης εργαλείου, ο πράκτορας δεν κάνει τίποτα. Δεν παράγονται διακριτά στοιχεία και δεν καταναλώνεται υπολογιστική ισχύς. Η μνήμη της GPU, ωστόσο, εξακολουθεί να είναι δεσμευμένη, επειδή η απομάκρυνση και ο εκ νέου υπολογισμός αυτού του πλαισίου θα κόστιζαν περισσότερο από τη διατήρησή του.

Το ακριβότερο υλικό σας είναι δεσμευμένο για ένα αίτημα που εκείνη τη στιγμή περιμένει την εκτέλεση ενός ερωτήματος σε βάση δεδομένων.

Στα συμβατικά κατανεμημένα συστήματα λύσαμε αυτό το πρόβλημα εδώ και πολύ καιρό: αποδεσμεύουμε τον πόρο και συνεχίζουμε την εργασία μόλις φτάσει η απόκριση. Για να γίνει το ίδιο στην εξυπηρέτηση μοντέλων, πρέπει να μεταφερθεί η προσωρινή μνήμη KV στη μνήμη του κεντρικού υπολογιστή ή σε δίσκο και έπειτα να επαναφερθεί· το κόστος της μεταφοράς είναι τόσο υψηλό, ώστε τα περισσότερα συστήματα δεν μπαίνουν στον κόπο. Η έρευνα ακριβώς πάνω σε αυτό βρίσκεται σε εξέλιξη, επειδή το πρόβλημα είναι δαπανηρό.

Η διαδοχική εκτέλεση επιδεινώνει το πρόβλημα

Σχεδόν όλα τα πλαίσια πρακτόρων εκτελούν τις κλήσεις εργαλείων τη μία μετά την άλλη. Το μοντέλο ζητά να γίνει αναζήτηση του καιρού, λαμβάνει το αποτέλεσμα, ζητά να ελεγχθεί το ημερολόγιο, λαμβάνει το αποτέλεσμα, ζητά να γίνει αναζήτηση πτήσεων και λαμβάνει το αποτέλεσμα.

Συχνά, αυτές οι τρεις κλήσεις δεν εξαρτώνται καθόλου η μία από την άλλη. Θα μπορούσαν να εκτελεστούν ταυτόχρονα. Αν εκτελεστούν διαδοχικά, η καθυστέρηση ισούται με το άθροισμά τους. Αν εκτελεστούν παράλληλα, ισούται με τη μεγαλύτερη από αυτές.

Αυτό δεν είναι κάποια νέα παρατήρηση για τους πράκτορες· είναι το ίδιο δομικό ζήτημα που αφορά κάθε σύστημα το οποίο εκτελεί πολλαπλά μοντέλα ή υπηρεσίες μέσα σε ένα όριο καθυστέρησης. Η συνολική καθυστέρηση πρέπει να ισούται με τη μεγαλύτερη διαδρομή στο γράφημα εξαρτήσεων, όχι με το άθροισμα όλων των σταδίων. Αυτό έχει μεγαλύτερη σημασία για τους πράκτορες επειδή η συνεδρία παραμένει στη μνήμη της GPU καθ’ όλη τη διάρκειά της. Επομένως, η μείωση του συνολικού χρόνου δεν βελτιώνει απλώς την εμπειρία του χρήστη· αυξάνει άμεσα τον αριθμό των συνεδριών που μπορεί να υποστηρίξει το υλικό.

Αν μειώσετε στο μισό τη διάρκεια της συνεδρίας, σχεδόν διπλασιάζετε τη χωρητικότητα ταυτόχρονων συνεδριών, με τις ίδιες GPU και χωρίς να αλλάξετε μοντέλο.

Οι επαναλήψεις συσσωρεύονται με τρόπο που κανείς δεν σχεδίασε

Τα πλαίσια πρακτόρων κληρονομούν τις προεπιλεγμένες ρυθμίσεις επαναλήψεων από τις βιβλιοθήκες HTTP στις οποίες βασίζονται. Συνήθως, προβλέπονται τρεις προσπάθειες.

Το μοντέλο επαναλαμβάνει επίσης την προσπάθεια, με τον δικό του τρόπο. Όταν ένα εργαλείο επιστρέφει κάτι που δεν βοηθά, ένα μοντέλο συλλογισμού συχνά δοκιμάζει μια διαφορετική προσέγγιση — πρόκειται για επανάληψη, απλώς χωρίς να την έχει ρυθμίσει κανείς.

Συνδυάστε τα δύο και μια πολιτική τριών προσπαθειών, εφαρμοσμένη σε μοντέλο που δοκιμάζει ανεξάρτητα άλλες τρεις προσεγγίσεις μέσω συλλογισμού, καταλήγει σε πολιτική εννέα προσπαθειών, την οποία κανείς δεν έχει καταγράψει. Κάθε προσπάθεια είναι μια πλήρης κλήση του μοντέλου, με τα δικά της διακριτά στοιχεία και τα δικά της δευτερόλεπτα χρήσης της GPU.

Όταν επιβραδύνεται μια εξάρτηση, αυτή η ενίσχυση του προβλήματος μετατρέπει την υποβάθμιση της υπηρεσίας σε διακοπή λειτουργίας, με κόστος ανά προσπάθεια κατά τάξεις μεγέθους υψηλότερο από εκείνο μιας επαναλαμβανόμενης κλήσης REST.

Πώς μοιάζει στην πράξη το όριο

Δεν πρόκειται για όριο δυνατοτήτων. Είναι κάτι πιο πεζό: ένα πρόβλημα οικονομικής βιωσιμότητας που σταματά τα έργα στη μετάβαση από το πιλοτικό πρόγραμμα στην παραγωγή.

Το πιλοτικό πρόγραμμα λειτουργεί. Έχει δέκα χρήστες, η καθυστέρηση είναι αποδεκτή και ο λογαριασμός είναι αμελητέος. Έπειτα, κάποιος υπολογίζει το κόστος για δέκα χιλιάδες χρήστες και η απαίτηση σε GPU φαίνεται εξωπραγματική — όχι επειδή το μοντέλο είναι αργό, αλλά επειδή κάθε ταυτόχρονη συνεδρία δεσμεύει μνήμη για όλη τη διάρκειά της, η οποία περιλαμβάνει και τον χρόνο αναμονής.

Αυτό είναι το σημείο στο οποίο πολλές υποσχόμενες εσωτερικές επιδείξεις σταματούν αθόρυβα.

Τι μετακινεί το όριο

Τίποτα εξεζητημένο, και όλα αφορούν την υποδομή, όχι τη μοντελοποίηση:

Εκτελείτε ανεξάρτητες κλήσεις εργαλείων ταυτόχρονα. Το μεγαλύτερο μεμονωμένο όφελος που είναι διαθέσιμο σήμερα και δεν απαιτεί νέο υλικό.

Χρησιμοποιείτε τη διάρκεια της συνεδρίας ως μέτρο χωρητικότητας. Όχι τα tokens ανά δευτερόλεπτο. Ούτε την αξιοποίηση της GPU. Το πόσο παραμένει η κατάσταση στη μνήμη και πόσες συνεδρίες χωρούν.

Κατανέμετε τις επαναλήψεις σε επίπεδο συστήματος, όχι ανά κλήση. Ένα καθολικό όριο —με τις επαναλήψεις να αντιστοιχούν σε μικρό ποσοστό της συνολικής κίνησης— αποτρέπει τη συσσώρευση επιπτώσεων που περιγράφηκε παραπάνω. Τόσο η πρακτική SRE της Google για τη διαχείριση υπερφόρτωσης όσο και οι προϋπολογισμοί επαναλήψεων του Envoy υλοποιούν αυτή την ιδέα εκτός της στοίβας τεχνητής νοημοσύνης.

Διαχωρίζετε τη συλλογιστική από την εκτέλεση. Ένα μεγάλο μοντέλο για τον σχεδιασμό και ένα πολύ μικρότερο για τα μηχανικά βήματα. Τα περισσότερα από όσα κάνει ένας πράκτορας δεν απαιτούν μοντέλο αιχμής.

Κάνετε οικονομική την απομάκρυνση στοιχείων από το περιβάλλον. Κβαντισμένη κρυφή μνήμη KV, προσοχή με σελιδοποίηση και διαδρομές εκφόρτωσης για ανενεργές συνεδρίες. Εδώ συντελείται αυτή τη στιγμή το πιο ενδιαφέρον έργο στην εξυπηρέτηση μοντέλων.

Τα μοντέλα θα συνεχίσουν να βελτιώνονται. Αυτό τουλάχιστον φαίνεται βέβαιο. Το αν οι πράκτορες θα γίνουν υποδομή ή θα παραμείνουν επιδείξεις εξαρτάται από κάτι λιγότερο εντυπωσιακό: αν μπορούμε να εξυπηρετήσουμε ένα φορτίο εργασίας που διατηρεί δεσμευμένη ακριβή μνήμη όσο περιμένει, και αν θα πάψουμε να πληρώνουμε το άθροισμα μιας ακολουθίας, ενώ θα μπορούσαμε να πληρώνουμε μόνο τη μεγαλύτερη διαδρομή της.

Δημοσίευσα το μοντέλο εκτέλεσης στο οποίο βασίζεται το τελευταίο σημείο —την ταυτόχρονη εκτέλεση εξαρτημένων κλήσεων μοντέλων μέσα σε ένα ενιαίο χρονικό περιθώριο καθυστέρησης— στο «Ασύγχρονη εκτέλεση γράφων συμπερασματολογίας για τη δρομολόγηση μοντέλων σε συστήματα μηχανικής μάθησης», στο International Journal of Computer Trends and Technology 72(10), τον Οκτώβριο του 2024. Για την ενσωμάτωση γενετικών μοντέλων ειδικά σε συστήματα λήψης αποφάσεων με αυστηρούς περιορισμούς καθυστέρησης, βλ. «Πλατφόρμες συναλλαγών και λήψης αποφάσεων με ενίσχυση από LLM: γεφυρώνοντας τη γενετική νοημοσύνη με τα χρηματοοικονομικά συστήματα λήψης αποφάσεων», στο Journal of Information Systems Engineering and Management 11(1s), το 2026.