Η Bito λανσάρει το Governor για να μειώσει το κόστος των πρακτόρων προγραμματισμού μέσω πλαισίου συμφραζομένων και δρομολόγησης μοντέλων

Ένας πράκτορας προγραμματισμού μπορεί να περάσει μεγάλο μέρος μιας συνεδρίας αναζητώντας τα κατάλληλα αρχεία προτού κάνει κάποια χρήσιμη αλλαγή. Κάθε αναζήτηση προσθέτει πλαίσιο συμφραζομένων που μπορεί να μεταφερθεί ξανά σε ένα μοντέλο σε επόμενες αλληλεπιδράσεις, μετατρέποντας μια σχετικά απλή εργασία σε έναν διαρκώς αυξανόμενο λογαριασμό για συμπερασματολογία. Η Bito επιχειρεί να αντιμετωπίσει και τις δύο πλευρές αυτού του κόστους με το Governor, έναν νέο δρομολογητή μοντέλων που συνδυάζει το πλαίσιο συμφραζομένων της βάσης κώδικα με αποφάσεις για το ποιο μοντέλο πρέπει να αναλάβει την εργασία.

Το Governor κυκλοφόρησε στις 27 Οκτωβρίου και παρεμβάλλεται ανάμεσα στους υπάρχοντες πράκτορες προγραμματισμού και τα μοντέλα που αυτοί καλούν. Η Bito αναφέρει ότι μπορεί να μειώσει τις δαπάνες για πράκτορες κατά 40% έως 70%, διατηρώντας παράλληλα την ποιότητα, περιορίζοντας το περιττό πλαίσιο συμφραζομένων από τις αναζητήσεις και επιλέγοντας κατάλληλο μοντέλο και επίπεδο συλλογισμού. Αυτό το εύρος βασίζεται σε αποτελέσματα που αναφέρει η εταιρεία και δεν αποτελεί εγγυημένη εξοικονόμηση για κάθε ομάδα.

Το προϊόν υποστηρίζει ροές εργασίας με εργαλεία όπως τα Claude Code, Cursor και Codex. Οι ομάδες κατευθύνουν τους πράκτορές τους σε ένα κοινό σημείο πρόσβασης, αντί να αντικαταστήσουν το περιβάλλον προγραμματισμού που χρησιμοποιούν ήδη οι προγραμματιστές.

Γιατί μια μακρά συνεδρία προγραμματισμού μπορεί να κοστίσει περισσότερο απ’ όσο αναμένεται

Η τιμή ανά διακριτικό είναι μόνο ένα μέρος του λογαριασμού ενός πράκτορα. Μια συνεδρία μπορεί να περιλαμβάνει επαναλαμβανόμενες αναζητήσεις, αναγνώσεις αρχείων, επεξεργασίες και εκτελέσεις δοκιμών, ενώ η συνομιλία που προκύπτει τροφοδοτεί ξανά τις επόμενες κλήσεις μοντέλου. Έτσι, η ανάγνωση ενός μεγάλου αρχείου στην αρχή της εργασίας μπορεί να επηρεάζει το κόστος πολύ μετά την πρώτη φορά που το άνοιξε ο πράκτορας.

Η Bito καταδεικνύει το ζήτημα με μία συνεδρία Claude Code, κατά την οποία οι αναζητήσεις επέστρεψαν περίπου 65.000 διακριτικά. Σύμφωνα με την εταιρεία, μέχρι το τέλος η επαναλαμβανόμενη επεξεργασία του συσσωρευμένου πλαισίου συμφραζομένων είχε ανεβάσει το σύνολο της συνεδρίας στα έξι εκατομμύρια διακριτικά. Αυτά τα στοιχεία αφορούν μία συνεδρία που μετρήθηκε και δεν αντιπροσωπεύουν το τυπικό κόστος κάθε εργασίας προγραμματισμού.

Η προσωρινή αποθήκευση προτροπών μπορεί να μειώσει το κόστος των επαναλαμβανόμενων εισόδων, αλλά τα αποθηκευμένα διακριτικά και όσα υποβάλλονται σε επεξεργασία για πρώτη φορά τιμολογούνται διαφορετικά. Αυτό σημαίνει ότι ο συνολικός λογαριασμός εξαρτάται από τον τρόπο λειτουργίας του πράκτορα, το πλαίσιο συμφραζομένων που διατηρεί και το αν η αλλαγή μοντέλου διατηρεί ή στερεί την αξιοποίηση της υπάρχουσας προσωρινής μνήμης.

«Η επιλογή του σωστού μοντέλου έχει σημασία, αλλά εξίσου σημαντικό είναι το κόστος των αναζητήσεων του πράκτορα στον κώδικα και της επαναποστολής όλων όσων έχει ήδη δει», δήλωσε ο Amar Goel, συνιδρυτής και διευθύνων σύμβουλος της Bito, στην ανακοίνωση.

Μια μηχανή κατανόησης του πλαισίου συμφραζομένων του κώδικα περιορίζει την επαναλαμβανόμενη διερεύνηση

Το Governor διατηρεί ένα ενημερωμένο γράφημα του κώδικα μιας εταιρείας. Όταν ένας πράκτορας χρειάζεται να διερευνήσει τη βάση κώδικα, η Bito αναφέρει ότι το Governor μπορεί να πραγματοποιήσει αυτή την έρευνα χρησιμοποιώντας ένα μικρότερο και ταχύτερο μοντέλο και να επιστρέψει μια συνοπτική απάντηση με το σχετικό πλαίσιο συμφραζομένων του κώδικα.

Η εξοικονόμηση που επιδιώκεται προκύπτει από την αποφυγή επαναλαμβανόμενης διερεύνησης με ένα προηγμένο μοντέλο και από τον αποκλεισμό περιττών αποτελεσμάτων αναζήτησης από τη συνομιλία του κύριου πράκτορα. Η επιστροφή μιας στοχευμένης απάντησης αλλάζει τον όγκο του πλαισίου συμφραζομένων που μεταφέρεται στις επόμενες αλληλεπιδράσεις, όχι μόνο την τιμή της πρώτης αναζήτησης.

Η τεκμηρίωση της πλατφόρμας της Bito περιγράφει λεπτομερέστερα το υποκείμενο γράφημα. Καταγράφει σύμβολα, την τοπολογία υπηρεσιών, εξαρτήσεις και σχέσεις μεταξύ αποθετηρίων, μαζί με πλαίσιο συμφραζομένων από πηγές όπως συστήματα παρακολούθησης ζητημάτων, έγγραφα σχεδιασμού και συζητήσεις μηχανικών. Χαρτογραφεί επίσης σχήματα βάσεων δεδομένων, αρχιτεκτονικά μοτίβα και το πλαίσιο ανάπτυξης.

Έτσι, το προϊόν μπορεί να αναζητήσει ευρύτερο φάσμα πληροφοριών από απλά αποσπάσματα κειμένου που ταιριάζουν μεταξύ τους. Για να απαντηθεί ένα ερώτημα σχετικά με μια αλλαγή στον έλεγχο ταυτότητας, μπορεί να χρειαστεί να εντοπιστεί η υπηρεσία που είναι υπεύθυνη για μια διεπαφή, οι καλούντες που εξαρτώνται από αυτήν και το σκεπτικό πίσω από μια παλαιότερη σχεδιαστική απόφαση. Η σύνδεση αυτών των σχέσεων μπορεί να βοηθήσει έναν πράκτορα να διερευνήσει τον αντίκτυπο προτού προτείνει κώδικα.

Το σημαντικό είναι η τεκμηρίωση που μπορεί πράγματι να αξιοποιηθεί. Η παρουσίαση του Governor από την Bito περιγράφει συνοπτικές απαντήσεις έρευνας που παραπέμπουν σε αρχεία και γραμμές κώδικα, δίνοντας στον κύριο πράκτορα τη δυνατότητα να βασίσει το επόμενο βήμα στον πραγματικό κώδικα.

Η δρομολόγηση εξαρτάται από την εργασία και την προσωρινή μνήμη

Το Governor επιλέγει επίσης μοντέλο και επίπεδο συλλογισμού ανάλογα με την εργασία. Η Bito αναφέρει ότι λαμβάνει υπόψη τον τύπο της εργασίας, τις συνέπειες μιας επιφανειακής ή λανθασμένης απάντησης, την πρόθεση του χρήστη και την προσωρινή μνήμη που έχει ήδη δημιουργηθεί κατά τη διάρκεια της συνεδρίας.

Αυτό το πλαίσιο έχει σημασία όταν ένα σύντομο μήνυμα περιέχει μια εκτενή οδηγία. Το «Προχώρα» μπορεί να εγκρίνει την υλοποίηση ενός σύνθετου σχεδίου, παρότι το ίδιο το μήνυμα περιλαμβάνει ελάχιστο κείμενο. Ένας δρομολογητής που θεωρεί το μήκος του μηνύματος ένδειξη του βαθμού δυσκολίας μπορεί να μην αντιληφθεί τι ακριβώς ζητά ο προγραμματιστής από τον πράκτορα.

Η Bito περιγράφει το Governor ως σύστημα που αποφασίζει τη δρομολόγηση στην αρχή κάθε νέου αιτήματος προγραμματιστή και διατηρεί την επιλογή του όσο ο πράκτορας εκτελεί την εργασία. Σταθμίζει επίσης αν η πιθανή εξοικονόμηση από την αλλαγή μοντέλου δικαιολογεί την απώλεια του οφέλους από μια υπάρχουσα προσωρινή μνήμη.

Επομένως, ένα φθηνότερο μοντέλο δεν σημαίνει αυτομάτως ότι η επόμενη κλήση θα κοστίσει λιγότερο. Μια ήδη προθερμασμένη προσωρινή μνήμη σε ένα ακριβότερο μοντέλο μπορεί να αλλάξει τον υπολογισμό, ιδίως όταν η συνομιλία έχει ήδη μεγάλη διάρκεια. Οι ρυθμίσεις συλλογισμού προσθέτουν ακόμη έναν παράγοντα: μια εργασία που απαιτεί βαθύτερη ανάλυση μπορεί να δικαιολογεί πρόσθετους υπολογισμούς, ενώ ένα συνηθισμένο βήμα ενδέχεται να μην τους χρειάζεται.

Ο σχεδιασμός ανάπτυξης του Governor αποσκοπεί στη διατήρηση των υφιστάμενων ροών εργασίας. Η Bito αναφέρει ότι υποστηρίζει API συμβατά με τα Anthropic και OpenAI, λειτουργεί με τα κλειδιά παρόχων της εκάστοτε ομάδας και μπορεί να συνυπάρχει με μια υπάρχουσα πύλη. Αυτό περιγράφει το επίπεδο δρομολόγησης· οι ομάδες εξακολουθούν να χρειάζεται να ρυθμίσουν τους πράκτορες και την πρόσβαση στους παρόχους που σκοπεύουν να χρησιμοποιήσουν.

Η Privado αναφέρει χαμηλότερο κόστος και λιγότερα βήματα

Στο παράδειγμα πελάτη που δόθηκε μαζί με την ανακοίνωση, η εταιρεία λογισμικού προστασίας της ιδιωτικότητας Privado πραγματοποίησε ελεγχόμενη δοκιμή σε εργασίες μηχανικής της στο Claude Code. Η Bito αναφέρει ότι το κόστος ανά εργασία μειώθηκε από 4,12 $ σε 2,14 $, δηλαδή κατά 48%, ενώ ο πράκτορας χρειάστηκε 23 βήματα ανά εργασία αντί για 47.

Η εταιρεία αναφέρει ότι η ποιότητα παρέμεινε ίδια και οι εργασίες ολοκληρώνονταν 38% ταχύτερα. Στον ιστότοπο της Bito, η σύγκριση πελάτη A/B περιγράφεται ως δοκιμή 40 εργασιών μηχανικής, με τις ίδιες εργασίες, το ίδιο μοντέλο και το ίδιο πλαίσιο δοκιμών, και με το Governor ως τη μόνη μεταβλητή.

Αυτές οι λεπτομέρειες καθιστούν το αποτέλεσμα πιο κατατοπιστικό από έναν γενικό ισχυρισμό περί εξοικονόμησης, χωρίς όμως να αναιρούν τους περιορισμούς ως προς το πόσο ευρέως μπορούν να γενικευτούν τα συμπεράσματα. Ένα διαφορετικό αποθετήριο, μείγμα εργασιών, σύνολο παρόχων ή αρχικό μοντέλο μπορεί να οδηγήσει σε διαφορετική ισορροπία μεταξύ ανάκτησης, χρήσης κρυφής μνήμης και κόστους συλλογισμού.

Η Bito δημοσιεύει επίσης έρευνα σχετικά με το κόστος και την ποιότητα των μοντέλων προγραμματισμού. Η μελέτη της του Σεπτεμβρίου περιγράφει δοκιμές 29 μοντέλων σε 60 εργασίες μηχανικής, με 1.740 αξιολογημένες απαντήσεις. Ορισμένες εργασίες ελέγχθηκαν με εκτέλεση κώδικα ή εντοπισμό σκόπιμα ενσωματωμένων σφαλμάτων· σε άλλες χρησιμοποιήθηκε κριτής τεχνητής νοημοσύνης, με βάση κριτήρια που είχαν οριστεί πριν από τις δοκιμές. Αυτή η ευρύτερη μελέτη μοντέλων είναι ξεχωριστή από τη σύγκριση με τον πελάτη Privado.

Οι μηχανισμοί ελέγχου επιτρέπουν στις ομάδες να δοκιμάσουν τη δρομολόγηση πριν αλλάξουν την κίνηση

Το Governor προσφέρει τις ρυθμίσεις Ποιότητα, Ισορροπία και Κόστος, καθώς και λειτουργία σκιάς, η οποία καταγράφει τον τρόπο με τον οποίο θα δρομολογούσε την κίνηση μιας ομάδας, χωρίς να αλλάζει τον χειρισμό των αιτημάτων. Έτσι, οι επικεφαλής μηχανικής μπορούν να εξετάσουν τις προτεινόμενες αποφάσεις πριν τις ενεργοποιήσουν.

Πρόσθετες δικλίδες ασφαλείας περιλαμβάνουν ένα αυστηρό ανώτατο όριο τιμής, περιορισμούς στη δρομολόγηση προς ακριβότερα μοντέλα χωρίς άδεια και επιστροφή στο μοντέλο που ζητήθηκε, αν κάτι πάει στραβά. Οι αποφάσεις δρομολόγησης καταγράφονται μαζί με τους λόγους τους.

Η Bito σχεδιάζει να επεκτείνει το Governor πέρα από τους πράκτορες προγραμματισμού. Προς το παρόν, το λανσάρισμα αντιμετωπίζει ένα συγκεκριμένο πρόβλημα των ομάδων μηχανικής: το κόστος της επαναλαμβανόμενης διερεύνησης και των κλήσεων μοντέλων κατά τη διάρκεια μακρών συνεδριών ανάπτυξης λογισμικού.

Ο χρήσιμος δείκτης θα είναι το κόστος επιτυχούς ολοκλήρωσης των εργασιών, σε συνδυασμό με την ποιότητα και τον απαιτούμενο χρόνο. Η πρόταση του Governor είναι ότι οι ομάδες μπορούν να βελτιώσουν αυτόν τον δείκτη παρέχοντας στους πράκτορες καλύτερο πλαίσιο και κατανέμοντας πιο σκόπιμα τις δυνατότητες των μοντέλων, χωρίς να ζητούν από τους προγραμματιστές να εγκαταλείψουν τα εργαλεία που ήδη χρησιμοποιούν.