Bito startet Governor, um die Kosten für Programmieragenten mithilfe von Kontext und Modell-Routing zu senken

Ein Programmieragent kann einen großen Teil einer Sitzung damit verbringen, die richtigen Dateien zu finden, bevor er eine sinnvolle Änderung vornimmt. Jede Suche fügt Kontext hinzu, der in späteren Gesprächsrunden erneut an ein Modell übermittelt werden kann. So werden aus einer überschaubaren Aufgabe zunehmend höhere Inferenzkosten. Bito will beide Kostentreiber mit Governor angehen, einem neuen Modell-Router, der Codebase-Kontext mit der Entscheidung darüber verbindet, welches Modell die jeweilige Aufgabe bearbeiten soll.

Governor wurde am 27. Oktober eingeführt und sitzt zwischen bestehenden Programmieragenten und den Modellen, die sie aufrufen. Bito zufolge kann das Produkt die Ausgaben für Agenten um 40 % bis 70 % senken und dabei die Qualität aufrechterhalten, indem es unnötigen Suchkontext reduziert und ein geeignetes Modell sowie die passende Denktiefe auswählt. Diese Spanne beruht auf einem von Bito gemeldeten Ergebnis und ist keine garantierte Einsparung für jedes Team.

Das Produkt unterstützt Arbeitsabläufe mit Tools wie Claude Code, Cursor und Codex. Teams richten ihre Agenten auf einen gemeinsamen Endpunkt aus, statt die bereits von den Entwicklern verwendete Programmierumgebung zu ersetzen.

Warum lange Programmiersitzungen mehr kosten können als erwartet

Der Preis pro Token macht nur einen Teil der Kosten eines Agenten aus. Eine Sitzung kann wiederholte Suchvorgänge, das Lesen von Dateien, Änderungen und Testläufe umfassen; die daraus entstehende Unterhaltung wird bei späteren Modellaufrufen erneut übermittelt. Eine zu Beginn der Aufgabe gelesene große Datei kann sich daher noch lange auf die Kosten auswirken, nachdem der Agent sie erstmals geöffnet hat.

Bito veranschaulicht das Problem anhand einer Sitzung mit Claude Code, in der Suchvorgänge ungefähr 65.000 Token zurückgaben. Bis zum Ende der Sitzung summierte sich die wiederholte Verarbeitung des angesammelten Kontexts laut Bito auf insgesamt sechs Millionen Token. Diese Zahlen beziehen sich auf eine gemessene Sitzung und nicht auf die typischen Kosten jeder Programmieraufgabe.

Prompt-Caching kann wiederholte Eingaben günstiger machen, doch für zwischengespeicherte und neu verarbeitete Token gelten unterschiedliche Preise. Die Gesamtkosten hängen daher davon ab, wie der Agent arbeitet, welchen Kontext er beibehält und ob ein Modellwechsel den Nutzen des vorhandenen Cache erhält oder zunichtemacht.

„Das richtige Modell auszuwählen ist wichtig. Genauso wichtig sind jedoch die Kosten, die dadurch entstehen, dass der Agent den Code durchsucht und alles erneut sendet, was er bereits gesehen hat“, sagte Amar Goel, Mitgründer und CEO von Bito, in der Ankündigung.

Eine Code-Kontext-Engine verringert wiederholte Erkundungen

Governor hält einen stets aktuellen Graphen des Codes eines Unternehmens vor. Wenn ein Agent die Codebase untersuchen muss, kann Governor diese Recherche laut Bito mit einem kleineren, schnelleren Modell durchführen und eine komprimierte Antwort mit dem relevanten Codekontext zurückgeben.

Die angestrebte Einsparung ergibt sich daraus, wiederholte Untersuchungen mit einem Frontier-Modell zu vermeiden und unnötige Suchergebnisse aus der Unterhaltung des Hauptagenten herauszuhalten. Eine gezielte Antwort verändert den Umfang des Kontexts, der in späteren Gesprächsrunden mitgeführt wird – nicht nur den Preis der ersten Abfrage.

Die Dokumentation der Plattform von Bito beschreibt den zugrunde liegenden Graphen ausführlicher. Sie erfasst Symbole, Service-Topologien, Abhängigkeiten und Beziehungen über Repositories hinweg sowie Kontext aus Quellen wie Issue-Trackern, Designdokumenten und technischen Diskussionen. Außerdem bildet sie Datenbankschemata, Architekturmuster und den Bereitstellungskontext ab.

Damit bietet das Produkt ein breiteres Suchziel als den bloßen Abgleich von Textfragmenten. Bei einer Frage zu einer Änderung an der Authentifizierung muss möglicherweise ermittelt werden, welcher Service für eine Schnittstelle zuständig ist, welche aufrufenden Komponenten davon abhängen und welche Überlegungen einer früheren Designentscheidung zugrunde lagen. Durch die Verknüpfung dieser Zusammenhänge kann ein Agent die Auswirkungen untersuchen, bevor er Code vorschlägt.

Entscheidend ist weiterhin, dass die Ergebnisse als verlässliche Belege nutzbar sind. In der Einführung zu Governor beschreibt Bito prägnante Rechercheergebnisse mit Verweisen auf Dateien und Zeilen. So kann der Hauptagent den nächsten Schritt auf den tatsächlichen Codebestand stützen.

Das Routing richtet sich nach der Aufgabe und dem Cache

Governor wählt außerdem das Modell und die Denktiefe passend zur jeweiligen Aufgabe aus. Bito zufolge berücksichtigt das Produkt den Aufgabentyp, die Folgen einer oberflächlichen oder falschen Antwort, die Absicht des Nutzers und den im Verlauf der Sitzung bereits aufgebauten Cache.

Dieser Kontext ist wichtig, wenn eine kurze Nachricht eine umfangreiche Anweisung enthält. „Mach weiter“ kann die Umsetzung eines komplexen Plans freigeben, obwohl die Nachricht selbst nur wenig Text enthält. Ein Router, der die Nachrichtenlänge als Maß für den Schwierigkeitsgrad nimmt, kann übersehen, was der Entwickler den Agenten tatsächlich tun lassen möchte.

Bito beschreibt Governor als ein System, das zu Beginn einer neuen Entwickleranfrage eine Routing-Entscheidung trifft und an dieser festhält, während der Agent die Aufgabe bearbeitet. Außerdem wägt es ab, ob die mögliche Einsparung durch einen Modellwechsel den Verlust des Nutzens eines bereits vorhandenen Cache rechtfertigt.

Ein günstigeres Modell bedeutet daher nicht automatisch, dass auch der nächste Aufruf am wenigsten kostet. Ein aktiver Cache bei einem teureren Modell kann die Rechnung verändern, insbesondere wenn die Unterhaltung bereits lang ist. Auch die Denkeinstellungen spielen eine Rolle: Eine Aufgabe, die eine gründlichere Analyse erfordert, kann zusätzlichen Rechenaufwand rechtfertigen, während dies bei einem routinemäßigen Schritt möglicherweise nicht der Fall ist.

Das Bereitstellungskonzept von Governor soll bestehende Arbeitsabläufe bewahren. Bito zufolge unterstützt Governor mit Anthropic und OpenAI kompatible APIs, nutzt die Anbieterschlüssel eines Teams und kann parallel zu einem bestehenden Gateway betrieben werden. Damit ist die Routing-Ebene beschrieben; Teams müssen weiterhin die Agenten und den Anbieterzugriff einrichten, die sie nutzen möchten.

Privado berichtet von niedrigeren Kosten und weniger Schritten

Im Kundenbeispiel, das mit der Ankündigung veröffentlicht wurde, führte das Datenschutzsoftwareunternehmen Privado einen kontrollierten Test mit seinen Entwicklungsaufgaben in Claude Code durch. Bito zufolge sank der Preis pro Aufgabe von 4,12 $ auf 2,14 $, also um 48 %, während der Agent pro Aufgabe 23 statt 47 Schritte benötigte.

Das Unternehmen gibt an, dass die Qualität gleich blieb und die Aufgaben 38 % schneller abgeschlossen wurden. Auf der Website von Bito wird der A/B-Vergleich mit dem Kunden als Test mit 40 Entwicklungsaufgaben beschrieben. Dabei kamen dieselben Aufgaben, dasselbe Modell und derselbe Testaufbau zum Einsatz; nur Governor variierte.

Diese Details machen das Ergebnis aussagekräftiger als eine allgemeine Behauptung über Einsparungen, zeigen aber zugleich, dass sich die Erkenntnisse nur begrenzt verallgemeinern lassen. Ein anderes Repository, eine andere Aufgabenmischung, eine andere Anbieter-Konfiguration oder ein anderes Ausgangsmodell kann zu einer anderen Balance zwischen Informationsabruf, Cache-Nutzung und Kosten für die Schlussfolgerungen führen.

Bito veröffentlicht außerdem Forschung zu Kosten und Qualität von Coding-Modellen. In der September-Studie werden 29 Modelle beschrieben, die mit 60 Entwicklungsaufgaben getestet wurden; dabei wurden 1.740 Antworten bewertet. Bei einigen Aufgaben wurde der Code ausgeführt oder nach gezielt eingebauten Fehlern gesucht; bei anderen bewertete ein KI-Prüfer die Ergebnisse anhand von Kriterien, die vor den Testläufen festgelegt worden waren. Diese umfassendere Modellstudie ist vom Kundenvergleich mit Privado getrennt.

Mit Kontrollfunktionen können Teams das Routing testen, bevor sie den Datenverkehr umstellen

Governor bietet die Einstellungen „Qualität“, „Ausgewogen“ und „Kosten“ sowie einen Schattenmodus. Dieser protokolliert, wie Governor den Datenverkehr eines Teams routen würde, ohne die Verarbeitung der Anfragen zu verändern. So können technische Führungskräfte die vorgeschlagenen Entscheidungen prüfen, bevor sie diese aktivieren.

Zu den weiteren Schutzvorkehrungen gehören eine feste Preisobergrenze, Beschränkungen für das Routing zu teureren Modellen ohne Genehmigung sowie der Wechsel zum angeforderten Modell, falls etwas schiefgeht. Die Routing-Entscheidungen werden samt Begründung protokolliert.

Bito plant, Governor künftig auch über Coding-Agenten hinaus einzusetzen. Der Start adressiert zunächst ein konkretes Problem in der Softwareentwicklung: die Kosten wiederholter Erkundungsschritte und Modellaufrufe während langer Entwicklungssitzungen.

Entscheidend wird sein, welche Kosten für den erfolgreichen Abschluss von Aufgaben anfallen – zusammen mit der dafür erforderlichen Qualität und Zeit. Governor verspricht, diesen Wert zu verbessern, indem Teams Agenten einen besseren Kontext bereitstellen und die Modellleistung gezielter einsetzen können, ohne Entwickler zum Verzicht auf ihre bereits verwendeten Tools aufzufordern.