Baseten startet Grid für Routing und Steuerung beim KI-gestützten Programmieren in Unternehmen

Baseten kündigte Grid am 4. November 2026 an und stellte damit die Routing-, Gateway- und Schutzebene für KI-gestütztes Programmieren in Unternehmen als öffentliche Vorschau bereit. Das Unternehmen gab an, dass Baseten Router in ersten Benchmarks die Kosten pro Aufgabe um fast 70 % senkte – bei einem Qualitätsabstrich von 0,9 Prozentpunkten gegenüber Opus 5.5. Der Zugang in der frühen Phase wird über eine Warteliste geregelt.

Routing über Tokenpreise hinaus

Grid automatisiert eine Entscheidung, die Entwickler sonst selbst treffen müssen: Welches zugelassene Modell soll die jeweilige Programmieraufgabe übernehmen? Für jede Anfrage bewertet Baseten Router die von der Organisation freigegebenen Open-Source- und proprietären Modelle und wägt deren voraussichtliche Leistung bei der Aufgabe gegen die Kosten ab.

Statt Modelle allein nach dem Tokenpreis zu bewerten, berücksichtigt der Router auch die Kosten für erneute Versuche, fehlgeschlagene Tool-Aufrufe und unvollständige Antworten. Ziel ist es, die Kosten für die Erledigung einer Aufgabe zu senken und zugleich die Qualitäts- und Leistungsanforderungen des Teams zu erfüllen. Automatische Routing-Entscheidungen können die Kosten, die Leistungsfähigkeit oder eine ausgewogene Kombination aus beidem in den Vordergrund stellen.

Organisationen können außerdem der Weitergabe von Ablaufdaten zustimmen. Diese können genutzt werden, um benutzerdefinierte Router zu trainieren, die bei ihren spezifischen Arbeitslasten eine Pareto-effiziente Leistung erzielen. Baseten zufolge hängen die tatsächlichen Einsparungen von der Struktur der Arbeitslast und dem vom Kunden gewünschten Verhältnis zwischen Kosten und Qualität ab. Der Benchmark ist daher ein Hinweis auf das mögliche Einsparpotenzial und keine allgemeingültige Kostenreduktion.

Chintan Parikh, Leiter der Entwicklungsabteilung bei Opendoor, sagte, Grid habe einen zentralen Überblick über die internen KI-Ausgaben geschaffen und die Ausgaben automatisch bei minimalen Qualitätseinbußen gesenkt. Fast alle bei Opendoor nutzen KI, und die meisten Mitarbeitenden möchten nicht selbst entscheiden müssen, welches Modell sie wählen.

Zentraler Zugang ohne Änderungen an Entwicklerwerkzeugen

Grid Gateway stellt die Verwaltungsebene bereit. Plattformteams können Modelle freigeben, den Zugriff auf Teamebene gewähren, Budgets festlegen und unternehmensverwaltete Zugangsdaten verwenden. Gleichzeitig können sie die Nutzung über Teams, Anwendungen und Agenten hinweg überwachen. Ein Dashboard schlüsselt die Ausgaben nach Modell auf und zeigt die Gesamtausgaben, das Tokenvolumen, die Cache-Trefferrate und die eingesparten Kosten an.

Zum Start unterstützt Grid Modelle von OpenAI, Anthropic, Gemini Enterprise Agent Platform, Amazon Bedrock und Baseten. Entwickler können Claude Code, Codex, OpenCode und Pi mit einem einzigen Einrichtungsbefehl verbinden. Administratoren können die Konfiguration über die Verwaltung mobiler Geräte automatisieren.

Interne Anwendungen und Agenten, die Anthropic oder die OpenAI API verwenden, lassen sich durch Ändern einer Basis-URL und einer Modell-ID anbinden. So können bestehende Programme über denselben Endpunkt laufen, ohne dass Organisationen ihre etablierten Entwicklerwerkzeuge ersetzen müssen.

Plattformteams können jeder Agentenumgebung außerdem ein Standardmodell für Programmieraufgaben und ein kleineres Hintergrundmodell für Nebenaufgaben wie Zusammenfassungen zuweisen. Entwickler erhalten diese Vorgaben bei der Einrichtung und können die Modelle später ändern.

Gemeinsame Schutzvorkehrungen und Inferenzinfrastruktur

Grid bündelt konfigurierbare Sicherheitsrichtlinien am Gateway und prüft Anfragen und Antworten zentral. Die Richtlinien können je nach Arbeitslast variieren; Protokolle halten fest, was beanstandet wurde und wie damit umgegangen wurde. Zu den erfassten Risiken zählen Dokumente mit versteckten Anweisungen, die Agenten umleiten, unbefugte Aktionen sowie das Auftauchen von Kundeninformationen an Stellen, an denen sie nicht hingehören.

Diese Schutzvorkehrungen unterscheiden sich von Ausführungskontrollen. Sicherheitsprüfungen untersuchen riskante Anfragen und Antworten, während Ausführungskontrollen festlegen, worauf ein Agent zugreifen und was er tun kann. Baseten zufolge benötigen Unternehmen beide Ebenen.

Unterhalb des Gateways übernimmt die Inferenzplattform von Baseten das Routing, die Übersetzung zwischen den Protokollen von Modellen und Agentenumgebungen, das Caching, die Skalierung und die Optimierung. Wenn Baseten das ausgewählte Modell bereitstellt, können längere, mehrstufige Agentensitzungen auf einen warmen Key-Value-Cache geleitet werden, um ihre Kosten zu senken. Die Forschungs-, Post-Training- und Infrastrukturteams für die Modellleistung arbeiten außerdem an maßgeschneiderten Kernels, spekulativem Decoding und den Evaluierungen, die jedes Modell vor der Veröffentlichung bestehen muss.

Über die Vorschau hinaus plant Baseten, die Delegation länger laufender Aufgaben an cloudgehostete Agenten sowie die Koordination mehrerer Agenten bei komplexen Aufgaben zu unterstützen. Geplant sind außerdem ein auf Kundendaten und Anwendungsfälle abgestimmtes Routing, umfangreichere Sicherheitssignale und die Unterstützung kundeneigener Schutzvorkehrungen.

Entscheidend für die Wirtschaftlichkeit sind somit die Kosten für eine abgeschlossene Aufgabe bei der erforderlichen Qualität; der Tokenpreis ist dabei nur ein Faktor. Da die gemeldeten Einsparungen von der Struktur der Arbeitslast abhängen und mehrere Funktionen für die Verwaltung von Agenten noch geplant sind, bleibt bei der Vorschau offen, wie zuverlässig sich die Benchmark-Ergebnisse auf Programmieraufgaben in der Produktion übertragen lassen.