Baseten uruchamia Grid, aby kierować programowaniem z wykorzystaniem AI w przedsiębiorstwach i zarządzać nim

4 listopada 2026 r. Baseten ogłosił Grid i udostępnił publiczną wersję przedpremierową warstwy do kierowania zapytaniami, bramy i mechanizmów zabezpieczających dla programowania z wykorzystaniem AI w przedsiębiorstwach. Firma poinformowała, że w początkowych testach porównawczych Baseten Router pozwolił obniżyć koszt zadania o niemal 70%, przy kompromisie jakościowym wynoszącym 0,9 punktu procentowego względem Opus 5.5; wczesny dostęp jest przyznawany za pośrednictwem listy oczekujących.

Kierowanie zapytaniami z uwzględnieniem czegoś więcej niż ceny tokenów

Grid automatyzuje wybór, którego programiści musieliby w przeciwnym razie dokonywać samodzielnie: określenie, który zatwierdzony model powinien obsłużyć dane zadanie programistyczne. W przypadku każdego zapytania Baseten Router ocenia zatwierdzone przez organizację modele open source i modele o zamkniętym kodzie źródłowym, a następnie zestawia przewidywaną skuteczność w realizacji zadania z kosztem.

Zamiast porządkować modele wyłącznie według ceny tokenów, router uwzględnia koszt ponawiania prób, nieudanych wywołań narzędzi i niekompletnych odpowiedzi. Jego celem jest obniżenie kosztu realizacji zadania przy jednoczesnym spełnieniu wymagań zespołu dotyczących jakości i wydajności. Automatyczne reguły kierowania mogą kłaść nacisk na niski koszt, inteligencję modelu lub równowagę między tymi aspektami.

Organizacje mogą również wyrazić zgodę na udostępnianie śladów działania, które można wykorzystać do trenowania niestandardowych routerów zapewniających efektywność w sensie Pareto dla konkretnych obciążeń. Baseten poinformował, że dokładne oszczędności będą zależeć od charakterystyki obciążenia i pożądanego przez klienta kompromisu między kosztem a jakością. Oznacza to, że wyniki testów porównawczych wskazują na potencjalne oszczędności, a nie na powszechnie osiągalną redukcję kosztów.

Chintan Parikh, dyrektor ds. inżynierii w Opendoor, powiedział, że Grid zapewnił scentralizowany wgląd w wewnętrzne wydatki na AI i automatycznie je ograniczył przy minimalnej utracie jakości. Niemal wszyscy w Opendoor korzystają z AI, a większość pracowników nie chce samodzielnie decydować, który model wybrać.

Scentralizowany dostęp bez konieczności zmiany narzędzi programistycznych

Grid Gateway zapewnia warstwę administracyjną. Zespoły platformowe mogą zatwierdzać modele, przyznawać dostęp poszczególnym zespołom, ustalać budżety i korzystać z poświadczeń zarządzanych przez firmę, monitorując jednocześnie użycie w zespołach, aplikacjach i agentach. Pulpit nawigacyjny przedstawia wydatki w podziale na modele oraz pokazuje łączne wydatki, liczbę tokenów, współczynnik trafień w pamięci podręcznej i uzyskane oszczędności.

W chwili uruchomienia Grid obsługuje modele OpenAI, Anthropic, Gemini Enterprise Agent Platform, Amazon Bedrock i Baseten. Programiści mogą połączyć Claude Code, Codex, OpenCode i Pi za pomocą jednego polecenia konfigurującego, a administratorzy mogą automatyzować konfigurację za pośrednictwem systemu zarządzania urządzeniami mobilnymi.

Aplikacje wewnętrzne i agenci korzystający z Anthropic lub OpenAI API mogą się połączyć po zmianie podstawowego adresu URL i identyfikatora modelu. Dzięki temu istniejące oprogramowanie można objąć tym samym punktem dostępu bez konieczności rezygnowania przez organizacje z używanych już narzędzi programistycznych.

Zespoły platformowe mogą również przypisać każdemu środowisku agenta domyślny model do programowania oraz mniejszy model działający w tle, przeznaczony do zadań pomocniczych, takich jak tworzenie podsumowań. Programiści otrzymują te ustawienia domyślne podczas konfiguracji, a później mogą zmienić modele.

Wspólne mechanizmy zabezpieczające i infrastruktura wnioskowania

Grid umieszcza konfigurowalne zasady bezpieczeństwa na poziomie bramy, centralnie sprawdzając zapytania i odpowiedzi. Zasady mogą się różnić w zależności od obciążenia, a rejestry wskazują, co zostało oznaczone i jak zareagowano. Zidentyfikowane zagrożenia obejmują dokumenty zawierające ukryte instrukcje, które przekierowują agentów, nieautoryzowane działania oraz ujawnianie informacji o klientach w niewłaściwych miejscach.

Te mechanizmy zabezpieczające różnią się od kontroli wykonywania działań. Kontrole bezpieczeństwa sprawdzają ryzykowne zapytania i odpowiedzi, natomiast kontrole wykonywania określają, do czego agent może uzyskać dostęp i jakie działania może podejmować. Baseten poinformował, że przedsiębiorstwa potrzebują obu tych warstw.

Pod bramą działa platforma wnioskowania Baseten, która obsługuje kierowanie zapytaniami, tłumaczenie między protokołami modeli i środowisk agentów, buforowanie, skalowanie oraz optymalizację. Gdy Baseten udostępnia wybrany model, długie sesje agentów obejmujące wiele tur mogą być kierowane do rozgrzanej pamięci podręcznej klucz-wartość, co obniża ich koszt. Zespoły Baseten zajmujące się badaniami nad wydajnością modeli, dostrajaniem po treningu i infrastrukturą pracują również nad niestandardowymi jądrami, dekodowaniem spekulacyjnym oraz testami ewaluacyjnymi, które każdy model musi przejść przed wdrożeniem.

Poza wersją przedpremierową Baseten planuje obsługę delegowania długotrwałych zadań agentom hostowanym w chmurze oraz koordynowanie pracy wielu agentów nad złożonymi zadaniami. Planowane są również mechanizmy kierowania dostosowane do danych klientów i ich zastosowań, bardziej rozbudowane sygnały bezpieczeństwa oraz obsługa własnych mechanizmów zabezpieczających klientów.

O ekonomicznej opłacalności decyduje zatem koszt ukończonego zadania przy wymaganym poziomie jakości, a cena tokenów jest tylko jednym z uwzględnianych czynników. Ponieważ zgłaszane oszczędności zależą od charakterystyki obciążenia, a kilka funkcji zarządzania agentami wciąż pozostaje w planach, wersja przedpremierowa nie przesądza, na ile konsekwentnie wyniki testów porównawczych przełożą się na programowanie w środowisku produkcyjnym.