Baseten lansează Grid pentru rutarea și guvernanța programării cu IA în companii

Baseten a anunțat Grid pe 4 noiembrie 2026, lansând o versiune de previzualizare publică a stratului său de rutare, gateway și măsuri de protecție pentru programarea cu IA în companii. Compania a raportat că Baseten Router a obținut economii de aproape 70% la costul per sarcină în testele comparative inițiale, cu un compromis de 0,9 puncte procentuale în privința calității față de Opus 5.5; accesul timpuriu se face pe bază de înscriere pe o listă de așteptare.

Rutare dincolo de prețul tokenurilor

Grid automatizează o alegere pe care, în mod normal, dezvoltatorii ar face-o singuri: ce model aprobat ar trebui să gestioneze fiecare sarcină de programare. Pentru fiecare solicitare, Baseten Router evaluează opțiunile cu sursă deschisă și proprietare aprobate de organizație și compară performanța probabilă pentru sarcina respectivă cu costul.

În loc să clasifice modelele doar în funcție de prețul tokenurilor, sistemul de rutare ia în calcul costul reîncercărilor, al apelurilor eșuate către instrumente și al răspunsurilor incomplete. Scopul său este să reducă costul finalizării unei sarcini, respectând totodată cerințele echipei privind calitatea și performanța. Rutele automate pot prioritiza costul, inteligența sau un echilibru între cele două.

Organizațiile pot, de asemenea, să opteze pentru partajarea traselor, care pot fi folosite la antrenarea unor sisteme de rutare personalizate, eficiente pe frontiera Pareto pentru sarcinile lor specifice. Baseten a precizat că economiile exacte vor varia în funcție de structura sarcinilor și de echilibrul dorit de client între cost și calitate, ceea ce înseamnă că rezultatul testului comparativ indică un potențial, nu o reducere universală.

Chintan Parikh, directorul departamentului de inginerie al Opendoor, a declarat că Grid a reunit vizibilitatea asupra cheltuielilor interne cu IA și a redus automat cheltuielile, cu pierderi minime de calitate. Aproape toți angajații Opendoor folosesc IA, iar majoritatea nu vor să decidă ce model să aleagă.

Acces centralizat fără a schimba instrumentele dezvoltatorilor

Grid Gateway oferă stratul administrativ. Echipele de platformă pot aproba modele, acorda acces la nivel de echipă, stabili bugete și folosi date de autentificare gestionate de companie, monitorizând totodată utilizarea în cadrul echipelor, aplicațiilor și agenților. Un tablou de bord detaliază cheltuielile în funcție de model și afișează cheltuielile totale, volumul de tokenuri, rata de accesări reușite ale memoriei cache și costurile economisite.

La lansare, Grid este compatibil cu modele de la OpenAI, Anthropic, Gemini Enterprise Agent Platform, Amazon Bedrock și Baseten. Dezvoltatorii pot conecta Claude Code, Codex, OpenCode și Pi printr-o singură comandă de configurare, iar administratorii pot automatiza configurarea prin gestionarea dispozitivelor mobile.

Aplicațiile și agenții interni care folosesc Anthropic sau API-ul OpenAI se pot conecta prin schimbarea unei adrese URL de bază și a unui ID de model. Astfel, software-ul existent poate fi integrat în același punct de acces, fără ca organizațiile să fie nevoite să-și înlocuiască instrumentele de dezvoltare consacrate.

Echipele de platformă pot, de asemenea, să atribuie fiecărui mediu de execuție un model de programare implicit și un model mai mic, pentru sarcini secundare precum rezumarea. Dezvoltatorii primesc aceste setări implicite în timpul configurării și pot schimba modelele ulterior.

Măsuri de protecție comune și infrastructură de inferență

Grid aplică politici de siguranță configurabile la nivelul gateway-ului, verificând centralizat solicitările și răspunsurile. Politicile pot varia în funcție de sarcină, iar înregistrările indică ce a fost semnalat și cum a fost tratat. Printre riscurile identificate se numără documentele care conțin instrucțiuni ascunse menite să redirecționeze agenții, acțiunile neautorizate și apariția informațiilor despre clienți în locuri unde nu ar trebui să ajungă.

Aceste măsuri de protecție sunt distincte de controalele de execuție. Verificările de siguranță analizează solicitările și răspunsurile riscante, în timp ce controalele de execuție stabilesc la ce poate avea acces un agent și ce poate face. Baseten a declarat că întreprinderile au nevoie de ambele straturi.

Sub gateway, platforma de inferență Baseten gestionează rutarea, traducerea între protocoalele modelelor și cele ale mediilor de execuție, memorarea în cache, scalarea și optimizarea. Atunci când Baseten găzduiește modelul selectat, sesiunile extinse ale agenților, cu mai multe schimburi de replici, pot fi direcționate către un cache key-value preîncălzit pentru a le reduce costul. Echipele sale de cercetare a performanței modelelor, de post-antrenare și de infrastructură lucrează, de asemenea, la nuclee personalizate, decodare speculativă și evaluările pe care fiecare model trebuie să le treacă înainte de lansare.

După etapa de previzualizare, Baseten intenționează să permită delegarea sarcinilor de durată mai lungă către agenți găzduiți în cloud și coordonarea mai multor agenți pentru sarcini complexe. Sunt planificate, de asemenea, rutarea adaptată la datele și cazurile de utilizare ale clienților, semnale de siguranță mai detaliate și compatibilitatea cu propriile măsuri de protecție ale clienților.

Prin urmare, criteriul economic este costul unei sarcini finalizate la nivelul de calitate cerut, prețul tokenurilor fiind doar unul dintre factorii luați în calcul. Deoarece economiile raportate depind de structura sarcinilor, iar mai multe capabilități de gestionare a agenților sunt încă în faza de planificare, versiunea de previzualizare nu permite încă să se știe în ce măsură aceste rezultate din testele comparative se vor reflecta în mod constant în activitatea de programare din mediul de producție.