Proč nástroje pro trasování LLM nyní budují brány AI

V roce 2026 přidaly LangSmith, Langfuse, Opik i Braintrust bránu před poskytovatele modelů. Hlavním důvodem je kontrola: trasovací nástroj může volání modelu pouze zaznamenat, zatímco brána ho může zastavit.

Dva nástroje, z nichž každý dělal něco jiného

Poslední dva roky používalo mnoho týmů pro aplikace s velkými jazykovými modely (LLM) dva samostatné nástroje. Mezi aplikací a poskytovateli modelů stála brána. Uchovávala klíče API poskytovatelů, převáděla požadavky mezi rozhraními API jednotlivých poskytovatelů a opakovala neúspěšná volání. LiteLLM, proxy s otevřeným zdrojovým kódem, se pro tento účel stalo běžnou volbou. Vedle aplikace byl trasovací nástroj, například LangSmith nebo Langfuse, který zaznamenával každé volání modelu, volání nástroje i krok načítání, aby inženýři viděli, co agent provedl.

Toto rozdělení dávalo smysl, protože brána musí být rychlá a podporovat rozhraní API každého poskytovatele, zatímco trasovací nástroj potřebuje kvalitní rozhraní, úložiště pro velké datové objemy a SDK, které obaluje aplikační kód. Langfuse stále dokumentuje použití dvou nástrojů a nabízí integraci LiteLLM Proxy, která směruje každé volání přes proxy do Langfuse. V roce 2026 začali poskytovatelé trasovacích nástrojů budovat vlastní brány.

Čtyři uvedení během šesti měsíců

Společnost LangChain oznámila bránu LangSmith LLM v soukromé betaverzi v květnu 2026 a 30. července ji zpřístupnila ve veřejné betaverzi. Od té doby ji zařadila také do nasazení LangSmithu ve vlastním cloudu. Braintrust ukončil podporu svého dřívějšího proxy nástroje AI a nasměroval uživatele k nové bráně, která je ve fázi předběžného zpřístupnění a do obecného vydání je zdarma. Comet vydal bránu Opik LLM jako beta koncový bod přijímající požadavky ve formátu OpenAI. Dne 4. listopadu Langfuse zpřístupnilo svou bránu AI ve veřejné betaverzi, a to jak v Langfuse Cloud, tak pro vlastní nasazení. Brána je licencována pod MIT a napsána v jazyce Rust.

MLflow, který původně sloužil ke správě životního cyklu strojového učení, nikoli k trasování, nabízí bránu AI už déle, včetně upozornění a limitů výdajů.

Brány existují už řadu let a rizika jejich provozování jsou dobře zdokumentována. Nové brány pocházejí od společností, jejichž hlavní činností bylo zaznamenávání volání modelů a které nyní chtějí, aby každé volání nejprve prošlo přes ně.

Proč rozpočtová omezení vyžadují kontrolu požadavků

Trasovací nástroj zaznamená volání modelu až poté, co poskytovatel odpoví a zaplatí se za tokeny. Takový záznam stačí k vytvoření grafu výdajů, ale trasovací nástroj nedokáže dalším výdajům zabránit. Dodržování týmového rozpočtu, blokování modelu i odstranění tajného údaje z promptu vyžadují kontrolu požadavku ještě předtím, než dorazí k poskytovateli. To dokáže pouze komponenta, kterou požadavek prochází.

LangChain tento argument uvádí ve svém článku o uvedení produktu. Popisuje týmy, které kombinují samostatnou bránu, nástroj pro ochranná pravidla a nástroj pro pozorovatelnost, a tvrdí, že problémům lze předcházet vynucováním zásad na úrovni požadavků. Pokud by požadavek překročil rozpočet, její brána vrátí stavový kód HTTP 402, místo aby jej předala poskytovateli.

Jediný vstupní bod zaznamená každé volání

Druhým důvodem je pokrytí. SDK zaznamenává pouze ty cesty v kódu, které někdo instrumentoval. Právě mimo ně selhání agentů často zůstávají bez povšimnutí. Skript na notebooku, sešit nebo programovací agent používající zkopírovaný klíč API nezanechá žádnou stopu. Brána, která uchovává klíče poskytovatelů, vidí každé volání, protože k poskytovateli nevede žádná jiná cesta.

Langfuse staví svou bránu na této myšlence. Podle dokumentace k bráně patří každý klíč brány uživateli nebo servisnímu účtu a může obsahovat metadata, například tým nebo nákladové středisko. Přihlašovací údaje poskytovatele uchovává pouze brána a správci schvalují, ke kterým modelům lze s jednotlivými údaji přistupovat. LangSmith zveřejňuje stránky s pokyny k nastavení, které popisují směrování nástrojů Claude Code, Codex a Gemini CLI přes jeho bránu. Tito agenti volají modely z počítače vývojáře, mimo trasovací kód jakékoli aplikace.

Co přináší brána trasovacího nástroje

Poskytovatelé trasovacích nástrojů uvádějí i opačný argument: samostatná brána sama o sobě nestačí. Langfuse ve svém článku o uvedení produktu tvrdí, že samostatná brána dokáže pouze počítat tokeny a náklady, zatímco jeho vlastní brána začlení každé volání do úplné stopy. Brána Langfuse přijímá hlavičku W3C traceparent, takže se volání, které jí projde, připojí ke stopě, již aplikace už začala vytvářet. Ve výchozím nastavení zaznamenává využití a náklady, nikoli obsah promptů a odpovědí.

To je nejsilnější technický argument pro začlenění brány do trasovacího nástroje. Samostatná brána vidí jen plochý seznam dokončených odpovědí. Trasovací nástroj už díky svému SDK zná volání nástrojů a kroky načítání, které agent provedl, a může do této struktury zařadit každé volání procházející bránou.

Je tu také obchodní hledisko, které samotní dodavatelé nezmiňují. Kdo provozuje bránu, drží klíče k poskytovatelům i přehled výdajů, který sledují finanční a platformní týmy. Bránu je proto těžší nahradit než nástroj pro prohlížení tras. LangSmith a Langfuse této pozice už využívají odlišně: LangSmith prodává Gateway Credits, které zákazníkům umožňují volat hostované modely, například Kimi, bez vlastního klíče k poskytovateli, zatímco v častých dotazech Langfuse uvádí, že tokeny nepřeprodává.

Co beta verze bran zatím neumějí

Tyto brány jsou nové a dodavatelé sami popisují jejich nedostatky. Brána Langfuse v současnosti podporuje pouze OpenAI a Anthropic; Amazon Bedrock, Google Vertex AI a Google AI Studio jsou na jejím plánu dalšího vývoje. Záložní přepínání mezi poskytovateli a pevné limity výdajů pro týmy, uživatele nebo klíče jsou plánované, ale dosud nebyly nasazeny. Brána zatím nabízí přehled výdajů a upozornění. Její dokumentace nepopisuje limity počtu požadavků ani ukládání odpovědí do mezipaměti.

Brána Langfuse nepřevádí mezi formáty API, takže klient OpenAI může volat pouze modely OpenAI. Verze provozovaná na vlastním serveru volá pouze oficiální adresy URL poskytovatelů, takže zatím nelze použít Azure OpenAI, Bedrock ani interní proxy. Comet popisuje bránu Opik jako řešení určené pro vývoj a testování. Braintrust zatím neoznámil ceny své brány.

Brána LangSmith už nabízí víc než ostatní. Její dokumentace uvádí jako aktuální funkce záložní přepínání, limity výdajů, limity počtu požadavků a zásady pro práci s daty. Podporuje také formáty OpenAI Chat Completions, OpenAI Responses a Anthropic Messages. Záložní přepínání a limity počtu požadavků byly v květnu uvedeny jako funkce, na kterých se teprve pracuje, takže byly doplněny během beta verze. Celý produkt je stále označen jako beta.

Testování zátěže odhaluje jiný typ nedostatku. Benchmark brány Langfuse, LiteLLM a AcruxCore provozovaných na vlastním serveru ukázal, že brána Langfuse přidávala při každém volání menší latenci než LiteLLM. Při výchozím nastavení Dockeru však selhala u 739 z 1 000 souběžných streamů, protože její proces zachoval výchozí limit Dockeru 1 024 otevřených souborů. Problém vyřešil jediný řádek v konfiguračním souboru Compose od Langfuse.

Ve srovnání s těmito beta verzemi podporuje LiteLLM, samostatná brána fungující už řadu let, více než 100 poskytovatelů a nabízí virtuální klíče, sledování výdajů, ochranná opatření, vyvažování zátěže i administrační panel. LiteLLM také přesouvá zpracování požadavků z Pythonu do Rustu. Jeho Rust AI Gateway je v beta verzi a tým LiteLLM očekává, že požadavky ve stylu Anthropic /v1/messages bude možné od začátku do konce zpracovávat v Rustu do 1. prosince, a to s přibližně 20krát nižší latencí. Několik open-source platforem, například MLflow a AcruxCore, už nabízí bránu i trasování v jednom produktu.

Proč je ponechat oddělené

Sloučení brány s nástrojem pro trasování má své nevýhody, z nichž největší je těsné provázání. Pokud je brána samostatná, tým může změnit dodavatele trasování pouhou změnou zpětného volání pro protokolování. Když nástroj pro trasování zároveň slouží jako brána, je třeba změnit také základní URL adresu, klíče a identifikátory modelů u každé služby. Langfuse například zapisuje identifikátory modelů ve tvaru credential:model.

Nástroj pro trasování se také stává závislostí za běhu. Pokud přestane fungovat backend pro trasování, tým přijde o trasovací záznamy. Pokud přestane fungovat brána, volání modelů selžou. Dodavatel trasování, který provozuje bránu, nyní musí zajistit dostupnost na úrovni kritické infrastruktury.

O stejné místo v cestě požadavku usilují i dodavatelé bezpečnostních řešení. Společnost Palo Alto Networks dokončila v květnu 2026 akvizici samostatné brány Portkey a začlenila ji jako AI bránu do platformy Prisma AIRS. Bezpečnostní tým může chtít mít bránu pod vlastní kontrolou, nikoli uvnitř nástroje pro observabilitu. Brány se staly také terčem útočníků, jak ukázal útok na dodavatelský řetězec LiteLLM v březnu.

Jak se mohou týmy rozhodnout

Týmy mohou začít tím, že si sepíší, co všechno se musí stát před voláním modelu. Pokud potřebují pouze přehled, stačí nástroj pro trasování vedle cesty požadavku, který nepřidává žádnou závislost za běhu. Pokud potřebují také rozpočty, zásady pro klíče nebo schvalování modelů, potřebují nějaký typ brány.

Dalším krokem je pokrytí poskytovatelů. Tým by si měl sepsat všechny poskytovatele a formáty API, které používá v produkčním prostředí, včetně Azure OpenAI a Bedrocku, a tento seznam porovnat s aktuální podporou jednotlivých bran, nikoli s jejich plánem dalšího vývoje.

Týmy, které už používají LiteLLM, mají jen malý důvod přecházet, dokud beta verze brány nenabídne něco, co jim chybí. Hlavní přínos brány od dodavatele nástroje pro trasování spočívá v tom, že se volání brány zaznamená přímo do trasovacího záznamu agenta; tento přínos musí stát za migraci. Týmy, které začínají od nuly, mohou bránu ponechat jako samostatnou vrstvu, i když obě řešení dodává jeden dodavatel. Pokud jsou základní URL adresa a klíče uložené v jednom konfiguračním modulu, pozdější přechod vyžaduje změnu konfigurace, nikoli kódu.

Většina těchto bran je označena jako beta nebo preview, takže seznam nedostatků se bude rychle zkracovat. Otevřenou otázkou zůstává, kdo bude ve firmách obvykle spravovat cestu požadavku: tým pro observabilitu, platformní tým provozující samostatnou bránu, nebo bezpečnostní tým. Letos LangSmith a Langfuse vytvořily vlastní brány a Palo Alto Networks jednu koupila, přesto však cesta požadavku v mnoha technologických prostředích stále vede přes LiteLLM.