Perplexity forklarer hvordan LLM-gatewayer fungerer, og hvilke risikoer de innebærer i produksjon

Perplexity publiserte en praktisk veiledning om LLM-gatewayer 27. oktober 2026. Her viser de teknologiteam hvordan mellomlaget videresender, autentiserer, mellomlagrer og logger modellkall, og beskriver sikkerhets- og pålitelighetsrisikoen ved å samle leverandørlegitimasjon i én tjeneste.

Definisjon og taksonomi for gatewayer

Veiledningen definerer en LLM-gateway som en omvendt proxy for modellkall: Applikasjoner sender forespørsler til gatewayen i stedet for direkte til leverandører som OpenAI, Anthropic eller Google, og gatewayen videresender forespørslene i tråd med reglene til den som driver den. Kategorien presenteres som en løsning på fragmenteringen. Veiledningen innledes med et Reddit-innlegg fra september 2026 i r/LLMDevs, der en ingeniør beskrev en arbeidsplass hvor alle hadde sine egne nøkler til Claude, OpenAI, AWS Bedrock og andre inferensleverandører.

Sammenligningstabellen i veiledningen skiller mellom fire typer gatewayer. En API-gateway står foran backend-tjenester og avgjør om en klient er autentisert og holder seg innenfor forespørselsgrensen sin. En LLM-gateway står foran modelltilbydere og avgjør hvilken modell som mottar en forespørsel, hvem som betaler for den, og om den kom tilbake. En MCP-gateway avgjør om en agent kan kalle et bestemt verktøy med bestemte argumenter. Veiledningen bruker «AI-gateway» om leverandørprodukter som kombinerer noen av disse funksjonene.

Forespørselens livssyklus i seks trinn

Veiledningen forklarer hvordan det fungerer ved å følge én forespørsel fra applikasjonen til modellen og tilbake. Først sender applikasjonen en chatforespørsel, ofte i et OpenAI-kompatibelt format, til gatewayens endepunkt. Gatewayen validerer legitimasjonen, ofte en virtuell nøkkel som er utstedt til et team eller et produkt. Hvis det er satt opp sikkerhetsmekanismer for inndata, kan gatewayen også skanne ledetekster for sensitive data eller forsøk på å overstyre modellens instruksjoner. Hvis mellomlagring er aktivert, kan en forespørsel som oppfyller vilkårene og samsvarer med en tidligere forespørsel, besvares med et lagret svar. Noen gatewayer tilbyr semantisk mellomlagring, som finner forespørsler som vurderes som like, men ikke nødvendigvis identiske. Deretter finner gatewayen den samsvarende ruten i konfigurasjonen og kan gå over til en reserveleverandør hvis den første leverandøren ikke svarer innen tidsfristen. Gatewayen konverterer forespørselen til formatet til den valgte leverandøren, autentiserer det utgående kallet og konverterer svaret tilbake til et format applikasjonen kan bruke. Når logging er aktivert, registrerer gatewayen hvem som foretok kallet, hvilken modell som håndterte det, antall tokener, forsinkelsen og kostnaden.

Sikkerhets- og pålitelighetsrisiko

Veiledningens viktigste advarsel er at gatewayen samler legitimasjon på ett sted. Microsofts sikkerhetsteam har listet opp hva en LiteLLM-installasjon kan inneholde eller hente: API-nøkler til leverandører, LiteLLM-hovednøkkelen, oppføringer for virtuelle nøkler, tilkoblingsstrenger for databaser, rutingskonfigurasjon og data om leietakerpolicyer. I innlegget 26. august 2026 beskrev Microsoft et observert angrep mot en LiteLLM-gateway, der angripere hentet ut legitimasjon fra gatewayens kjøretidsmiljø.

13. oktober 2026 avslørte Check Point Research to sårbarheter med høy risiko i LiteLLM: CVE-2026-35029, en tilgangskontrollfeil som lot autentiserte brukere, også brukere med skrivebeskyttet tilgang, nå administrative funksjoner og ta over gatewayen, og CVE-2026-59823, en sårbarhet for forfalskning av forespørsler på serversiden som lot brukere omdirigere gatewayforespørsler til en server kontrollert av en angriper og fange opp API-nøkler til AI-leverandører. Begge sårbarhetene er rettet i LiteLLM versjon 1.83.9. Check Point oppga at LiteLLM hadde 97 millioner nedlastinger per måned og over 59 000 GitHub-stjerner, og sa at den koordinerte varslingen til LiteLLM startet i oktober 2025.

Veiledningen ber også teamene om å fastsette en feilpolicy for sikkerhetsmekanismer. Den beskriver kroker som punkter i forespørselsflyten der gatewayen sender innhold til en ekstern skanner for vurdering. Det påpekes at dokumentasjonen til Portkey omtaler before_request_hooks og after_request_hooks, og at TrueFoundry kjører fire kroker med kontroller både før og etter MCP-verktøykall.

Når det gjelder pålitelighet, viser veiledningen til dokumenterte avbrudd. Cloudflares egen beskrivelse av avbruddet 12. juni 2025 opplyser at feilraten for AI Gateway nådde en topp på 97 % av forespørslene, fordi AI Gateway er avhengig av Workers KV for klient- og interne konfigurasjoner. Det samlede avbruddet varte i 2 timer og 28 minutter. OpenRouters etterrapport om avbruddene 17. og 19. februar 2026 opplyser at hendelsene varte i henholdsvis 38 og 35 minutter etter at en hurtigbufferavhengighet fra en tredjepart sviktet. Det førte til 401-feil med meldingen «User not found» og til tiltak, blant annet effektbrytere og at 503-feil returneres i stedet for 401 når infrastrukturproblemer hindrer autorisasjonsoppslag.

Distribusjonsalternativer, priser og leverandørspesifikke forhold

Veiledningen beskriver fire måter å distribuere en gateway på. Team kan utvikle en enkel gateway internt – ta imot forespørsler, kontrollere avsenderens nøkkel, legge til leverandørens legitimasjon, videresende kallet og logge resultatet – eller drifte en åpen kildekode-gateway selv. LiteLLM, Bifrost og Helicone nevnes som alternativer. Blant de administrerte gatewayene er Cloudflare AI Gateway, Vercel AI Gateway, OpenRouter og Portkeys driftede gateway. En fjerde mulighet er å utvide en API-gateway selskapet allerede drifter. Her nevnes Kong AI Gateway, Apigees AI-gatewaypolicyer og Azure API Managements AI-gateway.

Når det gjelder kostnader, opplyser guiden at LLM-gatewayer koster alt fra ingenting for programvare med åpen kildekode til betalte abonnementer fra rundt 50 dollar i måneden, med tilpassede priser for bedrifter. Noen tar i stedet en prosentandel: OpenRouters Standard-abonnement legger ifølge guiden på 5,5 % ved kjøp av kreditter.

Guiden avslutter med leverandørspesifikke svar. Den opplyser at Amazon Bedrock AgentCore Gateway støtter modellkall via det AWS kaller «inferensmål», slik at applikasjoner kan bruke ett endepunkt for å nå leverandører som Amazon Bedrock, OpenAI og Anthropic. Den nevner at Perplexitys egen Agent API støtter grensesnittet i OpenAI Responses API, slik at team kan gjenbruke eksisterende klientbiblioteker for OpenAI. Agent API lar også brukere liste opp opptil fem modeller, inkludert modeller fra ulike leverandører, i ønsket rekkefølge. Guiden nevner også Perplexitys Numbat, som er åpen kildekode. Verktøyet kobler seg til støttede agenter via lokale kroker og kan undersøke planlagte handlinger, for eksempel skallkommandoer eller filskriving, før de utføres. Blokkering er valgfritt og er deaktivert som standard.