Perplexity licht de werking en beperkingen van AI-gateways toe

Perplexity publiceerde op 20 oktober 2026 een gids waarin wordt uitgelegd hoe AI-gateways het verkeer tussen applicaties en grote taalmodellen routeren, meten en beheren, en wanneer een organisatie er een nodig heeft. Het artikel, getiteld “Wat is een AI-gateway? Een gids voor routering, kostenbeheersing en governance van LLM- en agentverkeer”, verscheen als nieuwste bericht op de blog van het bedrijf.

Definitie en afhandeling van verzoeken

De gids omschrijft een AI-gateway als een centrale proxyschil tussen enerzijds de applicaties of AI-agents van een organisatie en anderzijds de grote taalmodellen en tools die deze aanroepen. Routering, kostenbeheersing, beveiligingshandhaving en gebruiksmonitoring worden daarbij op één plek geregeld. Omdat elke aanbieder (de gids noemt OpenAI, Anthropic, Google, opensourcemodellen en zelfgehoste endpoints) een eigen SDK, API-sleutels en verzoekindeling levert, accepteert de gateway één gestandaardiseerd verzoek en vertaalt dat naar de indeling van de betreffende aanbieder. Modellen worden via de gatewayconfiguratie toegevoegd, vervangen of uitgefaseerd, niet via de applicatiecode.

Volgens de gids doorloopt elk verzoek dat naar de basis-URL van de gateway wordt gestuurd dezelfde vier stappen: de gateway verifieert en autoriseert de aanroeper op basis van diens sleutel en rol; past beleid toe, zoals tokenlimieten, budgetten en beveiligingsmaatregelen, waaronder het verwijderen van persoonsgegevens (PII); routeert het verzoek naar een model of aanbieder op basis van kosten, latentie of beschikbaarheid, schakelt bij uitval over op een back-up en vertaalt het verzoek naar de indeling van de doelanbieder; en registreert het model, het aantal tokens, de latentie en de uitkomst voor uitgavenbewaking en foutopsporing.

Mogelijkheden en genoemde beperkingen

De gids beschrijft zes mogelijkheden. Routering en failover kiezen een model op basis van kosten, latentie of mogelijkheden en sturen verzoeken automatisch door wanneer een aanbieder niet beschikbaar is of een verzoeklimiet heeft bereikt. Op tokens gebaseerde limieten en budgetten begrenzen het gebruik per team, project of gebruiker en wijzen verzoeken af zodra een toegewezen limiet is bereikt. Semantische caching vergelijkt nieuwe prompts op betekenis met opgeslagen antwoorden en geeft het bewaarde antwoord terug zonder een model aan te roepen wanneer de prompts voldoende op elkaar lijken. Beveiligingsmaatregelen controleren elke prompt en elk antwoord, verwijderen persoonlijke of gevoelige gegevens voordat die een aanbieder bereiken, verkleinen het risico op promptinjectie en filteren ongewenste inhoud. Observability registreert welk model is gebruikt, het tokengebruik, de latentie en eventuele fouten. Governancefuncties verlenen op rollen gebaseerde toegang tot modellen en houden een auditlogboek bij van elke aanroep.

Wat de beperkingen betreft, stelt de gids dat een gateway extra latentie veroorzaakt, maar dat die vertraging bij LLM-verkeer relatief gering is. De gids verwijst naar een onafhankelijke benchmark uit juni 2026 van het VMware Cloud Foundation-team van Broadcom. Daarin voegde een afgestelde Envoy AI Gateway ongeveer 2 milliseconden per verzoek toe bij maximaal 224 gelijktijdige gebruikers, met routering en verzoeklimieten maar zonder inhoudscontrole. Volgens de aangehaalde benchmark konden beveiligingsmaatregelen en semantische caching tientallen tot honderden milliseconden toevoegen. De gids stelt ook dat gateways niet bepalen wat je een model moet vragen, gesprekken onthouden, de stapsgewijze logica van een agent uitvoeren of de kwaliteit van antwoorden beoordelen. Ook waarschuwt de gids dat routering op basis van kosten de kwaliteit kan verminderen wanneer een goedkoper model een slechter antwoord geeft.

Typen gateways en agentverkeer

De gids vergelijkt AI-gateways op verschillende punten met traditionele API-gateways: het meten van tokens tegenover limieten op het aantal verzoeken, semantische caching tegenover caching op basis van exacte overeenkomsten, prompts controleren op gevoelige gegevens en verborgen instructies tegenover authenticatie met sleutels, en routering naar modellen op basis van kosten, latentie of mogelijkheden tegenover routering naar back-endservices. Ook maakt de gids onderscheid tussen twee specifiekere termen: een LLM-gateway handelt de modelaanroep zelf af, terwijl een MCP-gateway bepaalt tot welke tools en gegevensbronnen een agent toegang heeft via het Model Context Protocol. LiteLLM, Portkey, Azure API Management en Envoy AI Gateway bieden inmiddels ook MCP-governance, merkt de gids op. De termen beschrijven dus deels overlappende beheerslagen.

De gids beschrijft agents als systemen die in een lus modelaanroepen doen en tools gebruiken totdat een taak is voltooid. De gateway beheert en monitort al het door agents geïnitieerde verkeer, bepaalt tot welke tools en gegevensbronnen de agent toegang heeft en registreert alle model- en toolaanroepen in een auditlogboek.

Gegevens over adoptie en richtlijnen voor implementatie

Om de vraag in kaart te brengen, haalt de gids cijfers van derden aan. Uit Cisco’s AI Readiness Index 2025 bleek dat 83% van de 8.039 ondervraagde senior bedrijfsleiders bij organisaties met meer dan 500 werknemers van plan is AI-agents te ontwikkelen of in te zetten. Gartner verwacht dat eind 2026 in 40% van de bedrijfsapplicaties agents voor specifieke taken worden gebruikt, tegenover minder dan 5% in 2025. Over de kosten haalt de gids de DoiT/Sapio-enquête uit 2026 aan, waarin 79% van de deelnemende financiële leidinggevenden aangaf het afgelopen jaar het AI-budget te hebben overschreden. Ook verwijst de gids naar een enquête uit 2026 van Dataiku en Harris Poll, waaruit bleek dat volgens 93% van de CIO’s van grote ondernemingen verschillende modellen beter presteren voor verschillende gebruikssituaties, dat 81% van de ondernemingen verwacht met twee of meer modelaanbieders te werken en dat 55% minstens één keer van LLM-aanbieder is gewisseld.

Onafhankelijke monitoring waarnaar de gids verwijst, schatte de beschikbaarheid van toonaangevende LLM-aanbieders in mei 2026 op ongeveer 99,85–99,9%, een niveau dat volgens de gids neerkomt op ongeveer 9–13 uur uitval per jaar. In een enquête van Cockroach Labs uit 2026 onder 1.125 senior infrastructuurverantwoordelijken schatte twee derde dat een uur AI-uitval hun organisatie meer dan $100.000 zou kosten. De gids verwijst ook naar de rangschikking van OWASP uit 2025, waarin promptinjectie werd aangemerkt als het grootste beveiligingsrisico voor LLM’s, en naar een bevinding van Zscaler ThreatLabz dat de hoeveelheid bedrijfsgegevens die naar AI-toepassingen werd gestuurd in één jaar met 93% steeg, waarbij ChatGPT alleen al 410 miljoen incidenten met betrekking tot preventie van gegevensverlies veroorzaakte.

De gids noemt signalen dat een organisatie een gateway nodig heeft: sleutels van aanbieders die hardgecodeerd zijn in meerdere codebases, modelkosten die de financiële afdeling niet aan een specifieke oorzaak kan toeschrijven, fouten door snelheidslimieten of uitval als gevolg van afhankelijkheid van één aanbieder, niet-gecontroleerde prompts met gevoelige gegevens, concurrerende integraties met aanbieders binnen verschillende teams, integraties met MCP-tools en het ontbreken van een overzicht van beveiliging of compliance. Volgens de gids is een gateway niet nodig voor één enkel prototype, een kleinschalig zijproject of verzoeken aan één modelendpoint met minimale beveiligingseisen. Zelf te hosten opties zijn onder meer LiteLLM, Portkey en Apache APISIX op een private cloud, Kubernetes of een eigen infrastructuur op locatie; beheerde opties zijn onder meer Cloudflare AI Gateway, Azure API Management en Amazon Bedrock AgentCore Gateway. De gids baseert de keuze op de controle over gegevens en privacy, de operationele belasting—waaronder statusopslag zoals PostgreSQL, Redis of etcd—de snelheid van implementatie en de beschikbare integraties. In de FAQ staat dat ‘gateway voor generatieve AI’ en ‘AI-gateway’ uitwisselbaar zijn en dat er niet één beste opensource-AI-gateway is.