Perplexity veröffentlicht Erläuterungen zu Funktionsweise und Grenzen von KI-Gateways

Perplexity veröffentlichte am 20. Oktober 2026 einen Leitfaden, der erklärt, wie KI-Gateways den Datenverkehr zwischen Anwendungen und großen Sprachmodellen weiterleiten, erfassen und steuern und wann ein Unternehmen ein solches Gateway benötigt. Der Beitrag mit dem Titel „Was ist ein KI-Gateway? Ein Leitfaden zu Weiterleitung, Kostenkontrolle und Governance für den Datenverkehr von LLMs und Agenten“ erschien als neuester Eintrag im Blog des Unternehmens.

Definition und Verarbeitung von Anfragen

Der Leitfaden definiert ein KI-Gateway als zentrale Proxy-Schicht zwischen den Anwendungen oder KI-Agenten eines Unternehmens auf der einen und den großen Sprachmodellen und Tools, die sie aufrufen, auf der anderen Seite. Weiterleitung, Kostenkontrolle, Durchsetzung von Sicherheitsvorgaben und Nutzungsüberwachung werden dabei zentral abgewickelt. Da jeder Anbieter – der Leitfaden nennt OpenAI, Anthropic, Google, Open-Source-Modelle und selbst gehostete Endpunkte – ein eigenes SDK, eigene API-Schlüssel und ein eigenes Anfrageformat bereitstellt, nimmt das Gateway eine standardisierte Anfrage entgegen und übersetzt sie für den jeweiligen Anbieter. Modelle werden über die Gateway-Konfiguration statt über den Anwendungscode hinzugefügt, ausgetauscht oder entfernt.

Dem Leitfaden zufolge durchläuft jede Anfrage, die an die Basis-URL des Gateways gerichtet ist, dieselben vier Schritte: Das Gateway authentifiziert und autorisiert den Aufrufer anhand von Schlüssel und Rolle; es wendet Richtlinien wie Tokenlimits, Budgets und Schutzvorkehrungen einschließlich der Entfernung personenbezogener Daten (PII) an; es leitet die Anfrage anhand von Kosten, Latenz oder Verfügbarkeit an ein Modell oder einen Anbieter weiter, weicht bei Bedarf auf ein Ersatzsystem aus und übersetzt die Anfrage in das Format des Zielanbieters; und es protokolliert Modell, Tokenanzahl, Latenz und Ergebnis, um Ausgaben nachzuverfolgen und Fehler zu beheben.

Funktionen und genannte Einschränkungen

Der Leitfaden beschreibt sechs Funktionsbereiche. Bei der Weiterleitung und Ausfallsicherung wird ein Modell anhand von Kosten, Latenz oder Leistungsfähigkeit ausgewählt; ist ein Anbieter nicht verfügbar oder hat er sein Ratenlimit erreicht, werden Anfragen automatisch umgeleitet. Tokenbasierte Ratenlimits und Budgets begrenzen die Nutzung pro Team, Projekt oder Nutzer und weisen Anfragen zurück, sobald das zugewiesene Kontingent ausgeschöpft ist. Beim semantischen Caching werden neue Prompts anhand ihrer Bedeutung mit gespeicherten Antworten abgeglichen. Sind die Prompts ähnlich genug, wird die gespeicherte Antwort ohne Aufruf eines Modells zurückgegeben. Schutzvorkehrungen prüfen jeden Prompt und jede Antwort, entfernen personenbezogene oder sensible Daten, bevor diese einen Anbieter erreichen, verringern das Risiko von Prompt-Injection und filtern unerwünschte Inhalte heraus. Die Überwachungsfunktionen erfassen, welches Modell ausgeführt wurde, den Tokenverbrauch, die Latenz und Fehler. Governance-Funktionen wiederum gewähren rollenbasierten Zugriff auf Modelle und führen ein Prüfprotokoll zu jedem Aufruf.

Zu den Einschränkungen erklärt der Leitfaden, dass ein Gateway zwar zusätzliche Latenz verursacht, diese bei LLM-Datenverkehr aber relativ gering sei. Als Beleg nennt er einen unabhängigen Benchmark des VMware-Cloud-Foundation-Teams von Broadcom aus dem Juni 2026: Darin verursachte ein optimiertes Envoy AI Gateway bei bis zu 224 gleichzeitigen Nutzern mit aktivierter Weiterleitung und Ratenbegrenzung, aber ohne Inhaltsprüfung, pro Anfrage etwa 2 Millisekunden zusätzliche Latenz. Demnach könnten Schutzvorkehrungen und semantisches Caching im selben Benchmark die Latenz um Dutzende bis Hunderte Millisekunden erhöhen. Außerdem heißt es im Leitfaden, dass Gateways nicht entscheiden, was ein Modell gefragt werden soll, sich nicht an Gespräche erinnern, nicht die schrittweise Logik eines Agenten ausführen und nicht die Qualität von Antworten bewerten. Zudem warnt er, dass eine kostenorientierte Weiterleitung die Qualität beeinträchtigen kann, wenn ein günstigeres Modell eine schlechtere Antwort liefert.

Gateway-Typen und Agenten-Datenverkehr

Der Leitfaden vergleicht KI-Gateways anhand mehrerer Kriterien mit herkömmlichen API-Gateways: Token-Erfassung statt Begrenzung der Anfrageanzahl, semantisches statt exaktes Caching, Prüfung von Prompts auf sensible Daten und verborgene Anweisungen statt Authentifizierung per Schlüssel sowie Weiterleitung an Modelle nach Kosten, Latenz oder Leistungsfähigkeit statt an Backend-Dienste. Außerdem unterscheidet er zwei enger gefasste Begriffe: Ein LLM-Gateway verarbeitet den Modellaufruf selbst, während ein MCP-Gateway steuert, auf welche Tools und Datenquellen ein Agent über das Model Context Protocol zugreifen kann. LiteLLM, Portkey, Azure API Management und Envoy AI Gateway bieten inzwischen MCP-Governance, so der Leitfaden. Die Begriffe bezeichnen daher überlappende Kontrollschichten.

Agenten arbeiten laut Beschreibung des Leitfadens in Schleifen aus Modellaufrufen und der Verwendung von Tools, bis eine Aufgabe abgeschlossen ist. Das Gateway kontrolliert und überwacht den gesamten von Agenten ausgelösten Datenverkehr, autorisiert den Zugriff der Agenten auf bestimmte Tools und Datenquellen und protokolliert sämtliche Modell- und Tool-Aufrufe in einem Prüfprotokoll.

Zitierte Daten zur Einführung und Hinweise zur Bereitstellung

Um den Bedarf einzuschätzen, führt der Leitfaden Zahlen aus Drittquellen an. Cisco zufolge ergab der AI Readiness Index 2025, dass 83 % der 8.039 befragten Führungskräfte aus dem oberen Management von Unternehmen mit mehr als 500 Beschäftigten planen, KI-Agenten zu entwickeln oder einzusetzen. Gartner erwartet, dass bis Ende 2026 aufgabenspezifische Agenten in 40 % der Unternehmensanwendungen zum Einsatz kommen werden, gegenüber weniger als 5 % im Jahr 2025. Zu den Kosten verweist der Leitfaden auf die DoiT/Sapio-Umfrage 2026, in der 79 % der teilnehmenden Finanzverantwortlichen angaben, ihr KI-Budget im vergangenen Jahr überschritten zu haben. Außerdem zitiert er eine Umfrage von Dataiku und Harris Poll aus dem Jahr 2026: Darin sagten 93 % der CIOs von Großunternehmen, dass verschiedene Modelle bei unterschiedlichen Anwendungsfällen besser abschneiden; 81 % der Unternehmen erwarten, zwei oder mehr Modellanbieter einzusetzen, und 55 % haben mindestens einmal den LLM-Anbieter gewechselt.

Unabhängige Monitoring-Daten, auf die sich der Leitfaden bezieht, bezifferten die Verfügbarkeit führender LLM-Anbieter im Mai 2026 auf etwa 99,85–99,9 % – laut Leitfaden entspricht das ungefähr 9–13 Stunden Ausfallzeit pro Jahr. In einer Cockroach Labs-Umfrage aus dem Jahr 2026 unter 1.125 leitenden Infrastrukturverantwortlichen schätzten zwei Drittel, dass eine Stunde Ausfallzeit bei KI ihr Unternehmen mehr als 100.000 US-Dollar kosten würde. Der Leitfaden verweist außerdem auf die OWASP-Einstufung von Prompt Injection als größtes LLM-Sicherheitsrisiko im Jahr 2025 sowie auf eine Feststellung von Zscaler ThreatLabz, wonach die Menge der von Unternehmen an KI-Anwendungen gesendeten Daten innerhalb eines Jahres um 93 % gestiegen ist und ChatGPT allein 410 Millionen Verstöße gegen Maßnahmen zur Verhinderung von Datenverlust ausgelöst hat.

Der Leitfaden nennt mehrere Anzeichen dafür, dass ein Unternehmen ein Gateway benötigt: in mehreren Codebasen fest codierte Anbieterschlüssel, Modellkosten, die die Finanzabteilung nicht zuordnen kann, Ratenbegrenzungs- oder Ausfallfehler aufgrund der Abhängigkeit von einem einzelnen Anbieter, nicht überprüfte Prompts mit sensiblen Daten, konkurrierende Anbieterintegrationen in verschiedenen Teams, MCP-Tool-Integrationen sowie eine fehlende Übersicht über Sicherheit und Compliance. Ein Gateway sei nicht erforderlich für einen einzelnen Prototyp, ein Nebenprojekt mit geringem Aufkommen oder Aufrufe an einen einzigen Modellendpunkt mit minimalen Sicherheitsanforderungen. Zu den genannten selbst gehosteten Optionen zählen LiteLLM, Portkey und Apache APISIX, die in einer privaten Cloud, auf Kubernetes oder in einer lokalen Infrastruktur betrieben werden können. Zu den genannten verwalteten Optionen zählen Cloudflare AI Gateway, Azure API Management und Amazon Bedrock AgentCore Gateway. Bei der Auswahl stellt der Leitfaden Datenkontrolle und Datenschutz, den Betriebsaufwand einschließlich Datenspeichern wie PostgreSQL, Redis oder etcd, die Bereitstellungsgeschwindigkeit und Integrationen in den Mittelpunkt. Laut FAQ sind „Gateway für generative KI“ und „KI-Gateway“ austauschbare Begriffe; außerdem gebe es kein einzelnes bestes Open-Source-KI-Gateway.