Perplexity publie une explication du fonctionnement et des limites des passerelles d’IA

Perplexity a publié, le 20 octobre 2026, un guide expliquant comment les passerelles d’IA acheminent, mesurent et régissent le trafic entre les applications et les grands modèles de langage, ainsi que les situations dans lesquelles une organisation peut avoir besoin d’une telle passerelle. Intitulé « Qu’est-ce qu’une passerelle d’IA ? Guide de l’acheminement, de la maîtrise des coûts et de la gouvernance du trafic des LLM et des agents », l’article était la publication la plus récente du blogue de l’entreprise.

Définition et traitement des requêtes

Le guide définit une passerelle d’IA comme une couche de proxy centrale située entre, d’un côté, les applications ou agents d’IA d’une organisation et, de l’autre, les grands modèles de langage et outils auxquels ils font appel. Elle centralise l’acheminement, la maîtrise des coûts, l’application des règles de sécurité et le suivi de l’utilisation. Comme chaque fournisseur (le guide cite OpenAI, Anthropic, Google, les modèles open source et les points de terminaison hébergés sur site) propose son propre kit de développement logiciel (SDK), ses clés API et son format de requête, la passerelle reçoit une requête standard et la convertit au format du fournisseur sollicité. Les modèles sont ajoutés, remplacés ou retirés par la configuration de la passerelle, plutôt que par le code de l’application.

Selon le guide, chaque requête envoyée à l’URL de base de la passerelle suit les quatre mêmes étapes : la passerelle authentifie et autorise l’appelant au moyen de sa clé et de son rôle ; elle applique des règles telles que les limites de jetons, les budgets et les garde-fous, notamment le masquage des données personnelles (PII) ; elle achemine la requête vers un modèle ou un fournisseur en fonction du coût, de la latence ou de la disponibilité, bascule vers une solution de secours et convertit la requête au format du fournisseur cible ; enfin, elle consigne le modèle utilisé, le nombre de jetons, la latence et le résultat afin de suivre les dépenses et de faciliter le débogage.

Fonctionnalités et limites énoncées

Le guide décrit six domaines fonctionnels. L’acheminement et le basculement choisissent un modèle en fonction du coût, de la latence ou des capacités, puis redirigent automatiquement les requêtes lorsqu’un fournisseur est hors service ou soumis à une limitation de débit. Les limites de débit et les budgets fondés sur le nombre de jetons plafonnent l’utilisation par équipe, projet ou utilisateur et rejettent les requêtes dès que le quota est atteint. La mise en cache sémantique rapproche les nouvelles invites des réponses enregistrées en fonction de leur sens et renvoie la réponse sauvegardée sans solliciter de modèle lorsque les invites sont suffisamment similaires. Les garde-fous examinent chaque invite et chaque réponse, suppriment les données personnelles ou sensibles avant leur transmission à un fournisseur, réduisent le risque d’injection d’invite et filtrent les contenus indésirables. L’observabilité consigne le modèle utilisé, le nombre de jetons, la latence et les échecs, tandis que les fonctions de gouvernance accordent l’accès aux modèles en fonction des rôles et tiennent un journal d’audit de chaque appel.

Concernant les limites, le guide indique qu’une passerelle ajoute de la latence, mais décrit ce délai comme relativement faible pour le trafic des LLM. Il cite un test comparatif indépendant mené en juin 2026 par l’équipe VMware Cloud Foundation de Broadcom, dans lequel une passerelle Envoy AI Gateway optimisée ajoutait environ 2 millisecondes par requête avec jusqu’à 224 utilisateurs simultanés, lorsque l’acheminement et la limitation de débit étaient activés, mais pas l’inspection du contenu ; le même test, tel que le cite le guide, précise que les garde-fous et la mise en cache sémantique pouvaient ajouter de quelques dizaines à plusieurs centaines de millisecondes. Le guide indique également que les passerelles ne déterminent pas quoi demander à un modèle, ne mémorisent pas les conversations, n’exécutent pas la logique étape par étape d’un agent et n’évaluent pas la qualité des réponses. Il avertit que l’acheminement fondé sur le coût peut nuire à la qualité lorsqu’un modèle moins cher fournit une réponse moins bonne.

Types de passerelles et trafic des agents

Le guide compare les passerelles d’IA aux passerelles API traditionnelles sous plusieurs aspects : mesure de l’utilisation en jetons plutôt que limites fondées sur le nombre de requêtes ; mise en cache sémantique plutôt que par correspondance exacte ; inspection des invites pour détecter les données sensibles et les instructions dissimulées plutôt qu’authentification par clé ; et acheminement vers des modèles selon le coût, la latence ou les capacités plutôt que vers des services dorsaux. Il distingue également deux termes plus spécifiques : une passerelle LLM gère l’appel au modèle lui-même, tandis qu’une passerelle MCP régit les outils et les sources de données auxquels un agent peut accéder par l’intermédiaire du protocole Model Context Protocol. LiteLLM, Portkey, Azure API Management et Envoy AI Gateway prennent désormais en charge la gouvernance MCP, précise le guide ; ces termes désignent donc des couches de contrôle qui se chevauchent.

Pour les agents, que le guide décrit comme fonctionnant en boucles d’appels de modèles et d’utilisation d’outils jusqu’à l’accomplissement d’une tâche, la passerelle contrôle et surveille tout le trafic qu’ils déclenchent, autorise l’accès de l’agent aux outils et aux sources de données et consigne tous les appels aux modèles et aux outils dans un journal d’audit.

Données citées sur l’adoption et conseils de déploiement

Pour estimer la demande, le guide cite des données de tiers. L’AI Readiness Index 2025 de Cisco a révélé que 83 % des 8 039 cadres dirigeants interrogés dans des organisations de plus de 500 employés prévoyaient de développer ou de déployer des agents d’IA. Gartner prévoit que les agents spécialisés dans des tâches précises seront présents dans 40 % des applications d’entreprise d’ici la fin de 2026, contre moins de 5 % en 2025. Concernant les coûts, le guide cite l’enquête DoiT/Sapio de 2026, selon laquelle 79 % des responsables financiers participants avaient dépassé leur budget consacré à l’IA au cours de l’année précédente, ainsi qu’une enquête menée en 2026 par Dataiku et Harris Poll, dans laquelle 93 % des DSI d’entreprise ont déclaré que différents modèles donnaient de meilleurs résultats selon les cas d’usage, 81 % des entreprises prévoyaient d’utiliser deux fournisseurs de modèles ou plus et 55 % avaient changé de fournisseur de LLM au moins une fois.

Selon les données de surveillance indépendante citées dans le guide, la disponibilité des principaux fournisseurs de LLM se situait autour de 99,85–99,9 % en mai 2026, ce que le guide traduit par environ 9–13 heures d’interruption par an. Dans une enquête menée en 2026 par Cockroach Labs auprès de 1 125 hauts responsables des infrastructures, deux tiers estimaient qu’une heure d’interruption de l’IA coûterait plus de 100 000 $ à leur organisation. Le guide cite également le classement 2025 de l’OWASP, qui désigne l’injection de prompt comme le principal risque de sécurité lié aux LLM, ainsi qu’une étude de Zscaler ThreatLabz selon laquelle le volume de données d’entreprise envoyées vers des applications d’IA a augmenté de 93 % en un an, ChatGPT ayant à lui seul déclenché 410 millions de violations des règles de prévention des pertes de données.

Le guide énumère plusieurs signes indiquant qu’une organisation a besoin d’une passerelle : des clés de fournisseur inscrites en dur dans plusieurs bases de code, des factures de modèles que les équipes financières ne peuvent pas attribuer, des erreurs de limitation du débit ou d’interruption liées à la dépendance envers un seul fournisseur, des prompts contenant des données sensibles qui ne sont pas inspectés, des intégrations concurrentes de fournisseurs entre les équipes, des intégrations d’outils MCP et l’absence de vue d’ensemble de la sécurité ou de la conformité. Il précise qu’une passerelle n’est pas nécessaire pour un prototype unique, un projet secondaire à faible volume ou des appels à un seul point de terminaison de modèle avec des exigences de sécurité minimales. Parmi les options autohébergées figurent LiteLLM, Portkey et Apache APISIX, sur un cloud privé, Kubernetes ou une infrastructure sur site ; parmi les options gérées figurent Cloudflare AI Gateway, Azure API Management et Amazon Bedrock AgentCore Gateway. Le guide présente le choix en fonction du contrôle des données et de la confidentialité, de la charge opérationnelle, notamment des magasins d’état tels que PostgreSQL, Redis ou etcd, de la rapidité de déploiement et des intégrations. Sa FAQ indique que les expressions « passerelle d’IA générative » et « passerelle d’IA » sont interchangeables, et qu’il n’existe pas de meilleure passerelle d’IA libre qui s’impose à tous.