Perplexity publică un ghid explicativ despre mecanismele și limitele gateway-urilor pentru IA

Perplexity a publicat, pe 20 octombrie 2026, un ghid care explică modul în care gateway-urile pentru IA direcționează, contorizează și guvernează traficul dintre aplicații și modelele lingvistice mari, precum și când are nevoie o organizație de un astfel de gateway. Intitulată „Ce este un gateway pentru IA? Ghid de direcționare, control al costurilor și guvernanță pentru traficul LLM-urilor și al agenților”, postarea a apărut ca cea mai recentă intrare pe blogul companiei.

Definiție și gestionarea solicitărilor

Ghidul definește un gateway pentru IA drept un strat proxy central, amplasat între aplicațiile sau agenții IA ai unei organizații, pe de o parte, și modelele lingvistice mari și instrumentele pe care aceștia le folosesc, pe de altă parte; direcționarea, controlul costurilor, aplicarea măsurilor de securitate și monitorizarea utilizării sunt gestionate într-un singur loc. Întrucât fiecare furnizor (ghidul menționează OpenAI, Anthropic, Google, modele cu sursă deschisă și puncte finale găzduite pe infrastructură proprie) oferă propriul SDK, propriile chei API și propriul format de solicitare, gateway-ul acceptă o solicitare standard și o adaptează pentru furnizorul apelat. Modelele sunt adăugate, înlocuite sau retrase prin configurarea gateway-ului, nu prin modificarea codului aplicației.

Potrivit ghidului, fiecare solicitare trimisă la adresa URL de bază a gateway-ului trece prin aceiași patru pași: gateway-ul autentifică și autorizează apelantul pe baza cheii și a rolului; aplică politici precum limitele de tokenuri, bugetele și măsurile de protecție, inclusiv eliminarea datelor cu caracter personal identificabile (PII); direcționează solicitarea către un model sau un furnizor în funcție de cost, latență sau disponibilitate, trecând la un furnizor de rezervă și adaptând solicitarea la formatul furnizorului vizat; apoi înregistrează modelul, numărul de tokenuri, latența și rezultatul, pentru urmărirea cheltuielilor și depanare.

Capabilități și limitări declarate

Ghidul descrie șase categorii de capabilități. Direcționarea și comutarea în caz de indisponibilitate aleg un model în funcție de cost, latență sau capabilități și redirecționează automat solicitările atunci când un furnizor nu este disponibil sau a atins limita de solicitări. Limitele de utilizare și bugetele bazate pe tokenuri plafonează consumul pentru fiecare echipă, proiect sau utilizator și resping solicitările odată ce alocarea a fost epuizată. Memorarea semantică în cache compară solicitările noi cu răspunsurile stocate pe baza sensului și returnează răspunsul salvat fără a apela un model atunci când solicitările sunt suficient de asemănătoare. Măsurile de protecție verifică fiecare solicitare și răspuns, elimină datele personale sau sensibile înainte ca acestea să ajungă la un furnizor, reduc riscul injectării de prompturi și filtrează conținutul nedorit. Observabilitatea înregistrează modelul utilizat, consumul de tokenuri, latența și erorile, în timp ce funcțiile de guvernanță acordă acces la modele în funcție de rol și păstrează un jurnal de audit al fiecărui apel.

În ceea ce privește limitările, ghidul afirmă că un gateway adaugă latență, dar descrie întârzierea ca fiind relativ mică pentru traficul LLM-urilor. Acesta citează un test comparativ independent din iunie 2026, realizat de echipa VMware Cloud Foundation de la Broadcom, în care un Envoy AI Gateway configurat pentru performanță a adăugat aproximativ 2 milisecunde pentru fiecare solicitare, cu până la 224 de utilizatori concurenți, folosind direcționarea și limitarea ratei, dar fără inspectarea conținutului; același test, potrivit ghidului, arată că măsurile de protecție și memorarea semantică în cache pot adăuga de la zeci la sute de milisecunde. Ghidul mai precizează că gateway-urile nu decid ce să întrebe un model, nu țin minte conversațiile, nu execută logica pas cu pas a unui agent și nu evaluează calitatea răspunsurilor; de asemenea, avertizează că direcționarea în funcție de cost poate reduce calitatea atunci când un model mai ieftin oferă un răspuns mai slab.

Tipuri de gateway-uri și traficul agenților

Ghidul compară gateway-urile pentru IA cu gateway-urile API tradiționale din mai multe perspective: contorizarea tokenurilor față de limitele bazate pe numărul de solicitări, memorarea semantică în cache față de cea bazată pe potrivirea exactă, inspectarea prompturilor pentru a detecta date sensibile și instrucțiuni ascunse față de autentificarea prin cheie și direcționarea către modele în funcție de cost, latență sau capabilități față de direcționarea către servicii backend. Ghidul distinge și doi termeni mai specifici: un gateway LLM gestionează apelul către model, în timp ce un gateway MCP controlează instrumentele și sursele de date la care poate ajunge un agent prin intermediul Model Context Protocol. LiteLLM, Portkey, Azure API Management și Envoy AI Gateway oferă acum funcții de guvernanță MCP, notează ghidul, astfel că termenii descriu straturi de control care se suprapun.

În cazul agenților, pe care ghidul îi descrie ca funcționând în bucle de apeluri către modele și de utilizare a instrumentelor până la finalizarea unei sarcini, gateway-ul controlează și monitorizează tot traficul inițiat de aceștia, autorizează instrumentele și sursele de date la care pot avea acces și înregistrează toate apelurile către modele și instrumente într-un jurnal de audit.

Date citate despre adoptare și recomandări pentru implementare

Pentru a estima cererea, ghidul citează date din surse terțe. Cisco AI Readiness Index 2025 a constatat că 83% dintre cei 8.039 de lideri de afaceri de nivel înalt chestionați, din organizații cu peste 500 de angajați, intenționează să dezvolte sau să implementeze agenți IA, iar Gartner estimează că agenții specializați în anumite sarcini vor fi prezenți în 40% dintre aplicațiile pentru companii până la sfârșitul lui 2026, față de mai puțin de 5% în 2025. În privința costurilor, ghidul citează sondajul DoiT/Sapio din 2026, în care 79% dintre liderii din domeniul financiar participanți au declarat că și-au depășit bugetul pentru IA în ultimul an, precum și un sondaj realizat în 2026 de Dataiku și Harris Poll, potrivit căruia 93% dintre directorii IT ai companiilor au afirmat că modele diferite au rezultate mai bune pentru cazuri de utilizare diferite, 81% dintre companii se așteaptă să folosească doi sau mai mulți furnizori de modele, iar 55% au schimbat cel puțin o dată furnizorul de LLM-uri.

Monitorizarea independentă menționată în ghid a estimat disponibilitatea principalilor furnizori de LLM la aproximativ 99,85–99,9% în mai 2026, nivel pe care ghidul îl echivalează cu aproximativ 9–13 ore de nefuncționare pe an; într-un sondaj Cockroach Labs din 2026, la care au participat 1.125 de lideri seniori din domeniul infrastructurii, două treimi au estimat că o oră de nefuncționare a IA ar costa organizația lor peste 100.000 $. Ghidul citează, de asemenea, clasamentul OWASP din 2025, în care injectarea de prompturi este identificată drept principalul risc de securitate pentru LLM-uri, precum și o constatare a Zscaler ThreatLabz potrivit căreia volumul datelor din companii trimise către aplicații de IA a crescut cu 93% într-un an, iar ChatGPT, singur, a declanșat 410 milioane de încălcări ale politicilor de prevenire a pierderii datelor.

Ghidul enumeră semnele că o organizație are nevoie de un gateway: chei ale furnizorilor codificate direct în mai multe baze de cod, facturi pentru modele pe care departamentul financiar nu le poate atribui, erori de limitare a ratei sau de nefuncționare legate de dependența de un singur furnizor, prompturi neverificate care conțin date sensibile, integrări concurente cu furnizorii în diferite echipe, integrări cu instrumente MCP și lipsa unei imagini de ansamblu asupra securității sau conformității. Ghidul spune că un gateway nu este necesar pentru un singur prototip, un proiect secundar cu volum redus sau apeluri către un singur punct final al unui model, dacă cerințele de securitate sunt minime. Printre opțiunile găzduite pe infrastructură proprie se numără LiteLLM, Portkey și Apache APISIX, care pot rula într-un cloud privat, pe Kubernetes sau în infrastructură locală; opțiunile gestionate includ Cloudflare AI Gateway, Azure API Management și Amazon Bedrock AgentCore Gateway. Ghidul structurează alegerea în jurul controlului asupra datelor și al confidențialității, al efortului operațional, inclusiv al depozitelor de stare precum PostgreSQL, Redis sau etcd, al vitezei de implementare și al integrărilor. În secțiunea de întrebări frecvente, ghidul precizează că „gateway pentru IA generativă” și „gateway pentru IA” sunt termeni interschimbabili și că nu există un singur gateway AI open-source considerat cel mai bun.