Η Perplexity αναλύει τη λειτουργία των πυλών LLM και τους κινδύνους στην παραγωγή

Η Perplexity δημοσίευσε στις 27 Οκτωβρίου 2026 έναν πρακτικό οδηγό για τις πύλες LLM, παρουσιάζοντας στις ομάδες μηχανικών τον τρόπο με τον οποίο το ενδιάμεσο επίπεδο δρομολογεί, πιστοποιεί, αποθηκεύει προσωρινά και καταγράφει τις κλήσεις προς μοντέλα, καθώς και τους κινδύνους για την ασφάλεια και την αξιοπιστία που συνεπάγεται η συγκέντρωση των διαπιστευτηρίων των παρόχων σε μία υπηρεσία.

Ορισμός και ταξινόμηση των πυλών

Ο οδηγός ορίζει την πύλη LLM ως αντίστροφο διακομιστή μεσολάβησης για κλήσεις προς μοντέλα: οι εφαρμογές στέλνουν αιτήματα στην πύλη αντί να επικοινωνούν απευθείας με παρόχους όπως οι OpenAI, Anthropic ή Google, και η πύλη προωθεί τα αιτήματα εφαρμόζοντας τους κανόνες του διαχειριστή. Παρουσιάζει αυτή την κατηγορία ως λύση στον κατακερματισμό, ξεκινώντας με μια ανάρτηση του Σεπτεμβρίου 2026 στο r/LLMDevs του Reddit, όπου ένας μηχανικός περιέγραψε έναν χώρο εργασίας στον οποίο ο καθένας είχε τα δικά του κλειδιά για τα Claude, OpenAI, AWS Bedrock και άλλους παρόχους συμπερασματολογίας.

Ο συγκριτικός πίνακας του οδηγού διακρίνει τέσσερις τύπους πυλών. Μια πύλη API βρίσκεται μπροστά από υπηρεσίες υποστήριξης και ελέγχει αν ο πελάτης έχει πιστοποιηθεί και αν τηρεί το όριο ρυθμού αιτημάτων. Μια πύλη LLM βρίσκεται μπροστά από παρόχους μοντέλων και αποφασίζει ποιο μοντέλο θα λάβει ένα αίτημα, ποιος θα πληρώσει γι’ αυτό και αν θα επιστρέψει απάντηση. Μια πύλη MCP αποφασίζει αν ένας πράκτορας μπορεί να καλέσει ένα συγκεκριμένο εργαλείο με συγκεκριμένα ορίσματα. Ο οδηγός χρησιμοποιεί τον όρο «πύλη AI» για προϊόντα προμηθευτών που συνδυάζουν ορισμένους από αυτούς τους ρόλους.

Ο κύκλος ζωής ενός αιτήματος σε έξι βήματα

Ο οδηγός εξηγεί τη λειτουργία ακολουθώντας ένα αίτημα από την εφαρμογή στο μοντέλο και πίσω. Αρχικά, η εφαρμογή στέλνει ένα αίτημα συνομιλίας στο τελικό σημείο της πύλης, συχνά σε μορφή συμβατή με το OpenAI. Η πύλη επαληθεύει τα διαπιστευτήρια —συχνά ένα εικονικό κλειδί που έχει εκδοθεί σε μια ομάδα ή ένα προϊόν— και, όταν έχουν ρυθμιστεί προστατευτικοί έλεγχοι εισόδου, μπορεί να σαρώσει τις προτροπές για ευαίσθητα δεδομένα ή απόπειρες παράκαμψης των οδηγιών του μοντέλου. Αν είναι ενεργοποιημένη η προσωρινή αποθήκευση, ένα επιλέξιμο αίτημα που αντιστοιχεί σε προηγούμενο μπορεί να απαντηθεί με αποθηκευμένη απόκριση. Ορισμένες πύλες προσφέρουν επίσης σημασιολογική προσωρινή αποθήκευση, η οποία αντιστοιχίζει αιτήματα που κρίνονται παρόμοια και όχι πανομοιότυπα. Στη συνέχεια, η πύλη εντοπίζει τη διαδρομή που αντιστοιχεί στο αίτημα στις ρυθμίσεις της και μπορεί να στραφεί σε εφεδρικό πάροχο, αν λήξει το χρονικό όριο απόκρισης του πρώτου. Μετατρέπει το αίτημα στη μορφή που χρησιμοποιεί ο επιλεγμένος πάροχος, πιστοποιεί την εξερχόμενη κλήση και μετατρέπει την απόκριση στη μορφή που χρειάζεται η εφαρμογή. Όταν είναι ενεργοποιημένη η καταγραφή, καταγράφει ποιος έκανε την κλήση, ποιο μοντέλο την εξυπηρέτησε, τον αριθμό των διακριτικών, τον χρόνο απόκρισης και το κόστος.

Κίνδυνοι για την ασφάλεια και την αξιοπιστία

Η βασική προειδοποίηση του οδηγού είναι ότι η πύλη συγκεντρώνει τα διαπιστευτήρια. Η ομάδα ασφαλείας της Microsoft έχει καταγράψει τι μπορεί να περιέχει ή να ανακτά μια εγκατάσταση του LiteLLM: κλειδιά API παρόχων, το κύριο κλειδί του LiteLLM, εγγραφές εικονικών κλειδιών, συμβολοσειρές σύνδεσης βάσεων δεδομένων, ρυθμίσεις δρομολόγησης και δεδομένα πολιτικών μισθωτών. Σε εκείνη την ανάρτηση, στις 26 Αυγούστου 2026, η Microsoft περιέγραψε μια παραβίαση πύλης LiteLLM που είχε παρατηρηθεί, κατά την οποία οι εισβολείς υπέκλεψαν διαπιστευτήρια από το περιβάλλον εκτέλεσης της πύλης.

Στις 13 Οκτωβρίου 2026, η Check Point Research αποκάλυψε δύο ευπάθειες υψηλού κινδύνου στο LiteLLM: την CVE-2026-35029, ένα ελάττωμα ελέγχου πρόσβασης που επέτρεπε σε πιστοποιημένους χρήστες, ακόμη και σε χρήστες μόνο για ανάγνωση, να έχουν πρόσβαση σε διαχειριστικές λειτουργίες και να καταλάβουν τον έλεγχο της πύλης, και την CVE-2026-59823, μια ευπάθεια πλαστογράφησης αιτημάτων από την πλευρά του διακομιστή, η οποία επέτρεπε στους χρήστες να ανακατευθύνουν αιτήματα της πύλης σε διακομιστή υπό τον έλεγχο εισβολέα και να υποκλέπτουν κλειδιά API παρόχων AI. Και οι δύο ευπάθειες έχουν διορθωθεί στην έκδοση 1.83.9 του LiteLLM. Η Check Point ανέφερε ότι το LiteLLM είχε 97 εκατομμύρια λήψεις τον μήνα και περισσότερα από 59.000 αστέρια στο GitHub, καθώς και ότι η συντονισμένη γνωστοποίηση των ευπαθειών προς το LiteLLM ξεκίνησε τον Οκτώβριο του 2025.

Ο οδηγός συνιστά επίσης στις ομάδες να ορίσουν πολιτική για την περίπτωση αποτυχίας των προστατευτικών ελέγχων. Περιγράφει τα hooks ως σημεία στη διαδρομή του αιτήματος όπου η πύλη διαβιβάζει περιεχόμενο σε εξωτερικό σαρωτή για αξιολόγηση, σημειώνοντας ότι στην τεκμηρίωση της Portkey αναφέρονται τα before_request_hooks και after_request_hooks και ότι το TrueFoundry εκτελεί τέσσερα hooks, προσθέτοντας ελέγχους πριν και μετά τις κλήσεις εργαλείων MCP.

Όσον αφορά την αξιοπιστία, ο οδηγός παραπέμπει σε τεκμηριωμένες διακοπές λειτουργίας. Η αναφορά της ίδιας της Cloudflare για τη διακοπή λειτουργίας της στις 12 Ιουνίου 2025 αναφέρει ότι το AI Gateway είδε το ποσοστό σφαλμάτων να κορυφώνεται στο 97% των αιτημάτων, επειδή βασίζεται στο Workers KV για τις ρυθμίσεις των πελατών και τις εσωτερικές ρυθμίσεις· η συνολική διακοπή διήρκεσε 2 ώρες και 28 λεπτά. Η ανάλυση της OpenRouter μετά το συμβάν για τις διακοπές λειτουργίας της στις 17 και 19 Φεβρουαρίου 2026 αναφέρει ότι τα συμβάντα διήρκεσαν 38 και 35 λεπτά, αντίστοιχα, μετά την αστοχία μιας εξάρτησης προσωρινής αποθήκευσης τρίτου μέρους, προκάλεσαν σφάλματα 401 «Ο χρήστης δεν βρέθηκε» και οδήγησαν σε διορθωτικά μέτρα, όπως διακόπτες κυκλώματος και επιστροφή σφαλμάτων 503 αντί για 401 όταν προβλήματα υποδομής εμποδίζουν τους ελέγχους εξουσιοδότησης.

Επιλογές εγκατάστασης, τιμολόγηση και λεπτομέρειες παρόχων

Ο οδηγός παρουσιάζει τέσσερις τρόπους εγκατάστασης. Οι ομάδες μπορούν να αναπτύξουν εσωτερικά μια ελάχιστη πύλη —που δέχεται αιτήματα, ελέγχει το κλειδί του καλούντος, προσθέτει το διαπιστευτήριο του παρόχου, προωθεί την κλήση και καταγράφει το αποτέλεσμα— ή να φιλοξενήσουν οι ίδιες μια πύλη ανοικτού κώδικα, με τις LiteLLM, Bifrost και Helicone ως ενδεικτικές επιλογές. Στις διαχειριζόμενες πύλες που αναφέρονται περιλαμβάνονται οι Cloudflare AI Gateway, Vercel AI Gateway, OpenRouter και η φιλοξενούμενη πύλη της Portkey. Μια τέταρτη επιλογή είναι η επέκταση μιας πύλης API που ήδη χρησιμοποιεί η εταιρεία, με παραδείγματα τις Kong AI Gateway, τις πολιτικές πύλης AI του Apigee και την πύλη AI του Azure API Management.

Όσον αφορά το κόστος, ο οδηγός αναφέρει ότι οι πύλες LLM κυμαίνονται από δωρεάν λογισμικό ανοιχτού κώδικα έως επί πληρωμή προγράμματα που ξεκινούν από περίπου 50 δολάρια τον μήνα, με προσαρμοσμένη τιμολόγηση για επιχειρήσεις, και ότι ορισμένες χρεώνουν αντί γι’ αυτό ένα ποσοστό: σημειώνει ότι το πρόγραμμα Standard του OpenRouter προσθέτει 5,5% στις αγορές πιστώσεων.

Ο οδηγός ολοκληρώνεται με απαντήσεις για συγκεκριμένους παρόχους. Αναφέρει ότι το Amazon Bedrock AgentCore Gateway υποστηρίζει κλήσεις μοντέλων μέσω αυτού που η AWS αποκαλεί «στόχους συμπερασμού», επιτρέποντας στις εφαρμογές να χρησιμοποιούν ένα τελικό σημείο για πρόσβαση σε παρόχους όπως οι Amazon Bedrock, OpenAI και Anthropic. Σημειώνει ότι το Agent API της Perplexity υποστηρίζει τη διεπαφή Responses API της OpenAI, ώστε οι ομάδες να μπορούν να επαναχρησιμοποιούν τις υπάρχουσες βιβλιοθήκες πελάτη της OpenAI, και ότι το Agent API επιτρέπει στους χρήστες να παραθέτουν έως και πέντε μοντέλα, μεταξύ των οποίων μοντέλα από διαφορετικούς παρόχους, με τη σειρά προτίμησής τους. Ο οδηγός αναφέρει επίσης το Numbat, το λογισμικό ανοιχτού κώδικα της Perplexity, το οποίο συνδέεται με υποστηριζόμενους πράκτορες μέσω τοπικών hooks και μπορεί να επιθεωρεί προγραμματισμένες ενέργειες, όπως εντολές κελύφους ή εγγραφές αρχείων, πριν από την εκτέλεσή τους, με τη δυνατότητα αποκλεισμού προαιρετική και απενεργοποιημένη από προεπιλογή.