Γιατί τα εργαλεία ιχνηλάτησης LLM δημιουργούν πλέον πύλες AI

Το 2026, οι LangSmith, Langfuse, Opik και Braintrust πρόσθεσαν όλες μια πύλη μπροστά από τους παρόχους μοντέλων. Ο βασικός λόγος είναι ο έλεγχος: ένα εργαλείο ιχνηλάτησης μπορεί μόνο να καταγράφει μια κλήση μοντέλου, ενώ μια πύλη μπορεί να την εμποδίσει.

Δύο εργαλεία για διαφορετικές εργασίες

Τα τελευταία δύο χρόνια, πολλές ομάδες εκτελούσαν εφαρμογές μεγάλων γλωσσικών μοντέλων (LLM) με δύο ξεχωριστά εργαλεία. Μια πύλη βρισκόταν ανάμεσα στην εφαρμογή και στους παρόχους μοντέλων. Διατηρούσε τα κλειδιά API των παρόχων, μετέφραζε μεταξύ των API των παρόχων και επαναλάμβανε τις αποτυχημένες κλήσεις. Το LiteLLM, ένας διακομιστής μεσολάβησης ανοικτού κώδικα, έγινε συνήθης επιλογή για αυτή την εργασία. Δίπλα στην εφαρμογή βρισκόταν ένα εργαλείο ιχνηλάτησης, όπως το LangSmith ή το Langfuse, το οποίο κατέγραφε κάθε κλήση μοντέλου, κλήση εργαλείου και βήμα ανάκτησης, ώστε οι μηχανικοί να μπορούν να βλέπουν τι είχε κάνει ένας πράκτορας.

Ο διαχωρισμός είχε νόημα, επειδή μια πύλη πρέπει να είναι γρήγορη και να υποστηρίζει το API κάθε παρόχου, ενώ ένα εργαλείο ιχνηλάτησης χρειάζεται καλό περιβάλλον εργασίας, αποθηκευτικό χώρο για μεγάλα φορτία δεδομένων και ένα SDK που ενσωματώνεται στον κώδικα της εφαρμογής. Το Langfuse εξακολουθεί να τεκμηριώνει τη ρύθμιση με δύο εργαλεία, με μια ενσωμάτωση του LiteLLM Proxy που δρομολογεί κάθε κλήση μέσω του διακομιστή μεσολάβησης και στο Langfuse. Το 2026, οι εταιρείες που προσφέρουν εργαλεία ιχνηλάτησης άρχισαν να κατασκευάζουν οι ίδιες την πύλη.

Τέσσερις κυκλοφορίες σε έξι μήνες

Η LangChain ανακοίνωσε την πύλη LLM του LangSmith σε ιδιωτική δοκιμαστική έκδοση τον Μάιο του 2026 και την άνοιξε σε δημόσια δοκιμαστική έκδοση στις 30 Ιουλίου. Έκτοτε, την έχει εντάξει και στις υλοποιήσεις του LangSmith στο νέφος του πελάτη. Η Braintrust κατήργησε τον προηγούμενο διακομιστή μεσολάβησης AI και παρέπεμψε τους χρήστες σε μια νέα πύλη, η οποία βρίσκεται σε δοκιμαστική προεπισκόπηση και είναι δωρεάν έως την ευρεία διάθεσή της. Η Comet κυκλοφόρησε την πύλη LLM του Opik ως τελικό σημείο σε δοκιμαστική έκδοση που δέχεται αιτήματα σε μορφή OpenAI. Στις 4 Νοεμβρίου, η Langfuse άνοιξε την πύλη AI της σε δημόσια δοκιμαστική έκδοση, τόσο στο Langfuse Cloud όσο και για αυτοφιλοξενούμενες εγκαταστάσεις. Η πύλη διατίθεται με άδεια MIT και είναι γραμμένη σε Rust.

Το MLflow, που ξεκίνησε ως εργαλείο διαχείρισης του κύκλου ζωής της μηχανικής μάθησης και όχι ως εργαλείο ιχνηλάτησης, διαθέτει εδώ και περισσότερο καιρό πύλη AI, με ειδοποιήσεις και όρια προϋπολογισμού.

Οι πύλες υπάρχουν εδώ και χρόνια και οι κίνδυνοι από τη λειτουργία μιας τέτοιας πύλης είναι καλά τεκμηριωμένοι. Οι νέες πύλες προέρχονται από εταιρείες που δραστηριοποιούνταν στην καταγραφή κλήσεων μοντέλων και τώρα θέλουν κάθε κλήση να περνά πρώτα από αυτές.

Γιατί ο προϋπολογισμός απαιτεί πρόσβαση στη διαδρομή του αιτήματος

Ένα εργαλείο ιχνηλάτησης καταγράφει μια κλήση μοντέλου αφού απαντήσει ο πάροχος και έχουν πληρωθεί τα διακριτικά. Αυτή η καταγραφή αρκεί για να δημιουργηθεί ένα διάγραμμα δαπανών, αλλά το εργαλείο ιχνηλάτησης δεν μπορεί να σταματήσει τις δαπάνες. Για να τηρηθεί ο προϋπολογισμός μιας ομάδας, να αποκλειστεί ένα μοντέλο ή να αφαιρεθεί ένα μυστικό από μια προτροπή, πρέπει να ελεγχθεί το αίτημα πριν φτάσει στον πάροχο. Μόνο το στοιχείο που βρίσκεται στη διαδρομή του αιτήματος μπορεί να το κάνει αυτό.

Η LangChain προβάλλει αυτό το επιχείρημα στην ανάρτηση για την κυκλοφορία του προϊόντος. Περιγράφει ομάδες που συνδυάζουν μια ξεχωριστή πύλη, ένα προϊόν με δικλίδες ασφαλείας και ένα εργαλείο παρατηρησιμότητας, και αναφέρει ότι η πρόληψη προβλημάτων απαιτεί την εφαρμογή πολιτικών στο επίπεδο του αιτήματος. Η πύλη της απαντά με τον κωδικό κατάστασης HTTP 402 σε μια κλήση που θα υπερέβαινε τον προϋπολογισμό, αντί να την προωθήσει στον πάροχο.

Ένα σημείο εισόδου καταγράφει κάθε κλήση

Ο δεύτερος λόγος είναι η κάλυψη. Ένα SDK καταγράφει μόνο τις διαδρομές κώδικα για τις οποίες έχει προσθέσει κάποιος όργανα καταγραφής. Εκτός αυτών των διαδρομών, οι αστοχίες των πρακτόρων συχνά περνούν απαρατήρητες. Ένα σενάριο σε φορητό υπολογιστή, ένα σημειωματάριο ή ένας πράκτορας προγραμματισμού που χρησιμοποιεί αντιγραμμένο κλειδί API δεν αφήνει ίχνη. Μια πύλη που διατηρεί τα κλειδιά των παρόχων βλέπει κάθε κλήση, επειδή δεν υπάρχει άλλη διαδρομή προς τον πάροχο.

Η Langfuse σχεδιάζει την πύλη της με βάση αυτή την ιδέα. Σύμφωνα με την τεκμηρίωση της πύλης, κάθε κλειδί πύλης ανήκει σε έναν χρήστη ή έναν λογαριασμό υπηρεσίας και μπορεί να περιλαμβάνει μεταδεδομένα, όπως ομάδα ή κέντρο κόστους. Μόνο η πύλη διατηρεί το διαπιστευτήριο του παρόχου και οι διαχειριστές εγκρίνουν ποια μοντέλα μπορεί να καλεί κάθε διαπιστευτήριο. Η LangSmith δημοσιεύει σελίδες οδηγιών ρύθμισης για τη δρομολόγηση των Claude Code, Codex και Gemini CLI μέσω της πύλης της. Αυτοί οι πράκτορες καλούν μοντέλα από τον υπολογιστή ενός προγραμματιστή, έξω από τον κώδικα ιχνηλάτησης οποιασδήποτε εφαρμογής.

Τι προσθέτει η πύλη ενός εργαλείου ιχνηλάτησης

Οι εταιρείες που προσφέρουν εργαλεία ιχνηλάτησης προβάλλουν και το αντίστροφο επιχείρημα: μια αυτόνομη πύλη δεν αρκεί από μόνη της. Η ανάρτηση της Langfuse για την κυκλοφορία του προϊόντος αναφέρει ότι μια αυτόνομη πύλη μπορεί μόνο να μετρά τα διακριτικά και το κόστος, ενώ η δική της πύλη εντάσσει κάθε κλήση σε ένα πλήρες ίχνος. Η πύλη της Langfuse δέχεται κεφαλίδα W3C traceparent, ώστε μια κλήση που περνά από αυτήν να εντάσσεται στο ίχνος που έχει ήδη ξεκινήσει η εφαρμογή. Από προεπιλογή, καταγράφει τη χρήση και το κόστος, όχι το περιεχόμενο των προτροπών και των απαντήσεων.

Αυτό είναι το ισχυρότερο τεχνικό επιχείρημα υπέρ της ενσωμάτωσης της πύλης στο εργαλείο ιχνηλάτησης. Μια αυτόνομη πύλη βλέπει μια επίπεδη λίστα ολοκληρώσεων. Ένα εργαλείο ιχνηλάτησης έχει ήδη, μέσω του SDK του, τις κλήσεις εργαλείων και τα βήματα ανάκτησης του πράκτορα και μπορεί να τοποθετήσει κάθε κλήση πύλης μέσα σε αυτή τη δομή.

Υπάρχει και μια εμπορική διάσταση, την οποία οι πάροχοι δεν αναφέρουν οι ίδιοι. Όποιος διαχειρίζεται την πύλη έχει στα χέρια του τα κλειδιά των παρόχων και την αναφορά δαπανών, την οποία εξετάζουν οι ομάδες οικονομικών και πλατφόρμας. Αυτό καθιστά μια πύλη δυσκολότερο να αντικατασταθεί από ένα εργαλείο προβολής ιχνών. Οι LangSmith και Langfuse αξιοποιούν ήδη αυτή τη θέση με διαφορετικούς τρόπους: η LangSmith πουλά πιστώσεις πύλης (Gateway Credits), οι οποίες επιτρέπουν στους πελάτες να καλούν φιλοξενούμενα μοντέλα, όπως το Kimi, χωρίς να χρησιμοποιούν δικό τους κλειδί παρόχου, ενώ στις συχνές ερωτήσεις της η Langfuse αναφέρει ότι δεν μεταπωλεί διακριτικά.

Τι δεν μπορούν ακόμη να κάνουν οι πύλες σε δοκιμαστική έκδοση

Αυτές οι πύλες είναι ακόμη νέες και οι ίδιοι οι πάροχοι καταγράφουν τα κενά τους. Η πύλη της Langfuse υποστηρίζει προς το παρόν μόνο τις OpenAI και Anthropic, ενώ στον οδικό της χάρτη περιλαμβάνονται οι Amazon Bedrock, Google Vertex AI και Google AI Studio. Η εναλλαγή σε εφεδρικούς παρόχους και τα αυστηρά όρια δαπανών ανά ομάδα, χρήστη ή κλειδί βρίσκονται στα σχέδια, αλλά δεν έχουν ακόμη υλοποιηθεί· προς το παρόν, η πύλη προσφέρει πίνακα ελέγχου δαπανών και ειδοποιήσεις. Η τεκμηρίωσή της δεν περιγράφει όρια ρυθμού αιτημάτων ή προσωρινή αποθήκευση αποκρίσεων.

Η πύλη της Langfuse δεν μετατρέπει μεταξύ μορφών API, επομένως ένας client της OpenAI μπορεί να καλεί μόνο μοντέλα OpenAI. Η αυτοφιλοξενούμενη έκδοση καλεί μόνο τις επίσημες διευθύνσεις URL των παρόχων, αποκλείοντας προς το παρόν τις Azure OpenAI και Bedrock, καθώς και τη χρήση εσωτερικού διακομιστή μεσολάβησης. Η Comet περιγράφει την πύλη Opik ως σχεδιασμένη για ανάπτυξη και δοκιμές. Η Braintrust δεν έχει ανακοινώσει τιμολόγηση για την πύλη της.

Η πύλη της LangSmith κάνει ήδη περισσότερα από τις υπόλοιπες. Η τεκμηρίωσή της αναφέρει ως διαθέσιμες λειτουργίες την εναλλαγή σε εφεδρικούς παρόχους, τα όρια δαπανών, τα όρια ρυθμού αιτημάτων και τις πολιτικές δεδομένων, ενώ υποστηρίζει τις μορφές OpenAI Chat Completions, OpenAI Responses και Anthropic Messages. Η εναλλαγή σε εφεδρικούς παρόχους και τα όρια ρυθμού αιτημάτων αναφέρονταν ως μελλοντικές λειτουργίες τον Μάιο, οπότε προστέθηκαν κατά τη διάρκεια της δοκιμαστικής έκδοσης. Το προϊόν εξακολουθεί να χαρακτηρίζεται συνολικά ως δοκιμαστική έκδοση.

Οι δοκιμές φόρτου αποκαλύπτουν ένα διαφορετικό είδος κενού. Σε μια αυτοφιλοξενούμενη δοκιμή επιδόσεων της πύλης Langfuse, του LiteLLM και του AcruxCore, διαπιστώθηκε ότι η πύλη Langfuse πρόσθετε μικρότερη καθυστέρηση ανά κλήση από το LiteLLM. Ωστόσο, με τις προεπιλεγμένες ρυθμίσεις Docker, απέτυχε σε 739 από 1.000 ταυτόχρονες ροές, επειδή η διεργασία της διατηρούσε το προεπιλεγμένο όριο του Docker, δηλαδή 1.024 ανοιχτά αρχεία. Μία γραμμή στο αρχείο Compose της Langfuse έλυσε το πρόβλημα.

Σε σύγκριση με αυτές τις δοκιμαστικές εκδόσεις, το LiteLLM, μια αυτόνομη πύλη που υπάρχει εδώ και χρόνια, υποστηρίζει περισσότερους από 100 παρόχους και περιλαμβάνει ήδη εικονικά κλειδιά, παρακολούθηση δαπανών, μηχανισμούς προστασίας, εξισορρόπηση φορτίου και πίνακα διαχείρισης. Το LiteLLM μεταφέρει επίσης τη διαδρομή των αιτημάτων του από την Python στη Rust. Η πύλη ΤΝ σε Rust είναι σε δοκιμαστική έκδοση και η ομάδα του LiteLLM αναμένει ότι τα αιτήματα τύπου Anthropic /v1/messages θα εκτελούνται από άκρο σε άκρο σε Rust έως την 1η Δεκεμβρίου, με περίπου 20 φορές μικρότερη καθυστέρηση. Ορισμένες πλατφόρμες ανοιχτού κώδικα, όπως οι MLflow και AcruxCore, διαθέτουν ήδη πύλη και ιχνηλάτηση στο ίδιο προϊόν.

Γιατί να τις διατηρήσετε χωριστές

Η ενσωμάτωση της πύλης στον ιχνηλάτη έχει κόστος, με σημαντικότερο την αλληλεξάρτηση. Όταν η πύλη είναι ξεχωριστή, μια ομάδα μπορεί να αλλάξει πάροχο ιχνηλάτησης αλλάζοντας μια συνάρτηση επανάκλησης καταγραφής. Όταν ο ιχνηλάτης λειτουργεί και ως πύλη, αλλάζουν επίσης η βασική διεύθυνση URL, τα κλειδιά και τα αναγνωριστικά μοντέλων σε κάθε υπηρεσία. Για παράδειγμα, η Langfuse γράφει τα αναγνωριστικά μοντέλων με τη μορφή διαπιστευτήριο:μοντέλο.

Ο ιχνηλάτης γίνεται επίσης εξάρτηση κατά τον χρόνο εκτέλεσης. Αν τεθεί εκτός λειτουργίας ένα σύστημα υποστήριξης ιχνηλάτησης, η ομάδα χάνει τα ίχνη. Αν τεθεί εκτός λειτουργίας μια πύλη, οι κλήσεις μοντέλων αποτυγχάνουν. Ένας πάροχος ιχνηλάτησης που διαχειρίζεται πλέον και την πύλη χρειάζεται να εξασφαλίζει τη διαθεσιμότητα που απαιτείται από κρίσιμες υποδομές.

Οι πάροχοι λύσεων ασφάλειας επιδιώκουν να έχουν την ίδια θέση στη διαδρομή των αιτημάτων. Η Palo Alto Networks ολοκλήρωσε την εξαγορά της Portkey, μιας αυτόνομης πύλης, τον Μάιο του 2026 και την ενσωμάτωσε ως πύλη ΤΝ στην πλατφόρμα Prisma AIRS. Μια ομάδα ασφάλειας μπορεί να θέλει η πύλη να βρίσκεται υπό τον δικό της έλεγχο και όχι μέσα σε ένα εργαλείο παρατηρησιμότητας. Οι πύλες έχουν γίνει επίσης στόχος επιθέσεων, όπως έδειξε τον Μάρτιο η παραβίαση της εφοδιαστικής αλυσίδας του LiteLLM.

Πώς μπορούν να επιλέξουν οι ομάδες

Οι ομάδες μπορούν να ξεκινήσουν καταγράφοντας τι πρέπει να συμβαίνει πριν από μια κλήση μοντέλου. Αν χρειάζονται μόνο ορατότητα, αρκεί ένας ιχνηλάτης εκτός της διαδρομής των αιτημάτων, χωρίς να προσθέτει εξάρτηση κατά τον χρόνο εκτέλεσης. Αν χρειάζονται επίσης προϋπολογισμούς, πολιτικές για τα κλειδιά ή έγκριση μοντέλων, χρειάζονται κάποιου είδους πύλη.

Στη συνέχεια, πρέπει να εξεταστεί η κάλυψη παρόχων. Μια ομάδα θα πρέπει να καταγράψει όλους τους παρόχους και τις μορφές API που χρησιμοποιεί σε παραγωγικό περιβάλλον, συμπεριλαμβανομένων των Azure OpenAI και Bedrock, και να συγκρίνει τη λίστα με όσα υποστηρίζει σήμερα κάθε πύλη, όχι με όσα προβλέπει ο οδικός της χάρτης.

Οι ομάδες που χρησιμοποιούν ήδη το LiteLLM έχουν ελάχιστους λόγους να αλλάξουν, μέχρι κάποια πύλη σε δοκιμαστική έκδοση να προσφέρει κάτι που τους λείπει. Το βασικό πλεονέκτημα που προσθέτει η πύλη ενός ιχνηλάτη είναι ότι η κλήση της εντάσσεται στο ίχνος του πράκτορα· και αυτό θα πρέπει να αξίζει τη μετάβαση. Οι ομάδες που ξεκινούν από την αρχή μπορούν να διατηρήσουν την πύλη ως ξεχωριστό επίπεδο, ακόμη κι αν ο ίδιος πάροχος προσφέρει και τα δύο. Αν η βασική διεύθυνση URL και τα κλειδιά βρίσκονται σε μία ενότητα ρυθμίσεων, μια μελλοντική αλλαγή θα απαιτεί τροποποίηση των ρυθμίσεων και όχι του κώδικα.

Οι περισσότερες από αυτές τις πύλες χαρακτηρίζονται ως δοκιμαστικές ή ως εκδόσεις προεπισκόπησης, επομένως ο κατάλογος των ελλείψεών τους θα μικρύνει γρήγορα. Το ανοιχτό ερώτημα είναι ποιος θα έχει την ευθύνη για τη διαδρομή των αιτημάτων σε μια τυπική εταιρεία: η ομάδα παρατηρησιμότητας, η ομάδα πλατφόρμας που διαχειρίζεται μια αυτόνομη πύλη ή η ομάδα ασφάλειας. Φέτος, οι LangSmith και Langfuse δημιούργησαν τις δικές τους πύλες και η Palo Alto Networks εξαγόρασε μία, ωστόσο σε πολλές στοίβες η διαδρομή των αιτημάτων εξακολουθεί να περνά από το LiteLLM.