Η Lemma Ανυψώνει 2,3 Εκατ. Δολάρια Σε Προ-Σπόρο Για Την Αντιμετώπιση των Σιωπηλών Αποτυχιών των Πρακτόρων AI Σε Παραγωγή

Η εταιρεία Lemma, η οποία ειδικεύεται στην αξιοπιστία των πρακτόρων AI, έχει ανυψώσει 2,3 εκατομμύρια δολάρια σε προ-σπόρο για την ανάπτυξη υποδομής παρακολούθησης που έχει ως στόχο να αντιμετωπίσει ένα ιδιαίτερα δύσκολο πρόβλημα: τους πρακτόρες AI που φαίνεται να έχουν ολοκληρώσει μια εργασία με επιτυχία, αλλά στην πραγματικότητα παράγουν λάθος αποτελέσματα.

Η στροφή περιλαμβάνει τη συμμετοχή των Matrix, Y Combinator, Liquid 2 Ventures, Vermilion Cliffs Ventures, Irregular Expressions, Cervin Ventures, Comma Capital, Position Ventures και Eight Capital, μαζί με αγγέλους επενδυτές και оперatörες από την OpenAI, xAI, Meta και DoorDash.

Η Lemma ιδρύθηκε από τους Jerry Zhang και Cole Gawin και ήταν μέρος του προγράμματος Y Combinator’s Fall 2025. Η εταιρεία επικεντρώνεται στην παρακολούθηση παραγωγής για τους πρακτόρες AI. Η εταιρεία αναφέρει ότι η πλατφόρμα της έχει επεξεργαστεί περισσότερες από ένα εκατομμύριο ιχνηλάσεις πρακτόρων, καθώς οι ομάδες μηχανικών αναζητούν τρόπους για να κατανοήσουν πώς συμπεριφέρονται οι αυτόνομες συστήματα μετά την ανάπτυξή τους.

Το Αυξανόμενο Πρόβλημα των Πρακτόρων AI που Αποτυγχάνουν Σιωπηλά

Η παραδοσιακή παρακολούθηση λογισμικού σχεδιάζεται κυρίως γύρω από σαφείς σήματα αποτυχίας. Μια εφαρμογή καταρρέει, μια αίτηση επιστρέφει κωδικό σφάλματος, η καθυστέρηση αυξάνεται ή ένα συστατικό υποδομής γίνεται недоступно.

Οι πρακτόρες AI εισάγουν ένα διαφορετικό πρόβλημα.

Ένας πρακτόρας μπορεί να εκτελέσει με επιτυχία κάθε τεχνικό βήμα σε μια ροή εργασιών και να μην καταλάβει τι ήθελε ο χρήστης, να καλέσει το λάθος εργαλείο, να χρησιμοποιήσει λάθος πληροφορίες, να μείνει σε μια μη παραγωγική βρόχα ή να επιστρέψει ένα πιθανό αλλά λάθος αποτέλεσμα. Από την οπτική της παραδοσιακής υποδομής παρακολούθησης, η αίτηση μπορεί να φαίνεται τέλεια υγιής.

Η Lemma περιγράφει αυτές τις αποτυχίες ως σημασιολογικές αποτυχίες. Παραδείγματα περιλαμβάνουν έναν πρακτόρα εξυπηρέτησης πελατών που αναφέρει την λάθος πολιτική επιστροφής, έναν πρακτόρα ελέγχου που δημιουργεί μια παλιά έκθεση ή έναν πρακτόρα που καλεί ένα εξωτερικό σύστημα χρησιμοποιώντας πληροφορίες που τις εφεύρε. Αυτά είναι κοινοί σημεία αποτυχίας των πρακτόρων AI.

Αυτή η διάκριση γίνεται ολοένα και πιο σημαντική καθώς οι πρακτόρες μετακινούνται πέρα από τις διαδραστικές διεπαφές και αρχίζουν να εκτελούν μεγαλύτερες, πολυπλόκες ροές εργασιών όπου τα μοντέλα γλωσσών αλληλεπιδρούν με βάσεις δεδομένων, διεπαφές προγραμματισμού εφαρμογών (API), συστήματα ανάκτησης και άλλα λογισμικά εργαλεία.

Μια αποτυχία κάπου σε αυτή τη链ά μπορεί να μην παράγει εξαίρεση. Ο πρακτόρας μπορεί απλώς να συνεχίσει.

Πώς Η Lemma Παρακολουθεί τους Πρακτόρες AI Σε Παραγωγή

Η Lemma κατασκευάζει ένα στρώμα παρατηρησιμότητας ειδικά γύρω από τις διαδρομές εκτέλεσης των πρακτόρων.

Το σύστημα ιχνηλάτησής της μετατρέπει κάθε εκτέλεση πρακτόρα σε μια δομημένη ιχνηλάτηση που περιέχει τις υποκείμενες κλήσεις μεγάλων μοντέλων γλωσσών, τις κλήσεις εργαλείων, τις εισόδους, τις εξόδους, τα δεδομένα χρονισμού, τα βήματα ανάκτησης και τα σφάλματα που παράγονται καθ’ όλη τη διάρκεια της ροής εργασιών. Οι ομάδες μηχανικών μπορούν τότε να εξετάσουν ολόκληρο το δέντρο εκτέλεσης και όχι μόνο την τελική απάντηση του πρακτόρα.

Αλλά η ιχνηλάτηση είναι μόνο ένα μέρος της προσέγγισης.

Η Lemma αναλύει τις ιχνηλάτησεις παραγωγής έναντι των οδηγιών του πρακτόρα και ομαδοποιεί επαναλαμβανόμενα προβλήματα σε ζητήματα, βοηθώντας τις ομάδες να αναγνωρίσουν μοτίβα αποτυχίας που μπορεί να παραμείνουν θαμμένα σε χιλιάδες ατομικές αλληλεπιδράσεις. Η πλατφόρμα μπορεί επίσης να προτεραιοποιήσει ζητήματα και να στείλει ειδοποιήσεις μέσω Slack όταν εμφανίζονται πιθανώς σημαντικά προβλήματα.

Ο στόχος είναι να απαντήσει σε ένα πιο δύσκολο ερώτημα από το αν το λογισμικό εκτελέστηκε με επιτυχία: Το κατάφερε ο πρακτόρας πραγματικά αυτό που ήταν υποτιθέμενο να κάνει;

Αυτή είναι μια σημαντική μετατόπιση σε тому πώς η παρατηρησιμότητα μπορεί να λειτουργήσει για τους πρακτόρες λογισμικού.

Μετατρέποντας τις Αποτυχίες Παραγωγής Σε Βελτιώσεις Πρακτόρων

Η Lemma προσπαθεί επίσης να μειώσει την απόσταση μεταξύ της εύρεσης ενός προβλήματος και της διόρθωσής του.

Όταν η πλατφόρμα αναγνωρίζει μια επαναλαμβανόμενη αποτυχία, αναλύει τις γύρω ιχνηλάτησεις και το контекст για να καθορίσει μια πιθανή ρίζα αιτίας. Από εκεί, μπορεί να προτείνει αλλαγές στις προτροπές, τη λογική εφαρμογής ή τις ροές εργασιών του πρακτόρα, αντί να απαιτεί από τους μηχανικούς να ανακατασκευάσουν χειροκίνητα κάθε προβληματική αλληλεπίδραση.

Η εταιρεία επεκτείνει αυτή τη ροή εργασιών σε περιβάλλοντα ανάπτυξης μέσω ενός διακομιστή Πρωτοκόλλου Κοντέκτου Μοντέλου (MCP). Οι dévelopπεurs μπορούν να ερωτήσουν τις ιχνηλάτησεις της Lemma από εργαλεία όπως το Cursor, το Claude Desktop και το Claude Code, επιτρέποντας τη διαδικασία αποσφαλμάτωσης να συμβεί πιο κοντά στο σημείο όπου αναπτύσσεται το υποκείμενο μοντέλο.

Μετά την ανάπτυξη μιας διόρθωσης, η Lemma μπορεί να μετατρέψει την αποτυχία παραγωγής σε μια διαδικτυακή αξιολόγηση και να παρακολουθήσει την επανεμφάνισή της. Αυτό δημιουργεί einen βρόχο ανατροφοδότησης όπου προηγουμένως απρόβλεπτες αποτυχίες του πραγματικού κόσμου γίνονται μελλοντικά τεστ αντί να παραμείνουν απομονωμένα περιστατικά.

Αυτή η προσέγγιση ωθεί την Lemma λίγο πέρα από την παραδοσιακή παρατηρησιμότητα. Ο μακροπρόθεσμος στόχος είναι η υποδομή που βοηθά τους πρακτόρες να μαθαίνουν συστηματικά από τις αποτυχίες παραγωγής, αντί να βασίζονται αποκλειστικά στους μηχανικούς για να ανακαλύψουν, να αναπαράγουν και να διορθώσουν χειροκίνητα κάθε περίπτωση.

Ένα Πρόβλημα που οι Ιδρυτές Αντιμετώπισαν Προσωπικά

Οι Zhang και Gawin γνωρίστηκαν ως φοιτητές στο Πανεπιστήμιο της Νότιας Καλιφόρνιας και αργότερα δούλεψαν σε συστήματα AI σε ξεχωριστές startups. Πριν ιδρύσουν την Lemma, δούλεψαν στην Tandem, η οποία εφαρμόζει την τεχνητή νοημοσύνη στην υγεία, και στη ChipStack, η οποία αναπτύσσει πρακτόρες AI για το σχεδιασμό 칩.

Αυτές οι εμπειρίες τους βοήθησαν να εκτεθούν στη δυσκολία της μεταφοράς των πρακτόρων από ελεγχόμενα περιβάλλοντα ανάπτυξης σε παραγωγή.

«Ο Cole και εγώ ξεκινήσαμε την Lemma γιατί βιώσαμε τον πόνο της κατασκευής πρακτόρων AI προσωπικά», είπε ο Zhang. «Συνεχίσαμε να αντιμετωπίζουμε το ίδιο πρόβλημα: οι πρακτόρες φαίνονταν να λειτουργούν, αλλά τα αποτελέσματα δεν ήταν αρκετά αξιόπιστα σε παραγωγή».

Οι ιδρυτές υποστηρίζουν ότι η βελτίωση των υποκείμενων μοντέλων alone δεν θα εξαλείψει αυτό το πρόβλημα. Η συμπεριφορά του πραγματικού κόσμου των πρακτόρων εξαρτάται επίσης από τις προτροπές, τη λογική εφαρμογής, τα εργαλεία, τις ενσωματώσεις, τα συστήματα ανάκτησης, τη συμπεριφορά του χρήστη και τις ολοένα και πιο περίπλοκες αλυσίδες που τις συνδέουν.

Η Lemma υποστηρίζει ότι οι offline αξιολογήσεις αγωνίζονται να αναπαράγουν τις απρόβλεπτες συνθήκες που οι πρακτόρες αντιμετωπίζουν μετά την ανάπτυξή τους, καθιστώντας τα δεδομένα παραγωγής một σημαντική πηγή για την κατανόηση του πού πραγματικά σπάει το σύστημα.

Η Ευρύτερη Πρόκληση της Παρακολούθησης των Πρακτόρων AI Σε Παραγωγή

Η νέα χρηματοδότηση θα υποστηρίξει την περαιτέρω ανάπτυξη των εργαλείων παρακολούθησης και ανίχνευσης αποτυχίας της Lemma, με αρχική εστίαση στις startups που ήδη τρέχουν πρακτόρες AI σε παραγωγή.

Η εταιρεία λειτουργεί σε ένα πεδίο που γίνεται ολοένα και πιο σημαντικό καθώς τα συστήματα AI μετακινούνται από απομονωμένες επιδείξεις σε πραγματικές ροές εργασιών. Τα παραδοσιακά εργαλεία παρατηρησιμότητας είναι γενικά καλά στο να ανιχνεύουν τεχνικά προβλήματα όπως η διακοπή, η καθυστέρηση ή οι αποτυχημένες αιτήσεις, αλλά οι πρακτόρες AI εισάγουν ένα επιπλέον επίπεδο πολυπλοκότητας: μια εφαρμογή μπορεί να παραμείνει λειτουργική ενώ ο πρακτόρας δεν καταλαβαίνει μια εργασία, επιλέγει το λάθος εργαλείο ή παράγει λάθος αποτέλεσμα.

Αυτή η διάκριση είναι πιθανό να γίνει πιο σημαντική καθώς οι πρακτόρες χρησιμοποιούνται σε υποστήριξη πελατών, οικονομική ανάλυση, διοίκηση υγείας, ανάπτυξη λογισμικού και έρευνα. Σε αυτά τα περιβάλλοντα, το μέτρημα του αν ένας πρακτόρας ολοκλήρωσε μια ροή εργασιών μπορεί να έχει λιγότερη σημασία από το να καθορίσει αν την ολοκλήρωσε σωστά.

Για την Lemma, η ευκαιρία εξαρτάται από το αν η παρακολούθηση των σημασιολογικών αποτυχίων γίνεται ένα τυπικό μέρος της λειτουργίας των πρακτόρων AI σε παραγωγή. Η στροφή των 2,3 εκατομμυρίων δολαρίων προ-σπόρου δίνει στην εταιρεία επιπλέον κεφάλαια για να δοκιμάσει αυτή τη θέση καθώς οι οργανισμοί αναπτύσσουν πρακτόρες σε ολοένα και πιο περίπλοκες ροές εργασιών.

Τι Σημαίνει μια Καλύτερη Παρακολούθηση Πρακτόρων για την Τεχνητή Νοημοσύνη

Καθώς οι πρακτόρες AI αναλαμβάνουν πιο σύνθετο και αυτόνομο έργο, η παραδοσιακή παρακολούθηση μπορεί να μην είναι πλέον αρκετή. Τα μελλοντικά συστήματα θα πρέπει να αξιολογούν όχι μόνο αν ένας πρακτόρας ολοκλήρωσε μια εργασία, αλλά και αν καταλάβαινε το αντικείμενο, χρησιμοποίησε τα σωστά εργαλεία και παρήγαγε το σωστό αποτέλεσμα.

Εργαλεία όπως η Lemma θα μπορούσαν επίσης να δημιουργήσουν στενότερους βρόχους ανατροφοδότησης μεταξύ παραγωγής και ανάπτυξης, μετατρέποντας τις αποτυχίες του πραγματικού κόσμου σε νέα τεστ και βελτιώσεις. Με τον καιρό, αυτό θα μπορούσε να κάνει την παρατηρησιμότητα των πρακτόρων ένα τυπικό μέρος του στρώματος υποδομής της τεχνητής νοημοσύνης, ιδιαίτερα σε περιβάλλοντα υψηλών απαιτήσεων όπου η αξιοπιστία και η ευθύνη έχουν τη μεγαλύτερη σημασία.