Μοσέ Σαμπόλ, VP της Lightrun – Σειρά Συνεντεύξεων

Μοσέ Σαμπόλ, VP της Lightrun – έχει πάνω από δύο δεκαετίες εμπειρίας που καλύπτουν την ανάπτυξη λογισμικού, την αρχιτεκτονική, την υποδομή cloud και την τεχνική ηγεσία που αφορά τους πελάτες. Πριν ενταχθεί στη Lightrun το 2022, εργάστηκε για σχεδόν μια δεκαετία στη Google, όπου κατέλαβε διάφορες ηγετικές θέσεις, συμπεριλαμβανομένης της θέσης Cloud Customer Engineering Manager, βοηθώντας τις οργανώσεις να υιοθετήσουν και να κλιμακωθούν τις τεχνολογίες του Google Cloud. Νωρίτερα στην καριέρα του, ο Σαμπόλ κατέλαβε θέσεις ηγεσίας στην ανάπτυξη και την μηχανική σε εταιρείες όπως η Oracle, η Sun Microsystems, η BMC Software και η JPMorgan Chase. Στη Lightrun, αρχικά ηγήθηκε της Παγκόσμιας Μηχανικής Λύσεων trước από το να γίνει VP της Λύσης Πελατών, όπου επικεντρώνεται στη βοήθεια των πελατών να υιοθετήσουν την τεχνολογία Runtime Insights της εταιρείας και να μετατρέψουν τις ικανότητές της σε μετρήσιμες επιχειρηματικές και αναπτυξιακές κερδισμένες.

Lightrun είναι μια πλατφόρμα μηχανικής αξιοπιστίας που βασίζεται στο AI, σχεδιασμένη για να δώσει στους développers και τους πράκτορες του AI άμεση ορατότητα σε πώς συμπεριφέρεται το λογισμικό ενώ εκτελείται. Η τεχνολογία της μπορεί να συλλάβει δυναμικά logs, στιγμιότυπα, μετρήσεις, ιχνηλάσεις, τιμές μεταβλητών και περιβάλλον εκτέλεσης από εφαρμογές σε πραγματικό χρόνο χωρίς να απαιτεί αλλαγές στο κώδικα ή επανακατασκευές. Η εταιρεία επεκτείνει ολοένα και περισσότερο αυτήν την ευφυΐα εκτέλεσης σε AI-βοηθούμενη ανάπτυξη λογισμικού μέσω του Lightrun MCP, το οποίο χρησιμοποιεί το Model Context Protocol για να παρέχει βοηθούς κωδικοποίησης και εργαλεία με ζωντανό περιβάλλον εφαρμογής αντί να βασίζεται αποκλειστικά σε στατικό πηγαίο κώδικα. Αυτό επιτρέπει στα συστήματα AI να ερευνήσουν προβλήματα παραγωγής, να επικυρώσουν υποθέσεις ενάντια στην πραγματική συμπεριφορά εκτέλεσης και να υποστηρίξουν ανάλυση αιτίας ρίζας, ενσωματώνοντας εταιρικά έλεγχα όπως ρόλος-βασισμένη πρόσβαση και εξαίρεση ευαίσθητων δεδομένων.

Η καριέρα σας έχει περάσει από ανάπτυξη λογισμικού και αρχιτεκτονική, μηχανική πελάτη cloud στη Google, παγκόσμια μηχανική λύσεων και τώρα λύσεις πελατών στη Lightrun. Πώς έχει επηρεάσει αυτή η συνδυασμένη εμπειρία την κατανόηση σας για το τι διακρίνει μια εντυπωσιακή επίδειξη πράκτορα AI από ένα σύστημα που μπορεί να εμπιστευτεί στην παραγωγή;

Υπάρχει μια μεγάλη διαφορά μεταξύ της επίδειξης του τι μπορεί να κάνει ένας πράκτορας AI και της απόδειξης ότι μπορεί να εμπιστευτεί σε ένα επιχειρηματικό περιβάλλον. Αυτό οφείλεται στο ότι οι πράκτορες είναι μόνο ένα μέρος ενός συστήματος που είναι έτοιμο για παραγωγή. Το πλαίσιο γύρω του είναι εξίσου σημαντικό. Πρέπει να επιβάλλει πρόσβαση με ελάχιστα προνόμια, να παρακολουθεί τη δραστηριότητα, να διατηρεί ένα αρχείο ελέγχου, να αποτρέπει απαράδεκτες ενέργειες και να φέρνει έναν άνθρωπο όταν είναι απαραίτητο.

Τα συστήματα που βασίζονται σε πράκτορες διαφέρουν ουσιαστικά από το παραδοσιακό λογισμικό, επειδή οι développers δεν ορίζουν ακριβώς πώς θα λειτουργήσει το σύστημα. Ορίζουμε ένα στόχο, παρέχουμε εργαλεία και οδηγίες, και το μοντέλο καθορίζει πώς να προχωρήσει. Αυτή η ευελιξία είναι ισχυρή, αλλά κάνει επίσης τη συμπεριφορά του συστήματος πιο δύσκολο να προβλεφθεί.

Για τις επιχειρήσεις, ιδίως αυτές στις ρυθμιζόμενες βιομηχανίες, οι ροές εργασιών παραγωγής που συνήθως λειτουργούν ή χρειάζονται ανεξήγητο χρόνο για να ολοκληρωθούν είναι μη-ξεκινήσιμες. Τα περιβάλλοντα παραγωγής περιέχουν ευαίσθητα δεδομένα, πηγαίο κώδικα και πνευματική ιδιοκτησία, οπότε οι οργανώσεις χρειάζεται να μπορέσουν να αποτρέψουν τους πράκτορες από το να εκθέσουν αυτήν την πληροφορία ή να ακολουθήσουν δημιουργικές αλλά απαράδεκτες οδούς για την επίτευξη των στόχων τους. Αυτό γίνεται ολοένα και πιο σημαντικό, καθώς κάθε εβδομάδα φέρνει ένα νέο παράδειγμα ενός συστήματος AI που, στην προσπάθειά του να φτάσει σε ένα στόχο, τελικά γίνεται ευάλωτο ή προκαλεί μια εκμετάλλευση ασφαλείας.

Οι περισσότεροι ηγέτες με τους οποίους μιλάω ακόμη αξιολογούν τους πράκτορες με τον ίδιο τρόπο που θα αξιολογούσαν έναν νέο υπάλληλο: με βάση τις ικανότητες, την κρίση και την παραγωγή. Το πραγματικό ερώτημα δεν είναι αν ο πράκτορας είναι αρκετά έξυπνος. Είναι αν το σύστημα γύρω του μπορεί να πιάσει και να περιορίσει τις στιγμές που δεν είναι.

Πολυάριθμες επιχειρήσεις αρχικά πίστευαν ότι η κατασκευή ενός πράκτορα AI ήταν σε μεγάλο βαθμό ένα ζήτημα γραφής μιας αποτελεσματικής πρότασης. Τι λάθησαν οι οργανώσεις σχετικά με τις απαιτήσεις μηχανικής, αρχιτεκτονικής και λειτουργικών που βρίσκονται πίσω από πράκτορες που είναι έτοιμοι για παραγωγή;

Νομίζω ότι η μεγαλύτερη παρέκκλιση ήταν μια σχεδόν αθώα πίστη στη δύναμη του AI για να λύσει κάθε πρόκληση, μια φορά που δόθηκε μια καλά γραμμένη πρόταση, σχετικό περιεχόμενο και κατάλληλα εργαλεία. Οι ομάδες συνδέουν το LLM τους με κώδικα, τεκμηρίωση, εισιτήρια και ιστορική τηλεμετρία και στη συνέχεια περιμένουν να συλλογιστεί σωστά στην σωστή απόφαση.

Τι δεν κατασκεύασαν ήταν ένα μοντέλο επαλήθευσης για κάθε βήμα του συλλογισμού του AI. Μια από τις μεγάλες δυνάμεις του AI είναι ότι χρησιμοποιεί πιθανολογικό συλλογισμό, βρίσκοντας και ακολουθώντας μια από τις πολλές πιθανές οδούς για να φτάσει σε یک προορισμό. Σε σύνθετα, διασυνδεδεμένα περιβάλλοντα παραγωγής, αυτή η δύναμη εισάγει σοβαρό κίνδυνο: μια seule απόφαση μπορεί να προκαλέσει κατωτέρω αναgressions, σιωπηλές αποτυχίες ή άλλη απρόβλεπτη συμπεριφορά που απειλεί την επιχειρηματική ανθεκτικότητα ενός συστήματος που εκτελείται.

Αυτή είναι η επικίνδυνη πλευρά. Ο πράκτορας μπορεί να συνεχίσει να φαίνεται ότι λειτουργεί σωστά ενώ παράγει λανθασμένα αλλά πιθανές απαντήσεις, βασισμένες σε μερικά δεδομένα ή σε υποθέσεις που στηρίζονται σε παλιές πληροφορίες. Αυτός είναι ο λόγος για τον οποίο οι πράκτορες παραγωγής χρειάζονται συνεχής αξιολόγηση που συνεχίζει να εκτελείται μετά την εκκίνηση, ρητή αντιμετώπιση λείπων δεδομένων και αποτυχιών εργαλείων, και ζωντανή επαλήθευση μιας απόφασης πριν από την ολοκλήρωση μιας υψηλής επίδρασης ενέργειας.

Κοιτάζοντας σε όλη την πρώτη κυμαία εσωτερικά αναπτυγμένων επιχειρηματικών πρακτόρων, ποια είναι τα πιο κοινά αρχιτεκτονικά λάθη που βλέπετε, και ποια προβλήματα μπορούν να διορθωθούν σταδιακά αντί να απαιτούν μια πλήρη ανακατασκευή;

Η βασική ανησυχία που συνεχώς επανέρχομαι είναι η επαλήθευση. Οι πράκτορες μπορούν να γίνουν μια μαύρη κουτί: συλλέγουν πληροφορίες από μια σειρά πηγών και στη συνέχεια λαμβάνουν αποφάσεις που φαίνονται λογικές στην αρχή αλλά μπορεί να μην είναι κατάλληλες για τις πραγματικότητες ενός σύνθετου και πολύπλοκου περιβάλλοντος παραγωγής.

Αυτό σηματοδοτεί μια πιο θεμελιώδη αλλαγή, και είναι κάτι που συζητάμε συνεχώς στη Lightrun καθώς βοηθάμε τους πελάτες να κατασκευάσουν αυτοματοποιήσεις πρακτόρων για τις μηχανικές τους οργανώσεις. Οι ομάδες χρειάζεται να ξαναχτίσουν τη ροή του πρακτόρα και να τοποθετήσουν πύλες στις ενέργειες του πρακτόρα, για να διασφαλίσουν ότι η χρήση των εργαλείων του είναι υπό επιτήρηση, έλεγχο και ανασκόπηση. Παρέχοντας στον πράκτορα ένα ισχυρό βρόχο ανατροφοδότησης – συμπεριλαμβανομένης της ζωντανής παρατηρησιμότητας εκτέλεσης – εστιάζει το περιβάλλον του σε ότι συμβαίνει πραγματικά τώρα. Αυτή η πρόσβαση είναι αυτή που επιτρέπει στον πράκτορα να επικυρώσει τις δικές του αποφάσεις σχεδιασμού, ανάλυση αιτίας ρίζας και συστάσεις μείωσης σφαλμάτων ενάντια στην πραγματικότητα παραγωγής αντί να βασίζεται σε υποθέσεις που βασίζονται σε στατική ανάλυση κώδικα ή παλιές τηλεμετρίες.

Μια δραματική ανακατασκευή δεν είναι η μόνη επιλογή. Τι μπορεί να γίνει σταδιακά, και αυτό δεν είναι επαναστατικό αλλά είναι απαραίτητο, είναι η επένδυση στις δεξιότητες που καθοδηγούν τη συμπεριφορά του πρακτόρα. Οι προσεκτικά κατασκευασμένες και αξιολογημένες δεξιότητες ωθούν τον πράκτορα στην κατεύθυνση μιας детερμινιστικής ροής εργασιών. Οι ομάδες δεν χρειάζεται να ξαναχτίσουν όλο το σύστημα για να πάρουν αυτό το όφελος. Χρειάζεται να αντιμετωπίσουν το σχεδιασμό δεξιοτήτων με την ίδια αυστηρότητα που θα έδιναν σε οποιοδήποτε άλλο κομμάτι λογικής παραγωγής.

Γιατί κάποιοι πράκτορες εκτελούν καλά κατά τη διάρκεια ελεγχόμενου ελέγχου αλλά αρχίζουν να παράγουν ασυνεπείς, ατελείς ή παραπλανητικές απαντήσεις όταν εκτίθενται σε πραγματικούς χρήστες, αλλαγμένα δεδομένα, εξωτερικά εργαλεία και σύνθετα περιβάλλοντα παραγωγής;

Οι ελεγχόμενοι έλεγχοι αφαιρούν την większość της μεταβλητότητας που θα ορίσει την πραγματικότητα παραγωγής με την οποία το AI πρέπει να ασχοληθεί. Τα δεδομένα είναι επιμελημένα, η συμπεριφορά των εργαλείων είναι προβλέψιμη, οι άδειες είναι γνωστές και καλύπτουμε μια διαδρομή που προβλέψαμε. Όταν κυκλοφορήσετε έναν πράκτορα για να αλληλεπιδράσει με πραγματικούς χρήστες και τις επιπτώσεις τους σε ζωντανούς συστήματα, δεν συγκρίνετε το ίδιο με το ίδιο.

Οι χρήστες εισάγουν αμφίβολες αιτήσεις και εκτελούν ταυτόχρονες ενέργειες, η κατάσταση του συστήματος είναι σε συνεχή αλλαγή, ο πράκτορας συχνά πρέπει να εργαστεί από μερικά δεδομένα και τα εξωτερικά εργαλεία φέρνουν τη δική τους.latency και τρόπους αποτυχίας, μαζί με αυτό. Επειδή το μοντέλο είναι πιθανολογικό, κάθε νέα μεταβλητή δημιουργεί ένα άλλο σημείο όπου η ροή εργασιών μπορεί να αποκλίνει ή να συσσωρεύσει ένα προηγούμενο λάθος.

Το επικίνδυνο μέρος είναι ότι ο πράκτορας μπορεί να συνεχίσει να φαίνεται ότι λειτουργεί σωστά ενώ παράγει λανθασμένες αλλά πιθανές απαντήσεις, βασισμένες σε μερικά δεδομένα ή σε υποθέσεις που στηρίζονται σε παλιές πληροφορίες. Αυτός είναι ο λόγος για τον οποίο οι πράκτορες παραγωγής χρειάζονται συνεχής αξιολόγηση που συνεχίζει να εκτελείται μετά την εκκίνηση, ρητή αντιμετώπιση λείπων δεδομένων και αποτυχιών εργαλείων, και ζωντανή επαλήθευση μιας απόφασης πριν από την ολοκλήρωση μιας υψηλής επίδρασης ενέργειας.

Η Lightrun δίνει σημαντική έμφαση στη δίωξη των συστημάτων AI με περιεχόμενο εκτέλεσης. Ποια πληροφορία παρέχει το περιεχόμενο εκτέλεσης που μπορεί να λείπει από τις συμβατικές καταγραφές, μετρήσεις και ιχνηλάσεις, και γιατί αυτή η πληροφορία είναι ιδιαίτερα σημαντική για την διάγνωση των αποτυχιών των πρακτόρων;

Η συμβατική παρατηρησιμότητα δείχνει τα εξωτερικά συμπτώματα της συμπεριφοράς του συστήματος, συχνά συναγμένα, δειγματοληπτικά ή φιλτραρισμένα μέσω πινάκων ελέγχου και ενημερώσεων που ενεργοποιούνται σε κατωφλιές. Συνήθως εξαρτώνται από αποφάσεις που λαμβάνονται από τους développers την ώρα που γράφτηκε ο κώδικας: τι πληροφορία θα είναι ενδιαφέρουσα στο μέλλον; Τι αξίζει να καταγραφεί ή να μετρηθεί; Το περιεχόμενο εκτέλεσης αποσυνδέει την ορατότητα από αυτήν την ανάγκη να γνωρίζουμε εκ των προτέρων τι μπορεί να είναι ενδιαφέρουσα, και παρέχει γρανυλαρίστη δεδομένα που δείχνουν τι συμβαίνει κάτω από το καπό, και πώς φτάσαμε εκεί.

Η πραγματική διαφορά είναι στατικά έναντι δυναμικών δεδομένων. Οι συμβατικές καταγραφές, μετρήσεις και ιχνηλάσεις είναι στατικές, και παράγουν μια ιστορική αναφορά του τι συνέβη. Το περιεχόμενο εκτέλεσης της Lightrun είναι δυναμικό. Παρέχει στον πράκτορα την ικανότητα να τοποθετήσει νέα εργαλεία σε κώδικα που εκτελείται, ανά πάσα στιγμή, και να παρατηρήσει τις ακριβείς τιμές μεταβλητών, ορισμοί συναρτήσεων, κατάσταση αντικειμένων, στοίβα κλήσεων ή συνθήκες κλάδου όπως συμβαίνουν.

Αυτή η διαφορά είναι ιδιαίτερα σημαντική για την διάγνωση των αποτυχιών του κώδικα που παράγεται από τον πράκτορα, επειδή αυτές είναι συχνά σιωπηλές. Ο πράκτορας μπορεί να επιλέξει το λάθος εργαλείο, να περάσει την λανθασμένη ορισμένη μεταβλητή, ή να ενεργήσει με βάση μια παλιά υπόθεση, και να ολοκληρώσει ακόμη την εργασία του χωρίς να ενεργοποιήσει κανένα σφάλμα. Μια αποτυχία σαν αυτή δεν θα εμφανιστεί στις στατικές τηλεμετρίες, επειδή κανείς δεν ήξερε εκ των προτέρων να κατασκευάσει για αυτό. Απρόβλεπτη συμπεριφορά απαιτεί μια δυναμική έρευνα απευθείας στο ζωντανό σύστημα, τοποθετώντας νέα εργαλεία ακριβώς εκεί όπου το μοντέλο του πρακτόρα διέφερε από την πραγματικότητα, αντί να βασίζεται σε ότι ήδη καταγράφηκε.

Αυτή είναι η αιτία για την οποία το δυναμικό περιεχόμενο εκτέλεσης είναι το φυσικό επίπεδο επαλήθευσης για τις αποφάσεις του AI που παράγονται στην ανάπτυξη.

Πώς μπορούν το Model Context Protocol (MCP) και παρόμοια επίπεδα ενοποίησης να επιτρέψουν στους πράκτορες κωδικοποίησης να μάθουν από την πραγματική συμπεριφορά εκτέλεσης χωρίς να τους δώσουν υπερβολική ή ασφαλή πρόσβαση σε συστήματα παραγωγής;

Το MCP και άλλα ελεγχόμενα πρόσβαση σε εξωτερικά εργαλεία (π.χ. CLI wrappers) αφήνουν στον πράκτορα να καλέσει μια συγκεκριμένη, ελεγχόμενη ικανότητα αντί να του δώσουν ευρεία πρόσβαση σε ένα σύστημα και να του εμπιστευτούν να συμπεριφερθεί. Ο πράκτορας που συνδέεται μέσω ενός MCP διακομιστή για περιεχόμενο εκτέλεσης μπορεί να ζητήσει μόνο για ανάγνωση αποδεικτικών, μιας τιμής μεταβλητής, μιας διαδρομής κλήσεων, αν μια κατωφλί ήταν υπερβεβλημένη, χωρίς να αγγίξει πρόσβαση γραφής, χωρίς να χρειάζεται μόνιμες πιστοποιήσεις για το υποκείμενο περιβάλλον.

Όταν επανασχεδιάζετε έναν πρώτης γενιάς πράκτορα, πώς πρέπει οι επιχειρήσεις να αντιμετωπίσουν τις άδειες εργαλείων, τη μνήμη, την ανάκτηση δεδομένων, την αξιολόγηση, την ανθρώπινη επιτήρηση και τις διαδικασίες πτώσης ως μέρη μιας συνολικής αρχιτεκτονικής αντί για ξεχωριστά χαρακτηριστικά;

Δεν μπορείτε να τοποθετήσετε αυτά τα κομμάτια ανεξάρτητα γιατί το καθένα αλλάζει τα άλλα. Τα καλύτερα σημεία για να αρχίσετε είναι το πλαίσιο, η άρπα που ελέγχει τον βρόχο του πρακτόρα, και η συνολική ορχήστρα της ροής εργασιών που συνδέει πολλαπλούς πράκτορες και άλλους ηθοποιούς. Για μια ροή εργασιών ανάλυσης αιτίας ρίζας, για παράδειγμα, οι ομάδες πρέπει να αποφασίσουν ποια αποδεικτικά είναι απαραίτητα, ποια συστήματα ο πράκτορας μπορεί να ερευνήσει, αν μπορεί να δημοσιεύσει ένα συμπέρασμα ή μόνο να το σχεδιάσει, πότε ένας άνθρωπος πρέπει να εγκρίνει το επόμενο βήμα, και τι συμβαίνει αν τα αποδεικτικά της εκτέλεσης δεν είναι διαθέσιμα.

Μόλις αυτό το σύμβαση είναι σαφές, η άρπα και το πλαίσιο παρέχουν τους μηχανισμούς με τους οποίους να επιβάλλουν αυτές τις οδηγίες. Οι πύλες MCP μπορούν να χρησιμοποιηθούν για να περιορίσουν την πρόσβαση του πρακτόρα σε συγκεκριμένες ικανότητες που σχετίζονται με τον σκοπό του. Τα εργαλεία μπορούν να χορηγηθούν με ελάχιστα προνόμια. Η μνήμη μπορεί να εποπτεύεται, με ευαίσθητα δεδομένα που εξαίρονται детерμινιστικά. Η ανάκτηση μπορεί να σχεδιαστεί γύρω από τα αποδεικτικά που χρειάζεται η ροή εργασιών.

Η αξιολόγηση, η επιτήρηση και η πτώση στη συνέχεια κλείνουν τον κύκλο. Το σύστημα πρέπει να μετράει αν τα συμπεράσματα είναι σωστά και υποστηρίζονται, να φέρνει έναν άνθρωπο όταν το ρίσκο ή η αβεβαιότητα διασχίζει μια καθορισμένη κατωφλί, και να σταματά ή να πηγαίνει πίσω σε μια πρόταση μόνο για ανάγνωση όταν δεν μπορεί να συλλέξει αρκετά αποδεικτικά. Ένα κοινό αρχείο ελέγχου πρέπει να συνδέει το ερέθισμα, τις άδειες, τα αποδεικτικά, τις κλήσεις εργαλείων, τις εγκρίσεις, την ενέργεια και το αποτέλεσμα. Αυτή είναι η αιτία για την οποία αυτά τα συστατικά είναι μια αρχιτεκτονική παραγωγής και όχι έξι ξεχωριστά χαρακτηριστικά.

Τι προφυλάξεις πρέπει να περιβάλλουν τους πράκτορες που μπορούν να ερευνήσουν ζωντανές εφαρμογές ή να συμμετάσχουν σε εργασίες μηχανικής αξιοπιστίας, ιδιαίτερα σε ρυθμιζόμενες περιπτώσεις όπου οι έλεγχοι πρόσβασης, η ιδιωτικότητα, η ελεγκτική και η σταθερότητα λειτουργίας είναι κρίσιμες;

Αυτή ήταν μια από τις κεντρικές σχεδιαστικές ερωτήσεις όταν κατασκευάσαμε το Lightrun AI SRE. Ένας AI SRE λειτουργεί κοντά σε κάποια από τα πιο ευαίσθητα συστήματα σε μια οργάνωση, οπότε το σχεδιάσαμε ως έναν ιδιαιτέρως λειτουργικό ηθοποιό, όχι ως einen βοηθό συνομιλίας. Μια σημαντική απόφαση ήταν να分离 το επίπεδο επιθεώρησης από το επίπεδο ενέργειας. Ο AI SRE συλλέγει αποδεικτικά μέσω μόνο για ανάγνωση ενοποιήσεων και της ασφαλισμένης εκτέλεσης εργαλείων της Lightrun, με πρόσβαση περιορισμένη από ταυτότητα, ενοικιαστή, υπηρεσία και περιβάλλον. Μπορεί να ερευνήσει ζωντανή εκτέλεση και να παράγει λείπωντα αποδεικτικά, αλλά το επίπεδο επιθεώρησης της εκτέλεσης δεν μπορεί να τροποποιήσει την κατάσταση της εφαρμογής.

Σε ρυθμιζόμενη περιπτώσεις, αυτό το όριο πρέπει να υποστηρίζεται από RBAC, SSO, ενοικιαστή απομόνωση, εξαίρεση PII, έλεγχοι διατήρησης και ένα αρχείο ελέγχου που δείχνει ποια εργαλεία και αποδεικτικά υποστήριξαν κάθε συμπέρασμα. Χρειάζεται επίσης λειτουργικές όρια γύρω από πόσο δεδομένα μπορούν να συλλεγούν, πόσο συχνά μπορεί να ερωτηθεί η εκτέλεση και ποίες ενέργειες απαιτούν έγκριση. Αν τα αποδεικτικά λείπουν ή ένα συμπέρασμα δεν μπορεί να επικυρωθεί, ο AI SRE πρέπει να το πει και να δώσει την απόφαση σε έναν άνθρωπο αντί να ενεργήσει σαν να ξέρει περισσότερα από ότι πραγματικά γνωρίζει. Ο στόχος είναι ελεγχόμενη αυτονομία: αρκετά χρήσιμη για να επιταχύνει μια έρευνα, αλλά περιορισμένη αρκετά για να παραμείνει ασφαλής για το ζωντανό σύστημα.

Όταν οι επιχειρήσεις περνούν πέρα από πειραματικούς πράκτορες, ποια μέτρηση πρέπει να καθορίσει αν ένας πράκτορας είναι πραγματικά έτοιμος για παραγωγή, και πώς περιμένετε η σχέση μεταξύ των πρακτόρων AI και των ανθρώπινων μηχανικών να εξελιχθεί τα επόμενα χρόνια;

Θα αξιολογούσα την ετοιμότητα παραγωγής με βάση πόσο συχνά οι ενέργειες του πρακτόρα AI παράγουν τα επιθυμητά αποτελέσματα, τα συμπεράσματά του αντέχουν ενάντια σε ότι ήταν πραγματικά αληθινό στην παραγωγή, τα απδήλωτα συμπεράσματα πιάνε πριν από την ενέργεια, και αν αποτυγχάνει ορατά και ασφαλώς όταν τα αποδεικτικά δεν υπάρχουν. Για τους μηχανικούς πρακτόρες, η επικυρωμένη ακρίβεια αποτελέσματος, η κάλυψη αποδεικτικών, ο χρόνος για να επιβεβαιώσει την αιτία ρίζας, ο επιτυχημένος ρυθμός πτώσης και τα αποτελέσματα μετά την ενέργεια είναι τα βασικά μέτρα που πρέπει να επικεντρωθούμε.

Τα επόμενα χρόνια, περιμένω τους πράκτορες να αναλάβουν περισσότερη συλλογή αποδεικτικών και πρώτης-περίεργης έρευνας, καθώς και επιτήρηση των ροών εργασιών πρακτόρων και συνεχής μάθηση από την εμπειρία και την ανατροφοδότηση, ενώ οι μηχανικοί ορίζουν πολιτική, επιλύουν αμφιβολίες, εγκρίνουν υψηλού κινδύνου ενέργειες και κατευθύνουν τα αυτοβελτιωμένα συστήματα πρακτόρων. Η εμπιστοσύνη θα επεκταθεί ροή με ροή. Οι πράκτορες που μπορούν να ιχνηλατήσουν τα συμπεράσματά τους πίσω σε ζωντανά αποδεικτικά και να αποκαλύψουν σαφώς τι δεν μπορούσαν να επικυρώσουν θα κερδίσουν μεγαλύτερη αυτονομία. Αυτοί που δεν μπορούν θα παραμείνουν περιορισμένοι σε στενές, χαμηλού κινδύνου εργασίες, ανεξάρτητα από πόσο ευφλεκτοί ακούγονται.

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν Lightrun.