Σον Μπλάντσφιλντ, Συνιδρυτής και Διευθύνων Σύμβουλος της Jentic – Σειρά Συνεντεύξεων

Σον Μπλάντσφιλντ, Συνιδρυτής και Διευθύνων Σύμβουλος της Jentic, είναι ένας επιχειρηματίας τεχνολογίας με δεκαετίες εμπειρίας στην κατασκευή μεγάλης κλίμακας εταιρειών λογισμικού και υποδομής. Βασισμένος στο Δουβλίνο, ηγείται目前 της Jentic ενώ υπηρετεί επίσης στο Συμβούλιο Συμβούλων της Ιρλανδίας για την Τεχνητή Νοημοσύνη, συμβουλεύοντας την κυβέρνηση για την πολιτική της τεχνητής νοημοσύνης. Νωρίτερα στην καριέρα του, συνίδρυσε την DemonWare, μια πλατφόρμα υψηλής κλίμακας για τις μεγάλες εκδότριες βιντεοπαιχνιδιών που αργότερα αγοράστηκε από την Activision Blizzard (ATVI ), και την PageFair, μια εταιρεία με χρηματοδότηση από风险 κεφάλαιο που επικεντρώνεται στην ανάλυση των блокαρίσματος διαφημίσεων που αγοράστηκε από την Blockthrough. Έχει επίσης ιδρύσει ή ηγηθεί πολλών startups και συνεχίζει να υποστηρίζει το οικοσύστημα startups της Ιρλανδίας μέσω πρωτοβουλιών όπως το Techpreneurs.

Jentic αναπτύσσει ένα καθολικό επίπεδο ολοκλήρωσης που σχεδιάζεται για να βοηθήσει τους πράκτορες Τεχνητής Νοημοσύνης να αλληλεπιδρούν με ασφάλεια με τις εταιρικές συστήματα και APIs. Η πλατφόρμα επιτρέπει στις οργανώσεις να συνδέουν μοντέλα Τεχνητής Νοημοσύνης με εσωτερικά εργαλεία, εξωτερικές υπηρεσίες και λειτουργικές ροές εργασίας διατηρώντας την διακυβέρνηση, την αυθεντικοποίηση και την επιτήρηση. Μετατρέποντας τις αποσπασματικές APIs σε δομημένα διεπαφές που οι πράκτορες Τεχνητής Νοημοσύνης μπορούν να χρησιμοποιήσουν με αξιοπιστία, η Jentic στοχεύει να βοηθήσει τις επιχειρήσεις να αναπτύξουν αυτοματοποίηση με βάση την Τεχνητή Νοημοσύνη σε κλίμακα σε σύνθετα περιβάλλοντα λογισμικού.

Έχετε ιδρύσει και ηγηθεί πολλών τεχνολογικών εταιρειών, από την DemonWare (αγοράστηκε από την Activision Blizzard) στην PageFair και τώρα στην Jentic, και επίσης υπηρετείτε στο Συμβούλιο Συμβούλων της Ιρλανδίας για την Τεχνητή Νοημοσύνη. Τι σας οδήγησε πίσω στην κατασκευή στο επίπεδο υποδομής με την Jentic, και ποια ήταν η lacuna που είδε στην αναδυόμενη οικογένεια πρακτόρων Τεχνητής Νοημοσύνης που άλλοι missed;

Με την τρίτη φορά που παρατηρείτε ένα μοτίβο, πρέπει να το λαμβάνετε σοβαρά. Στην DemonWare, όλοι μιλούσαν για το online multiplayer – αλλά το khó πρόβλημα ήταν η υποδομή δικτύου από κάτω. Το ίδιο συμβαίνει με τους πράκτορες Τεχνητής Νοημοσύνης. Τα μοντέλα είναι αξιοσημείωτα. Το μπουκάλι είναι το επίπεδο ολοκλήρωσης – πάντα ήταν. Οι πράκτορες Τεχνητής Νοημοσύνης τρέχουν σε APIs, και αυτές οι APIs κατασκευάστηκαν για τους ανθρώπους: τεκμηριωμένες για τους ανθρώπους, ασφαλισμένες για τους ανθρώπους και δομημένες για τους ανθρώπους. Σημείο ένας αυτόνομος πράκτορας σε αυτήν την υποδομή, και καταρρέει γρήγορα. Οι πιλότοι της Τεχνητής Νοημοσύνης σε επιχειρήσεις δεν αποτυγχάνουν επειδή το μοντέλο δεν κατάλαβε την εργασία, αλλά επειδή ο πράκτορας δεν μπορούσε να συνδεθεί με αξιοπιστία στα συστήματα που χρειαζόταν. Η γεννητική Τεχνητή Νοημοσύνη προσφέρει έναν νέο τρόπο για να λυθεί αυτό – αντιμετωπίζοντας την ολοκλήρωση ως ένα πρόβλημα γνώσης, όχι ως πρόβλημα κωδικοποίησης. Αυτή η εύνοια με drew σε.

Όταν ξεκινήσατε την Jentic το 2024, ήταν η ασφάλεια του πράκτορα η πρωταρχική θέση από την πρώτη μέρα, ή η εστίαση έγινε πιο σαφής καθώς παρατηρήσατε πώς οι οργανώσεις αναπτύσσουν πράκτορες σε παραγωγή;

Το πρώτο νήμα που έτσαρα ήταν τα διαπιστευτήρια. Φανταζόμουν πράκτορες που πολλαπλασιάζονται, κάθε ένας χρειάζεται διαπιστευτήρια για δεκάδες συστήματα, όλα αυτά τα μυστικά που ρέουν σε παράθυρα LLM, εξαφανίζονται – ένα καυτό χάος. Η απάντηση είναι η ίδια με αυτή που θα ήταν πριν από είκοσι χρόνια: κεντρίστε την αυθεντικοποίηση και την εξουσιοδότηση. Αλλά το να τραβήξω αυτό το νήμα οδήγησε κατευθείαν στο επόμενο πρόβλημα: αν κεντρίσετε χρησιμοποιώντας παραδοσιακές εργαλεία ολοκλήρωσης, βρίσκεστε πάλι στη γη των στατικών συνδετήρων, και οι πράκτορες δεν είναι στατικοί. Αυτό που σφράγισε την όραση ήταν η συνειδητοποίηση ότι η ανακάλυψη ικανοτήτων πρέπει να είναι στενά συνδεδεμένη με τον έλεγχο πρόσβασης – ότι ένας πράκτορας πρέπει να του προσφερθεί μια ικανότητα μόνο αν είναι πραγματικά εξουσιοδοτημένος να τη χρησιμοποιήσει, και ότι το σύστημα που παρέχει ανακάλυψη μπορεί επίσης να είναι το σημείο επιβολής και παρατήρησης.

Η πρόσφατη έκθεση μεγάλου αριθμού περιπτώσεων πρακτόρων που αντιμετωπίζουν το διαδίκτυο έχει υπογραμμίσει πώς η ορχήστρα και τα διαπιστευτήρια συχνά μοιράζονται την ίδια συνοριακή ασφάλεια. Από την οπτική σας, ποια είναι η βασική αρχιτεκτονική ελάττωμα σε αυτό το μοντέλο;

Το ελάττωμα είναι απλό: ο πράκτορας – ένα σύστημα που τρέχει προτροπές από ένα LLM – είναι επίσης το σύστημα που κατέχει τα διαπιστευτήρια και κάνει τις κλήσεις API. Συμβιβάζοντας τον πράκτορα και παίρνετε όλα όσα θα μπορούσε ποτέ να κάνει. Είναι το ίδιο λάθος που κάναμε στην πρώιμη εποχή του web – διακομιστές εφαρμογών με πρόσβαση σε βάση δεδομένων superuser γιατί ήταν βολικό. Η Jentic κάθεται ως ένα επίπεδο μεταξύ του πράκτορα και των APIs που καλεί. Ο πράκτορας δεν κατέχει ποτέ διαπιστευτήρια. Εκδίδει αιτήσεις μέσω του διαχειριζόμενου επιπέδου εκτέλεσης μας, το οποίο εγχέει διαπιστευτήρια εξυπηρετητή-πλευράς, επιβάλλει πολιτική και καταγράφει κάθε κλήση. Και όταν κάτι πάει στραβά, υπάρχει ένα μόνο διακόπτης – μια ενέργεια σταματά την πρόσβαση του πράκτορα σε όλα τα συνδεδεμένα συστήματα ταυτόχρονα.

Έχετε μιλήσει για την分离 της ορχήστρας από την εκτέλεση για να περιορίσετε την ακτίνα εκρήξεως. Μπορείτε να εξηγήσετε με πρακτικούς όρους πώς αυτή η διαίρεση αλλάζει το προφίλ κινδύνου όταν μια περίπτωση έχει συμβεί;

Στο επίπεδο, ο LLM σκέφτεται τι να κάνει και καλεί直接 τις APIs χρησιμοποιώντας τα διαπιστευτήρια που κατέχει. Συμβιβάζοντας το επίπεδο σκέψης, ελέγχετε το επίπεδο εκτέλεσης. Με διαίρεση, ο LLM εκπέμπει μια πρόθεση – “καλέστε την API Stripe billing με αυτά τα παραμέτρα” – ένα διαχειριζόμενο επίπεδο εκτέλεσης επικυρώνει αυτήν την αίτηση έναντι της πολιτικής, εγχέει τα διαπιστευτήρια εξυπηρετητή-πλευράς και κάνει την κλήση. Ο LLM δεν αγγίζει ποτέ το διαπιστευτήριο. Σε πρακτική: η κίνηση πλευρικά γίνεται πολύ πιο δύσκολη, η ακτίνα εκρήξεως είναι περιορισμένη από ότι επιτρέπει το επίπεδο εκτέλεσης για αυτήν την συγκεκριμένη ταυτότητα πράκτορα, και παίρνετε ένα διακόπτη. Μια ενέργεια και η πρόσβαση του πράκτορα σταματά σε όλα τα συνδεδεμένα συστήματα. Ο πράκτορας μπορεί ακόμα να χειραγωγηθεί – αλλά η χειραγώγηση δεν σημαίνει αυτόματα πλήρη συμβιβασμό διαπιστευτηρίων.

Στις πραγματικές εταιρικές αναπτύξεις, τι είναι η κεντρική διαχείριση διαπιστευτηρίων και η άμεση ανάκληση στην πράξη, και πώς διαφέρει από τον τρόπο που οι περισσότερες ομάδες χειρίζονται目前 τα κλειδιά API και τα διαπιστευτήρια για τους πράκτορες;

Σήμερα, οι περισσότερες ομάδες έχουν έναν προγραμματιστή που προμηθεύεται κλειδιά API, τα αποθηκεύει σε ένα αρχείο .env και τα φορτώνει στην εκκίνηση του πράκτορα – συχνά直接 στο παράθυρο LLM. Κανείς δεν έχει μια πλήρη εικόνα ποιοι πράκτορες κατέχουν ποια διαπιστευτήρια. Όταν κάποιος φύγει, τα κλειδιά που προμηθεύτηκε δεν γυρίζουν. Όταν ένας πράκτορας συμπεριφέρεται περίεργα, δεν υπάρχει aucun ιχνηλατικός δρόμος για να ανακατασκευαστεί τι συνέβη. Με την Jentic, ο προγραμματιστής δεν χειρίζεται ποτέ τα διαπιστευτήρια. Δηλώνει ποια πρόσβαση χρειάζεται ο πράκτορας, η πλατφόρμα προμηθεύεταιscoped πρόσβαση, και ο πράκτορας καλεί μέσω του επιπέδου εκτέλεσης μας χωρίς να δει ποτέ το υποκείμενο κλειδί. Αυτό σημαίνει ότι παίρνετε άμεση ανάκληση ανά πράκτορα, την ικανότητα να παύσετε την πρόσβαση ενώ ερευνάτε, και einen χρονολογημένο ιχνηλατικό δρόμο κάθε κλήσης API. Η διαφορά μεταξύ αυτού και “κλειδί API σε ένα .env αρχείο” είναι σημαντική.

Πολλές ομάδες πειραματίζονται με πλαίσια πρακτόρων σε πωλήσεις, μηχανική και επιστήμη δεδομένων. Ποια είναι τα πιο συνηθισμένα ασφαλειακά λάθη που βλέπετε καθώς οι οργανώσεις μεταβαίνουν από πειραματισμό σε παραγωγή;

Τα ίδια μοτίβα επαναλαμβάνονται: πράκτορες υπερ-ιδιωτικοί που εξακολουθούν να τρέχουν με τα διαπιστευτήρια διαχειριστή με τα οποία προωθήθηκαν, διαπιστευτήρια που περνιούνται σε προτροπές ή παράθυρα LLM όπου τελικά καταλήγουν σε αρχείο καταγραφής, τηλεμετρίας και πιθανώς δεδομένα εκπαίδευσης; κοινά διαπιστευτήρια σε πολλαπλά.instances πρακτόρων, ώστε να μην μπορείτε να απομονώσετε ένα seul κακό ηθοποιό; δεν υπάρχει διακόπτης για να σταματήσετε έναν πράκτορα χωρίς να καταστρέψετε το ευρύτερο σύστημα; δεν υπάρχει ιχνηλατικός δρόμος αξίας; και η ένεση προτροπής δεν λαμβάνεται σοβαρά – ακόμη και αν ένας πράκτορας διαβάζει emails, επεξεργάζεται έγγραφα ή περιηγείται στο διαδίκτυο θα συναντήσει ανταγωνιστικά κατασκευασμένα περιεχόμενα. Το κοινό νήμα είναι ότι αυτές οι ομάδες χτίστηκαν για το ευτυχισμένο μονοπάτι και τώρα ανακαλύπτουν ότι η παραγωγή είναι κυρίως τα δυστυχή μονοπάτια.

Η Jentic θέτει τον εαυτό της ως ένα διαχειριζόμενο επίπεδο εκτέλεσης μεταξύ των πλαισίων πρακτόρων και των εξωτερικών συστημάτων. Πώς αυτό το μεσολαβικό επίπεδο επιβάλλει τη διακυβέρνηση χωρίς να επιβραδύνει τους προγραμματιστές ή να μειώνει την ευελιξία του πράκτορα;

Αντί να συνδέετε έναν πράκτορα με πενήντα διαφορετικά APIs – κάθε ένα με το δικό του σχήμα αυθεντικοποίησης, περιορισμούς ρυθμού και ιδιορροπίες – ο προγραμματιστής συνδέεται σε ένα endpoint. Αυτό το endpoint εκθέτει εργαλεία για να αναζητήσετε ολόκληρο τον κατάλογο των ικανοτήτων API, να φορτώσετε λεπτομέρειες και να εκτελέσετε οποιαδήποτε κλήση. Αυτό μεγιστοποιεί την ευελιξία μέσω μιας ενιαίας ενοποιημένης διεπαφής σε απεριόριστα APIs, ενώ επιτρέπει τη διακυβέρνηση – ποιοι πράκτορες έχουν πρόσβαση σε ποιες APIs, υπό ποιες συνθήκες, με ποιους περιορισμούς – όλα διαχειριζόμενα στην πλατφόρμα, όχι στον κώδικα πελάτη. Το επίπεδο εκτέλεσης είναι ένα pass-through; οι πράκτορες μπορούν ακόμα να συνθέσουν πολυστάθμια ροές εργασίας, να αλυσίδων κλήσεων και να χειρίζονται σφάλματα δυναμικά. Η διακυβέρνηση χωρίς τριβή είναι δύσκολο. Το σ捷 είναι να推 την負担 στους προγραμματιστές. Η υποδομή πρέπει να κάνει το αντίθετο — να απορροφήσει αυτήν την複雑ότητα ώστε οι προγραμματιστές δεν πρέπει να το κάνουν.

Με το malware infostealer να στοχεύει τώρα ενεργά αρχεία διαμόρφωσης πρακτόρων και αποθηκευμένα διαπιστευτήρια, βλέπετε τους επιτιθέμενους να μετατοπίζουν την προσοχή τους προς την υποδομή Τεχνητής Νοημοσύνης ως μια νέα υψηλής αξίας επιφάνεια;

Απόλυτα – και η λογική είναι προφανής. Ένα αρχείο διαμόρφωσης πράκτορα είναι αποτελεσματικά ένα multi-υπηρεσία superkey: διαπιστευτήρια για συστήματα email, CRMs, πλατφόρμες χρέωσης, εσωτερικά APIs και λογαριασμούς GitHub. Một επιτυχημένη εκτέλεση infostealer αποφέρει μήνες πρόσβασης σε όλα τα εξωτερικά συστήματα μιας εταιρείας. Αυτό είναι ένα δραματικά υψηλότερο αποτέλεσμα από το να στοχεύσετε οποιαδήποτε υπηρεσία μεμονωμένα. Η άλλη διάσταση είναι ότι οι πράκτορες που τρέχουν συνεχώς σε παραγωγή είναι μόνιμες, πιστοποιημένες παρουσίες — όχι ένας χρήστης που συνδέεται και αποσυνδέεται. Ένας συμβιβασμένος πράκτορας μπορεί να χρησιμεύσει ως μακροχρόνια εστία, λειτουργώντας κάτω από τα όρια ανίχνευσης. Η άβολη πραγματικότητα είναι ότι η επιφάνεια επίθεσης εξελίσσεται γρηγορότερα από τα εργαλεία άμυνας. Η Jentic μπορεί να μειώσει σημαντικά την επιφάνεια επίθεσης διαπιστευτηρίων, αλλά δεν μπορούμε να αποτρέψουμε έναν πράκτορα από τη λανθασμένη χρήση των scopων που έχει λάβει. Αυτό το πιο δύσκολο πρόβλημα πρέπει να λυθεί στο επίπεδο μοντέλου, με φράγματα και ανίχνευση ένεσης προτροπής.

Πέρα από οποιοδήποτε πλαίσιο, ποια ευρύτερα ασφαλειακά αρχές πρέπει να υιοθετήσουν οι οργανώσεις εάν θέλουν να αναπτύξουν πράκτορες Τεχνητής Νοημοσύνης με ασφάλεια σε κλίμακα;

Οι περισσότερες διαχειριζόμενες οργανώσεις δεν μπορούν να αναπτύξουν μη-детерμινιστικά συστήματα στις πιο πολύτιμες επιχειρηματικές διαδικασίες. Μια τράπεζα ή ασφαλιστική εταιρεία δεν μπορεί να δείξει έναν αυτόνομο πράκτορα στο σύστημα χρέωσής της και να πει “βγείτε και βρείτε”. Πώς να καινοτομήσετε χωρίς η στάση κινδύνου σας να γίνει φρένο; Η απάντηση είναι η sandboxing. Δημιουργήστε einen ψηφιακό δίδυμο του API ιδιοκτησίας σας με την ίδια δομή και ροές εργασίας, αλλά χωρίς παραγωγικά διαπιστευτήρια ή συνέπειες. Αναπτύξτε πράκτορες εκεί, αφήστε τους να εξερευνήσουν, παρακολουθήστε τι συμβαίνει. Οι επιτυχημένοι δρόμοι καταγράφονται ως δομημένες, детерμινιστικές αυτοματοποιήσεις ροών εργασίας χρησιμοποιώντας Arazzo, το ανοιχτό πρότυπο εργασίας που αναπτύχθηκε στο OpenAPI Initiative – ελέγξιμο, επαναλαμβανόμενο και αναθεωρήσιμο από οποιαδήποτε ομάδα συμμόρφωσης. Αυτό σημαίνει ότι μπορείτε να κινηθείτε με ταχύτητα Τεχνητής Νοημοσύνης στο sandbox και με ταχύτητα επιχείρησης στην παραγωγή, και αυτές οι δύο ταχύτητες συνυπάρχουν. Οι άλλες αρχές εξακολουθούν να ισχύουν – ελάχιστη εξουσιοδότηση, ιχνηλατικοί δρόμοι, διακόπτες, διαίρεση ορχήστρας από εκτέλεση. Αλλά το sandbox είναι η δομική απάντηση στο ερώτημα που οι ομάδες επιχείρησης eigentlich κολλάνε: πώς να πειραματιστούμε με μη-детерμινιστική Τεχνητή Νοημοσύνη χωρίς να στοιχηματίζουμε τη στάση συμμόρφωσης μας σε αυτή; Δεν αναπτύσσετε τη μη-детερμινιστικότητα. Εξάγετε αξία από αυτήν υπό ελεγχόμενες συνθήκες και αναπτύξτε μόνο τις детерμινιστικές εξόδους.

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν Jentic.