Vin Sharma, συνιδρυτής και διευθύνων σύμβουλος της Vijil – Σειρά συνεντεύξεων

Ο Vin Sharma είναι συνιδρυτής και διευθύνων σύμβουλος της Vijil και διαθέτει περισσότερα από 30 χρόνια εμπειρίας στην κυβερνοασφάλεια, το λογισμικό ανοικτού κώδικα, το υπολογιστικό νέφος και τις υποδομές τεχνητής νοημοσύνης. Πριν ιδρύσει την εταιρεία, ηγήθηκε εργασιών μηχανικής βαθιάς μάθησης στην AWS για τα Amazon SageMaker και Amazon Bedrock, ανέπτυξε υποδομές κέντρων δεδομένων στην Intel και ανέλαβε θέσεις στους τομείς των προϊόντων και της μηχανικής στη Hewlett-Packard. Η σταδιοδρομία του ξεκίνησε με αυτοματοποιημένες δοκιμές από ομάδες red team σε αξιόπιστα συστήματα UNIX, μια εμπειρία που διαμόρφωσε την προσήλωσή του στη δημιουργία αξιόπιστων, ασφαλών και προστατευμένων εταιρικών πρακτόρων τεχνητής νοημοσύνης.

Η Vijil παρέχει υποδομές εμπιστοσύνης για εταιρικούς πράκτορες τεχνητής νοημοσύνης, βοηθώντας τους οργανισμούς να αξιολογούν τη συμπεριφορά τους, να επιβάλλουν ελέγχους και να ενισχύουν την ανθεκτικότητά τους σε όλη τη διάρκεια του κύκλου ζωής των πρακτόρων. Η προσέγγισή της συνδυάζει δοκιμές, ασφάλεια και συνεχή ανατροφοδότηση, ώστε η συμπεριφορά των πρακτόρων να ευθυγραμμίζεται με τον επιδιωκόμενο σκοπό και τις πολιτικές ενός οργανισμού. Σε αυτή τη συνέντευξη, ο Sharma συζητά πώς ορίζεται και μετριέται η εμπιστοσύνη, γιατί οι δοκιμές πρακτόρων διαφέρουν από τη συμβατική ασφάλεια λογισμικού και τι είδους εποπτεία χρειάζονται οι επιχειρήσεις καθώς οι πράκτορες αποκτούν μεγαλύτερη αυτονομία.

Εργαστήκατε για περισσότερα από 30 χρόνια σε εταιρείες όπως η AWS, η Intel και η Hewlett-Packard, προτού ιδρύσετε τη Vijil. Τι σας έπεισε τελικά ότι η εμπιστοσύνη και η ασφάλεια της τεχνητής νοημοσύνης αποτελούσαν ένα αρκετά μεγάλο και άλυτο πρόβλημα, ώστε να ιδρύσετε μια εταιρεία με αυτό το αντικείμενο;

Πριν ενταχθώ σε μια νεοφυή εταιρεία ασφάλειας, πριν από 30 χρόνια, φοιτούσα σε μεταπτυχιακό πρόγραμμα με αντικείμενο την τεχνητή νοημοσύνη και τη μηχανική μάθηση. Έκτοτε, έχω εργαστεί σε ομάδες προϊόντων που ενσωμάτωσαν ασφάλεια στρατιωτικού επιπέδου σε λειτουργικά συστήματα βασισμένα στα Unix και Linux, δημιούργησαν ασφαλείς διακομιστές ιστού για ηλεκτρονικές τραπεζικές συναλλαγές, ανέπτυξαν περιβάλλοντα έμπιστης εκτέλεσης για το υπολογιστικό νέφος και ενσωμάτωσαν κρυπτογράφηση σε πλατφόρμες ανάλυσης δεδομένων. Πιο πρόσφατα, επέστρεψα εκεί απ’ όπου ξεκίνησα, συμβάλλοντας στην ανάπτυξη υπηρεσιών τεχνητής νοημοσύνης και μηχανικής μάθησης για επιχειρήσεις στην AWS. Αυτή η πορεία με έπεισε ότι είναι δυσκολότερο να ενσωματώσεις την εμπιστοσύνη σε ένα ευφυές σύστημα απ’ ό,τι να δημιουργήσεις το ίδιο το ευφυές σύστημα. Παρότι ο κλάδος της τεχνητής νοημοσύνης φαίνεται να έχει δεσμευτεί ευρέως στην αύξηση των δυνατοτήτων των πρακτόρων, πιστεύω ότι πρέπει να επενδύσουμε εξίσου πολλούς πόρους στην ενσωμάτωση στους πράκτορες μηχανισμών εποπτείας και ελέγχου που μπορούν να λειτουργήσουν σε μεγάλη κλίμακα. Χωρίς μετρήσεις και μηχανισμούς προσαρμοσμένους στις ανάγκες συγκεκριμένων οργανισμών, το αρχικό κύμα ενθουσιώδους υιοθέτησης θα ξεφουσκώσει στις ξέρες του κινδύνου και της απόδοσης της επένδυσης, καθώς οι επιχειρήσεις δεν θα μπορούν να αποδείξουν ότι οι πράκτορές τους ενεργούν προς το συμφέρον τους.

Η Vijil βασίζεται στην παραδοχή ότι πολλοί πράκτορες τεχνητής νοημοσύνης δεν φτάνουν ποτέ σε παραγωγική λειτουργία, επειδή οι επιχειρήσεις δεν μπορούν να επαληθεύσουν επαρκώς την αξιοπιστία, την ασφάλεια και την προστασία τους. Πού εντοπίζετε τα μεγαλύτερα κενά εμπιστοσύνης καθώς οι εταιρείες περνούν από τα πρωτότυπα τεχνητής νοημοσύνης στην παραγωγική τους ανάπτυξη;

Το εμπόδιο στην ανάπτυξη περισσότερων πρακτόρων με αυξανόμενη αυτονομία είναι το κατά πόσο οι οργανισμοί μπορούν να προσδιορίσουν την επιθυμητή συμπεριφορά των πρακτόρων τους και να επαληθεύσουν ότι πράγματι συμπεριφέρονται όπως προβλέπεται. Και δεν αρκεί μόνο αυτό: πρέπει να μπορούν να το κάνουν με την κλίμακα και την ταχύτητα με τις οποίες λειτουργούν οι πράκτορες. Εύλογα, λοιπόν, χρειαζόμαστε έναν τρόπο ώστε οι πράκτορες να μετρούν και να τροποποιούν τη συμπεριφορά άλλων πρακτόρων. Δύο από τα μεγαλύτερα κενά αφορούν το τι πρέπει να μετράμε —τι σημαίνει «καλή» συμπεριφορά για τους πράκτορες— και τι πρέπει να τροποποιούμε: ποια στοιχεία του συστήματος του πράκτορα πρέπει να ρυθμίσουμε ώστε να προκαλέσουμε τη συμπεριφορά που επιδιώκει ο εντολέας του. Αυτά μπορεί να είναι το μοντέλο και οι παράμετροί του, η προτροπή συστήματος, οι οδηγίες του χρήστη, το πλαίσιο λειτουργίας του πράκτορα ή το γράφημα των συστημάτων πολλαπλών πρακτόρων.

Πώς ορίζει και μετρά η Vijil την «εμπιστοσύνη» σε έναν πράκτορα τεχνητής νοημοσύνης και ποια σήματα ή σημεία αναφοράς έχουν τη μεγαλύτερη σημασία όταν κρίνεται αν ένας πράκτορας είναι έτοιμος να λειτουργήσει σε ένα εταιρικό περιβάλλον;

Ορίζουμε την εμπιστοσύνη ως το αναμενόμενο όφελος από την ανάθεση εργασιών σε έναν αυτόνομο πράκτορα, σταθμισμένο ως προς τον κίνδυνο να προδώσει τις προθέσεις μας. Αυτό σημαίνει ότι μπορούμε να εμπιστευτούμε έναν πράκτορα εφόσον συμπεριφέρεται σωστά σε κανονικές, θορυβώδεις και εχθρικές συνθήκες και, όταν αποτυγχάνει, περιορίζει στο ελάχιστο την έκταση της ζημιάς. Στη συνέχεια, μπορούμε να μετρήσουμε την εμπιστοσύνη με βάση τρεις πυλώνες: την αξιοπιστία, την ασφάλεια και την προστασία. Οι πράκτορες είναι αξιόπιστοι όταν λειτουργούν όπως αναμένεται υπό ποικίλες συνθήκες, είναι ασφαλείς όταν λειτουργούν όπως αναμένεται υπό εχθρικές συνθήκες και είναι προστατευμένοι όταν μπορούν να περιορίσουν τους επιχειρηματικούς, νομικούς και τεχνικούς κινδύνους.

Οι πράκτορες τεχνητής νοημοσύνης μπορεί να συμπεριφέρονται απρόβλεπτα, καθώς συνδυάζουν μοντέλα, εργαλεία, πηγές δεδομένων, μνήμη και εξωτερικά συστήματα. Σε τι διαφέρει ο έλεγχος ενός πράκτορα από τις παραδοσιακές δοκιμές ασφάλειας εφαρμογών ή τη συμβατική αξιολόγηση μοντέλων;

Το παραδοσιακό λογισμικό παρουσιάζει τρόπους αστοχίας που είναι πλέον αρκετά καλά κατανοητοί. Σε γενικές γραμμές, αυτοί περιλαμβάνουν την αδυναμία διαχείρισης κακοσχηματισμένων εισόδων, αδυναμίες στη λογική και τον σχεδιασμό του συστήματος, σφάλματα υλοποίησης, κρυφά τρωτά σημεία που επιτρέπουν επιθέσεις και ακούσιες παρενέργειες των αποτελεσμάτων. Οι δοκιμές για τον εντοπισμό αυτών των αστοχιών είναι, εύλογα, προβλέψιμες. Οι πράκτορες διευρύνουν δραστικά το πεδίο των πιθανών αστοχιών, σε τέτοιο βαθμό ώστε η αξιολόγηση μοντέλων, οι δοκιμές μονάδων, οι δοκιμές ολοκλήρωσης, οι δοκιμές ασφάλειας εφαρμογών, οι δοκιμές διείσδυσης και οι έλεγχοι συμμόρφωσης να μην επαρκούν για να καλύψουν αυτό το πεδίο. Για να ελέγξουμε τη νέα επιφάνεια κινδύνου που δημιουργούν οι πράκτορες, χρειαζόμαστε νέες μετρήσεις και μηχανισμούς που αξιολογούν τη συμπεριφορά του πράκτορα σε σχέση με τον σκοπό που έχει ορίσει ο εντολέας του, τις προσωπικότητες των χρηστών του και τις πολιτικές του οργανισμού, του κλάδου και της περιοχής όπου λειτουργεί.

Το ιστορικό σας περιλαμβάνει την ηγεσία προσπαθειών μηχανικής βαθιάς μάθησης για τα Amazon SageMaker και Amazon Bedrock. Ποια διδάγματα από την ανάπτυξη υποδομών τεχνητής νοημοσύνης στην AWS έχουν επηρεάσει περισσότερο την προσέγγισή σας στην ασφάλεια και την αξιοπιστία των πρακτόρων στη Vijil;

Η πιο καθοριστική διαπίστωση ήταν ότι ο έγκαιρος εντοπισμός προβλημάτων αξιοπιστίας, ασφάλειας και συμμόρφωσης στις υπηρεσίες, κατά τη διάρκεια του κύκλου ανάπτυξής τους, ήταν πολύ αποτελεσματικότερος και αποδοτικότερος από τον εντοπισμό τους λίγο πριν από την κυκλοφορία τους, όπως γινόταν παραδοσιακά, ή, ακόμη χειρότερα, αφού η υπηρεσία είχε τεθεί σε λειτουργία, όταν ξυπνούσαμε από τηλεφωνήματα για μια υπηρεσία που δεν λειτουργούσε.

Η Vijil εστιάζει όχι μόνο στη δοκιμή των πρακτόρων πριν από την ανάπτυξή τους, αλλά και στην προστασία και τη συνεχή βελτίωσή τους κατά τη λειτουργία τους. Ποιοι κίνδυνοι γίνονται ορατοί μόνο όταν ένας πράκτορας αρχίζει να αλληλεπιδρά με πραγματικούς χρήστες, δεδομένα και εταιρικά συστήματα;

Ο πραγματικός κόσμος έχει απεριόριστη ικανότητα να μας εκπλήσσει. Και ένας πράκτορας που αιφνιδιάζεται είναι επιρρεπής σε σφάλματα. Κανέναν δεν απασχολεί αν ένας πράκτορας κάνει λάθος όταν δημιουργεί ένα meme. Ένας πράκτορας που έχει σχεδιαστεί για να βοηθά ή να αντικαθιστά έναν χρηματοοικονομικό σύμβουλο, έναν βοηθό δικηγόρου, έναν δικηγόρο, έναν νοσηλευτή, έναν γιατρό, έναν ασθενή ή οποιονδήποτε επαγγελματία σε κλάδο όπου πρέπει να αποδεικνύεται η τήρηση των υποχρεώσεων πίστης και επιμέλειας δεν μπορεί να λειτουργήσει, αν τα αποδεκτά όρια δεν είναι αυστηρά καθορισμένα και προσεκτικά παρακολουθούμενα και η συμπεριφορά του πράκτορα δεν αποκαθίσταται γρήγορα.

Καθώς οι επιχειρήσεις αναπτύσσουν ολοένα και πιο αυτόνομους πράκτορες, ικανούς να αναλαμβάνουν δράση αντί απλώς να παράγουν απαντήσεις, πώς πρέπει να εξελιχθεί το μοντέλο ασφάλειας; Αρκούν παραδοσιακές έννοιες όπως τα δικαιώματα, η ταυτότητα και ο έλεγχος πρόσβασης;

Όχι. Καθώς οι πράκτορες αναλαμβάνουν ενεργό ρόλο σε έναν οργανισμό, πρέπει να τους αποδίδονται μοναδικές, επαληθεύσιμες ταυτότητες· να τους ανατίθενται ρόλοι που οριοθετούν τόσο τη συμπεριφορά τους όσο και τα λειτουργικά τους στοιχεία (εργαλεία με δικαιώματα πρόσβασης σε πόρους), σύμφωνα με υποχρεωτικές πολιτικές ελέγχου πρόσβασης· να παρακολουθούνται διαρκώς για τυχόν απόκλιση από τον επιδιωκόμενο σκοπό τους· και να καθοδηγούνται ώστε να παραμένουν ανθεκτικοί σε επιθέσεις.

Η Vijil έχει προχωρήσει από έναν αρχικό γύρο χρηματοδότησης Seed ύψους 6 εκατομμυρίων δολαρίων σε έναν γύρο Series A ύψους 17 εκατομμυρίων δολαρίων, ενώ συγκρότησε ιδρυτική ομάδα περίπου 20 ατόμων και πέτυχε το πρώτο της 1 εκατομμύριο δολάρια σε ετήσια επαναλαμβανόμενα έσοδα. Ποιες ήταν οι σημαντικότερες αποφάσεις που σας επέτρεψαν να περάσετε από μια αρχική τεχνική ιδέα στην εμπορική υιοθέτηση;

Από νωρίς επιλέξαμε να δημιουργήσουμε ένα επίπεδο εμπιστοσύνης που ενσωματώνεται στην πλατφόρμα της επιλογής του πελάτη, προβλέποντας παράλληλα ότι οι επιχειρήσεις θα αναζητούσαν όλο και περισσότερο μεγαλύτερη δυνατότητα προσαρμογής, πιο λεπτομερή έλεγχο και χαμηλότερο κόστος για συστήματα πολλαπλών πρακτόρων που χρησιμοποιούν ανοιχτά μοντέλα. Η μακροπρόθεσμη στρατηγική της δημιουργίας ενός επιπέδου πλατφόρμας, αντί ενός μεμονωμένου προϊόντος, μας προσφέρει συγκριτικά πλεονεκτήματα, αλλά δημιουργεί και δύσκολες συνθήκες: δεν είναι τόσο εύκολο να βρούμε επιχειρήσεις έτοιμες να εφαρμόσουν διακυβέρνηση πρακτόρων σε μεγάλη κλίμακα όσο να πουλήσουμε μια υπηρεσία άμεσης μετάβασης.

Ξεκινήσατε την καριέρα σας το 1995, αναπτύσσοντας αυτοματοποιημένες δοκιμές red team για αξιόπιστα συστήματα UNIX. Σχεδόν τρεις δεκαετίες αργότερα, πώς έχουν αλλάξει οι αρχές του red teaming όταν το υπό δοκιμή σύστημα είναι ένας πράκτορας τεχνητής νοημοσύνης που μπορεί να συλλογίζεται, να προσαρμόζεται και να χρησιμοποιεί εξωτερικά εργαλεία;

Ιστορικά, το red teaming σήμαινε τη δοκιμή των αμυνών ενός οργανισμού απέναντι σε μια συντονισμένη επίθεση. Οι γενικές αρχές εξακολουθούν να ισχύουν. Εξακολουθούμε να χρειαζόμαστε συντονισμένες επιθέσεις υπό ελεγχόμενες συνθήκες, ώστε να διερευνούμε τα αδύνατα σημεία του οργανισμού που δοκιμάζεται. Ωστόσο, η ενδιάμεση περίοδος κατά την οποία οι ασκήσεις red team βασίζονταν σε προκαθορισμένα σενάρια για τη δοκιμή συστημάτων λογισμικού δεν επαρκεί πλέον, επειδή οι πράκτορες τεχνητής νοημοσύνης δεν λειτουργούν όπως το ντετερμινιστικό λογισμικό: είναι σχεδιασμένοι να προσαρμόζονται στο περιβάλλον τους, οπότε η ίδια επίθεση δεν μπορεί να επαναληφθεί με προβλέψιμο τρόπο. Υποστηρίζω ότι οι πράκτορες πρέπει να αντιμετωπίζονται όπως οι εταιρείες. Επομένως, οι δοκιμές red team σε πράκτορες πρέπει κατ’ ανάγκη να προσαρμόζονται στον σκοπό του πράκτορα, να διερευνούν κατά πόσο αυτός αποκλίνει από τις προθέσεις των χρηστών του, καθώς και την προθυμία και την ικανότητά του να παρακάμπτει τις πολιτικές του περιβάλλοντός του.

Κοιτάζοντας μπροστά, πιστεύετε ότι οι ανεξάρτητες δοκιμές και τα μετρήσιμα πρότυπα εμπιστοσύνης για τους πράκτορες τεχνητής νοημοσύνης θα αποτελέσουν προϋπόθεση για την ανάπτυξή τους σε επιχειρήσεις; Και τι πρέπει να γίνει σε ολόκληρο τον κλάδο, ώστε αυτό το επίπεδο διασφάλισης να καθιερωθεί ως συνήθης πρακτική;

Σήμερα, οι δημιουργοί αξιολογούν τις δυνατότητες των πρακτόρων, οι ομάδες red team δοκιμάζουν την αντοχή τους σε επιθέσεις έγχυσης προτροπών και σε απόπειρες παράκαμψης των περιορισμών ασφαλείας, ενώ οι ομάδες διακυβέρνησης, διαχείρισης κινδύνων και συμμόρφωσης (GRC) μόλις αρχίζουν να ελέγχουν τη συμμόρφωσή τους με τους κανονισμούς. Ελάχιστοι οργανισμοί εφαρμόζουν ένα σύστημα επαλήθευσης συμπεριφοράς που λειτουργεί συνεχώς στο παρασκήνιο, καθ’ όλη τη διάρκεια ζωής του πράκτορα, καθώς αλλάζουν τα μοντέλα, τα εργαλεία, οι πόροι, οι ροές εργασίας και το περιβάλλον στο οποίο δρα. Ακόμη σημαντικότερο είναι ότι η Vijil προσφέρει στις επιχειρήσεις μια ξεχωριστή δυνατότητα, αντιστοιχίζοντας την πραγματική συμπεριφορά του πράκτορα κατά τη λειτουργία του με τις προδιαγραφές του, μέσω ενός βρόχου ανατροφοδότησης που βελτιώνει διαρκώς τον πράκτορα. Οι πράκτορες που αντέχουν στις επιθέσεις είναι εκείνοι που προσαρμόζονται ώστε να παραμένουν ανθεκτικοί.

Σας ευχαριστούμε για την εξαιρετική συνέντευξη. Οι αναγνώστες που θέλουν να μάθουν περισσότερα για τη δοκιμή, την προστασία και τη συνεχή βελτίωση εταιρικών πρακτόρων τεχνητής νοημοσύνης μπορούν να επισκεφθούν τη Vijil.