Η Zenity αντλεί 125 εκατ. δολάρια καθώς οι επιχειρήσεις αντιμετωπίζουν τους κινδύνους ασφάλειας των αυτόνομων πρακτόρων AI

Η Zenity άντλησε 125 εκατ. δολάρια σε γύρο χρηματοδότησης Series C , καθώς οι επιχειρήσεις μεταφέρουν τους πράκτορες τεχνητής νοημοσύνης από ελεγχόμενα πειράματα σε συστήματα που μπορούν να προσπελάζουν δεδομένα, να καλούν εργαλεία λογισμικού και να ολοκληρώνουν επιχειρησιακές εργασίες.

Στον γύρο ηγήθηκε η Norwest, με τις Qumra Capital, SoftBank Vision Fund 2, Hitachi Ventures και LG Technology Ventures να συμμετέχουν ως νέοι επενδυτές. Συμμετείχαν επίσης οι υφιστάμενοι επενδυτές Vertex Ventures, Third Point Ventures, DTCP και Intel Capital. Η εταιρεία δεν γνωστοποίησε την αποτίμησή της.

Η χρηματοδότηση ακολουθεί τον γύρο Series B των 38 εκατ. δολαρίων της Zenity τον Οκτώβριο του 2024 και ανεβάζει τη συνολική γνωστοποιημένη χρηματοδότησή της σε τουλάχιστον 180 εκατ. δολάρια.

Από τα πειράματα με AI στα αυτόνομα συστήματα

Το μέγεθος του γύρου αντικατοπτρίζει μια ευρύτερη αλλαγή στον τρόπο με τον οποίο οι επιχειρήσεις υιοθετούν την AI. Το πρώτο κύμα παραγωγικής AI αφορούσε κυρίως εργαζομένους που αλληλεπιδρούσαν με chatbot για να παράγουν κείμενο, να συνοψίζουν έγγραφα ή να ανακτούν πληροφορίες.

Οι πράκτορες AI εισάγουν διαφορετικό επίπεδο κινδύνου, επειδή μπορούν να ενεργούν. Ανάλογα με τα δικαιώματά τους, ενδέχεται να προσπελάζουν εσωτερικές βάσεις δεδομένων, να καλούν διεπαφές προγραμματισμού εφαρμογών, να ενημερώνουν εγγραφές, να εκτελούν κώδικα, να στέλνουν μηνύματα ή να ξεκινούν ροές εργασίας που εκτείνονται σε πολλά εταιρικά συστήματα.

Έτσι, το ζήτημα ασφάλειας δεν περιορίζεται στο αν ένα μοντέλο παράγει ακατάλληλη απάντηση. Οι οργανισμοί πρέπει επίσης να γνωρίζουν ποιοι πράκτορες έχουν τεθεί σε λειτουργία, ποιος τους ελέγχει, ποιες πληροφορίες μπορούν να προσπελάσουν και ποιες ενέργειες έχουν εξουσιοδότηση να εκτελούν.

Ένας πράκτορας μπορεί να συμπεριφέρεται ακριβώς όπως σχεδιάστηκε και παρ’ όλα αυτά να προκαλέσει περιστατικό ασφάλειας, αν έχει υπερβολικά δικαιώματα, συναντήσει παραποιημένες πληροφορίες ή ερμηνεύσει τις οδηγίες ενός επιτιθέμενου ως μέρος μιας θεμιτής εργασίας.

Η Zenity το περιγράφει ως πρόβλημα στο «επίπεδο του πράκτορα». Η πλατφόρμα της έχει σχεδιαστεί για να εξετάζει τη διαμόρφωση, τα δικαιώματα, τα συνδεδεμένα εργαλεία, τη μνήμη και τις ενέργειες ενός πράκτορα κατά την εκτέλεση, αντί να ελέγχει μόνο τις προτροπές που εισέρχονται στο μοντέλο ή τις απαντήσεις που παράγει.

Πώς η Zenity προστατεύει τους πράκτορες AI

Η Zenity χωρίζει την πλατφόρμα της σε τρεις βασικούς τομείς: παρατηρησιμότητα, διαχείριση της κατάστασης ασφάλειας και ανίχνευση και απόκριση σε απειλές.

Το τμήμα παρατηρησιμότητας εντοπίζει και καταγράφει τους πράκτορες που λειτουργούν σε έναν οργανισμό. Περιλαμβάνει πράκτορες ενσωματωμένους σε πλατφόρμες λογισμικού ως υπηρεσία, πράκτορες που αναπτύχθηκαν εσωτερικά και εκτελούνται στο cloud, καθώς και τοπικά εργαλεία εγκατεστημένα στις συσκευές εργαζομένων.

Στόχος είναι οι ομάδες ασφάλειας να διαθέτουν διαρκώς ενημερωμένη εικόνα για τον υπεύθυνο κάθε πράκτορα, τη διαμόρφωση, τα δικαιώματα, τις διασυνδέσεις και τη συμπεριφορά του κατά την εκτέλεση. Αυτό αποκτά μεγαλύτερη σημασία καθώς επιμέρους τμήματα και εργαζόμενοι μπορούν πλέον να δημιουργούν πράκτορες χωρίς να ακολουθούν μια συμβατική διαδικασία ανάπτυξης λογισμικού ή ελέγχου ασφάλειας.

Το επίπεδο διακυβέρνησης της Zenity αξιολογεί διαμορφώσεις και δικαιώματα πριν ένας πράκτορας τεθεί σε κανονική λειτουργία. Οι πολιτικές μπορούν να εντοπίζουν υπερβολική πρόσβαση, μη ασφαλείς διασυνδέσεις ή εργαλεία που θα επέτρεπαν στον πράκτορα να υπερβεί τον προβλεπόμενο ρόλο του. Η πλατφόρμα μπορεί να συνεχίζει να ελέγχει αυτούς τους μηχανισμούς καθώς οι πράκτορες τροποποιούνται με τον χρόνο.

Κατά την εκτέλεση, η Zenity αναλύει τη διαδρομή ενεργειών ενός πράκτορα, συμπεριλαμβανομένων των κλήσεων εργαλείων, της πρόσβασης στη μνήμη, της χρήσης δεδομένων και των αλληλεπιδράσεων με άλλα συστήματα. Η εταιρεία αναφέρει ότι μπορεί να χρησιμοποιεί αυτό το πλαίσιο για να επιτρέπει, να τροποποιεί ή να εμποδίζει μια ενέργεια πριν εκτελεστεί.

Η προσέγγιση αποσκοπεί στη διάκριση ενός κανονικού αιτήματος από ένα φαινομενικά κανονικό αίτημα που έχει επηρεαστεί από κακόβουλο περιεχόμενο. Αντιμετωπίζει επίσης έναν σημαντικό περιορισμό του φιλτραρίσματος προτροπών: ένα επικίνδυνο αποτέλεσμα μπορεί να προκύψει από ακολουθία ενεργειών που μεμονωμένα είναι αβλαβείς.

Κάλυψη SaaS, cloud και συσκευών εργαζομένων

Η Zenity επιχειρεί να προσφέρει κοινό επίπεδο ασφάλειας σε ένα κατακερματισμένο οικοσύστημα πρακτόρων.

Στα περιβάλλοντα λογισμικού ως υπηρεσία, υποστηρίζει πράκτορες που συνδέονται με πλατφόρμες όπως οι Microsoft 365 Copilot, Microsoft Copilot Studio, ChatGPT Enterprise και Salesforce Agentforce. Αυτά τα συστήματα μπορούν να δίνουν στους πράκτορες πρόσβαση σε εταιρικά έγγραφα, εγγραφές πελατών, επικοινωνίες και ροές εργασίας που η επιχείρηση δεν φιλοξενεί ή δεν ελέγχει εξ ολοκλήρου.

Η πλατφόρμα καλύπτει επίσης προσαρμοσμένους πράκτορες που έχουν αναπτυχθεί με υπηρεσίες όπως οι AWS Bedrock, Azure AI Foundry και Google Vertex AI. Η Zenity παρακολουθεί ποια εργαλεία και υπηρεσίες cloud καλούν, εφαρμόζοντας πολιτικές κατά την ανάπτυξη και την εκτέλεση.

Ένας τρίτος τομέας αφορά πράκτορες σε συσκευές, όπως βοηθούς προγραμματισμού, εφαρμογές επιφάνειας εργασίας και προγράμματα περιήγησης με δυνατότητες πράκτορα. Αυτά τα εργαλεία μπορούν να λειτουργούν μέσα στο περιβάλλον στο οποίο ο εργαζόμενος έχει ήδη συνδεθεί, κληρονομώντας ενδεχομένως πρόσβαση σε αρχεία, συνεδρίες περιήγησης και συνδεδεμένες υπηρεσίες.

Η ενοποίηση των περιβαλλόντων σε ένα σύστημα θα μπορούσε να απλοποιήσει τη διακυβέρνηση, δημιουργεί όμως σημαντική τεχνική πρόκληση. Η αρχιτεκτονική, τα δικαιώματα και τα διαθέσιμα δεδομένα τηλεμετρίας ενός βοηθού που παρέχεται ως SaaS μπορούν να διαφέρουν ουσιαστικά από εκείνα ενός προσαρμοσμένου πράκτορα στο cloud ή ενός τοπικά εγκατεστημένου εργαλείου προγραμματισμού.

Η έρευνα ασφάλειας αναδεικνύει το αναδυόμενο μοντέλο απειλών

Η Zenity στηρίζει την ανάπτυξη προϊόντων της στην έρευνα των Zenity Labs, που εξετάζουν πώς μπορεί να χειραγωγηθούν αυτόνομα συστήματα μέσω μη έμπιστου περιεχομένου.

Η έρευνα AgentFlayer εξέτασε αλυσίδες επιθέσεων που απαιτούν μηδενικά ή ένα κλικ, σε ευρέως χρησιμοποιούμενες εταιρικές πλατφόρμες AI. Οι επιδείξεις περιλάμβαναν σενάρια όπου κακόβουλες οδηγίες μέσα σε email, έγγραφα, αιτήματα υποστήριξης ή εργαλεία συνεργασίας οδήγησαν πράκτορες σε αποκάλυψη πληροφοριών, κατάχρηση συνδεδεμένων εργαλείων ή αλλοίωση των απαντήσεών τους.

Πιο πρόσφατη έρευνα εξέτασε το Comet της Perplexity, ένα πρόγραμμα περιήγησης με δυνατότητες πράκτορα. Ερευνητές της Zenity έδειξαν πώς κρυφές οδηγίες σε μια πρόσκληση ημερολογίου μπορούσαν να επηρεάσουν το πρόγραμμα περιήγησης ενώ εκτελούσε μια συνηθισμένη εργασία. Σε ένα σενάριο, ο παραβιασμένος πράκτορας περιηγήθηκε σε ξεκλείδωμένο διαδικτυακό θησαυροφυλάκιο του 1Password και μετέδωσε διαπιστευτήρια μέσω συνηθισμένων αιτημάτων ιστού.

Η έρευνα απέδωσε το πρόβλημα στον ανεπαρκή διαχωρισμό ανάμεσα στις προθέσεις του χρήστη και στο περιεχόμενο τρίτων που συναντούσε ο πράκτορας. Επειδή ο πράκτορας λειτουργούσε ήδη σε συνεδρία περιήγησης με συνδεδεμένο χρήστη, μπορούσε ενδεχομένως να αξιοποιήσει πρόσβαση που ο χρήστης είχε παραχωρήσει νόμιμα.

Οι επιδείξεις εξηγούν γιατί η ασφάλεια των πρακτόρων δεν μπορεί να βασίζεται αποκλειστικά στον εντοπισμό προφανώς κακόβουλων προτροπών. Οι οδηγίες μπορεί να κρύβονται σε δεδομένα που ο πράκτορας αναμένεται να διαβάσει, ενώ οι ενέργειες που προκύπτουν μπορεί να μοιάζουν με κανονική περιήγηση, ανάκτηση εγγράφων ή δραστηριότητα εφαρμογών.

Αναδεικνύουν επίσης τη σημασία ορίων που παραμένουν εφαρμόσιμα ακόμη και όταν έχει χειραγωγηθεί η συλλογιστική ενός πράκτορα.

Χρηματοδότηση της διεθνούς επέκτασης και της ανάπτυξης προϊόντων

Η Zenity αναφέρει ότι τα έσοδά της τριπλασιάστηκαν σε καθένα από τα δύο προηγούμενα χρόνια και κινούνται προς νέο τριπλασιασμό φέτος. Σύμφωνα με την εταιρεία, πολλοί πελάτες της είναι οργανισμοί των καταλόγων Fortune 500 και Global 2000, σε κλάδους με ρυθμιστικές απαιτήσεις όπως οι χρηματοοικονομικές υπηρεσίες, η υγεία, τα φάρμακα, η μεταποίηση και η ενέργεια.

Απασχολεί πλέον περισσότερους από 230 εργαζομένους, με την έρευνα και ανάπτυξη να επικεντρώνεται στο Τελ Αβίβ και την εμπορική στρατηγική και τις επιχειρησιακές λειτουργίες να διευθύνονται από τη Νέα Υόρκη.

Η χρηματοδότηση Series C θα χρησιμοποιηθεί για την επιτάχυνση της ανάπτυξης προϊόντων, την επέκταση των Zenity Labs και την ενίσχυση της παρουσίας στην Ευρώπη και την περιοχή Ασίας-Ειρηνικού. Θα προσφέρει επίσης περισσότερους πόρους για την υποστήριξη αυξανόμενου αριθμού πλαισίων ανάπτυξης πρακτόρων, καθώς οι εταιρικές υποδομές AI γίνονται πιο ποικιλόμορφες.

Η επέκταση έρχεται λιγότερο από δύο χρόνια μετά τον προηγούμενο γύρο θεσμικής χρηματοδότησης, όταν η Zenity εξακολουθούσε να τονίζει την προέλευσή της από την ασφάλεια εφαρμογών low-code και no-code. Η σημερινή της τοποθέτηση αντικατοπτρίζει την εξέλιξη εκείνων των ανησυχιών: εργαζόμενοι που κάποτε μπορούσαν να φτιάξουν απλές επιχειρησιακές εφαρμογές μπορούν τώρα να δημιουργούν πράκτορες που λαμβάνουν αποφάσεις και χειρίζονται συνδεδεμένα συστήματα.

Η ασφάλεια πρακτόρων AI αναδεικνύεται σε ξεχωριστή κατηγορία

Η χρηματοδότηση της Zenity σηματοδοτεί την εμπιστοσύνη των επενδυτών ότι η ασφάλεια πρακτόρων AI θα μπορούσε να εξελιχθεί σε σημαντική κατηγορία κυβερνοασφάλειας, αντί να παραμείνει λειτουργία μέσα σε υπάρχοντα προϊόντα ασφάλειας cloud, διαχείρισης ταυτότητας ή προστασίας τερματικών συσκευών.

Το επιχείρημα υπέρ μιας ξεχωριστής κατηγορίας είναι ότι τα συμβατικά εργαλεία συνήθως βλέπουν μόνο ένα μέρος της δραστηριότητας ενός πράκτορα. Οι πλατφόρμες ασφάλειας cloud μπορούν να επιθεωρούν υποδομές, τα συστήματα ταυτότητας να διαχειρίζονται δικαιώματα και τα προϊόντα προστασίας τερματικών συσκευών να ανιχνεύουν απειλές στο επίπεδο του λειτουργικού συστήματος. Δεν κατανοούν κατ’ ανάγκην τον προβλεπόμενο ρόλο του πράκτορα ούτε πώς μια ακολουθία κλήσεων εργαλείων σχετίζεται με τον αρχικό στόχο του χρήστη.

Η Zenity πρέπει ακόμη να αποδείξει ότι οι μηχανισμοί ελέγχου της που βασίζονται στην πρόθεση μπορούν να λειτουργούν σε ταχέως μεταβαλλόμενα πλαίσια, χωρίς υπερβολικές ειδοποιήσεις, παρεμπόδιση θεμιτής εργασίας ή απαράδεκτη καθυστέρηση. Πρέπει επίσης να δείξει ότι οι επιχειρήσεις θα αγοράζουν χωριστή πλατφόρμα ασφάλειας πρακτόρων, αντί να βασίζονται στους ελέγχους που προσθέτουν οι μεγάλοι πάροχοι cloud και λογισμικού.

Η άμεση ευκαιρία στην αγορά γίνεται, ωστόσο, σαφέστερη. Καθώς οι πράκτορες αποκτούν πρόσβαση σε ευαίσθητα δεδομένα και αρχίζουν να ελέγχουν επιχειρησιακές διαδικασίες με σημαντικές συνέπειες, οι οργανισμοί θα χρειάζονται περισσότερα από ένα αρχείο συμβάντων μετά το περιστατικό. Θα χρειάζονται μηχανισμούς που εντοπίζουν ποιοι πράκτορες υπάρχουν, περιορίζουν τι μπορούν να κάνουν και παρεμβαίνουν πριν μια ακούσια ενέργεια εξελιχθεί σε παραβίαση.

Ο γύρος Series C των 125 εκατ. δολαρίων της Zenity δίνει στην εταιρεία σημαντικούς πόρους για να διεκδικήσει αυτόν τον ρόλο, καθώς οι ομάδες ασφάλειας προετοιμάζονται για ένα εταιρικό περιβάλλον με όλο και περισσότερο αυτόνομο λογισμικό.