Jonathan Zanger, Chief Technology Officer at Check Point – Interview Series

Jonathan Zanger, Chief Technology Officer at Check Point, φέρνει μια σπάνια συνδυασμό ελίτ στρατιωτικής νοημοσύνης, βαθιάς εμπειρογνωσίας AI και ηγετικών ρόλων σε startups και παγκόσμιες επιχειρήσεις. Πριν από τον τρέχοντα ρόλο του, υπηρέτησε ως CTO στην Trigo, όπου ηγήθηκε της ανάπτυξης των επόμενων γενεών AI και συστημάτων υπολογιστικής όρασης που ermögňují απαλλαγμένες από τριβές λιανικές πωλήσεις και πρόληψη απωλειών σε κλίμακα, ενώ ευθυγραμμίζει το προϊόν και την έρευνα και ανάπτυξη με την εμπορική ανάπτυξη. Παλαιότερα, κατέχει υψηλού επιπέδου ρόλους έρευνας και ανάπτυξης στην Trigo και πέρασε πάνω από μια δεκαετία στην ελίτ μονάδα 8200 του Ισραήλ, στο τέλος της οποίας ηγήθηκε μιας κυβερνο-ερευνητικής και αναπτυξιακής μονάδας που ήταν υπεύθυνη για εθνικής κλίμακας πρωτοβουλίες νοημοσύνης και κυβερνοασφάλειας και κέρδισε την υψηλότερη εθνική αναγνώριση για το έργο του.

Check Point Software Technologies είναι ένας παγκόσμιος ηγέτης στην κυβερνοασφάλεια, παρέχοντας λύσεις ασφαλείας που βασίζονται στο AI, που παρέχονται μέσω του cloud και σχεδιασμένες για την προστασία των επιχειρήσεων και των κυβερνήσεων από ολοένα και πιο περίπλοκες ψηφιακές απειλές. Η εταιρεία εξυπηρετεί πάνω από 100.000 οργανισμούς σε όλο τον κόσμο με μια ολοκληρωμένη πλατφόρμα που ασφαλίζει δίκτυα, περιβάλλοντα cloud, τελικούς σημεία και χρήστες μέσω μιας προσεγγίσεως που στοχεύει στην πρόληψη των επιθέσεων πριν συμβούν. Η ενοποιημένη αρχιτεκτονική της αξιοποιεί την τεχνητή νοημοσύνη και την ενημερωμένη πληροφόρηση για απειλές σε πραγματικό χρόνο για να απλοποιήσει τις επιχειρήσεις ασφαλείας, να μειώσει τον κίνδυνο και να επιτρέψει στους οργανισμούς να κλιμακωθούν ασφαλώς καθώς υιοθετούν το AI, την υπολογιστική στο cloud και τα κατανεμημένα συστήματα.

Έχετε ηγηθεί μεγάλων πρωτοβουλιών κυβερνοασφάλειας και AI, κατασκευάσατε συστήματα που βασίζονται στο AI στην Trigo και τώρα εποπτεύετε την στρατηγική του AI στη Check Point. Ποια συγκεκριμένα μοντέλα αποτυχίας έχουν παρατηρήσει όταν τα συστήματα AI μεταβαίνουν από ελεγχόμενα περιβάλλοντα σε παραγωγή, ιδιαίτερα όταν έχουν πρόσβαση σε εργαλεία και δεδομένα επιχείρησης;

Δύο πράγματα αλλάζουν θεμελιωδώς στην παραγωγή. Πρώτον, η κλίμακα μετατρέπει τις περιπτώσεις άκρων σε καθημερινά γεγονότα. Ένα ποσοστό ψευδών θετικών 0,1% ακούγεται εξαιρετικό στο εργαστήριο, αλλά όταν επεξεργάζεστε εκατομμύρια συναλλαγών, αυτό μεταφράζεται σε χιλιάδες περιπτώσεις που απαιτούν προσοχή. Οι στατιστικές εκτός των ορίων στη δοκιμή γίνονται επιχειρησιακές πραγματικότητες σε κλίμακα.

Δεύτερον, η παραγωγή σημαίνει αντιπαλική έκθεση. Σε ένα ελεγχόμενο περιβάλλον, οι εισαγωγές είναι αθώες και προβλέψιμες. Στο πραγματικό κόσμο, κάποιοι χρήστες και θύματα θα προσπαθήσουν ενεργά να εξαπατήσουν το σύστημα, αξιοποιώντας κάθε μη αξιόπιστο κανάλι δεδομένων για να χειριστούν τη συμπεριφορά. Η μετάβαση από το demo στη παραγωγή δεν είναι ένα πρόβλημα κλίμακας. Είναι μια μετάβαση από ένα συνεργατικό περιβάλλον σε ένα αμφισβητούμενο, και αυτό απαιτεί θεμελιωδώς διαφορετικές υποθέσεις σχεδιασμού.

Σε συστήματα με ατζέντα, όπου τα μοντέλα μπορούν να καλούν API, να εκτελούν κώδικα και να αλυσίδων ενεργειών, ποια είναι οι πιο κρίσιμες επιφάνειες επιθέσεων που οι ομάδες ασφαλείας δεν εποπτεύουν σωστά;

Η κρίσιμη επιφάνεια που υποτιμούν οι περισσότερες ομάδες είναι τα ίδια τα δεδομένα. Τα συστήματα με ατζέντα έχουν πρόσβαση σε μη αξιόπιστες πηγές δεδομένων — εισερχόμενα emails, ιστοσελίδες, Jira tickets, ανοικτό κώδικα, εξωτερική τεκμηρίωση. Τα δεδομένα αυτά εισάγονται και αναλύονται από τα μοντέλα ως μέρος της διαδικασίας συλλογισμού τους.

Αυτό δημιουργεί δύο συγκεκριμένα рисκ. Πρώτον, η δηλητηρίαση της μνήμης — όπου το κατασκευασμένο περιεχόμενο σαφώς διαμορφώνει τις μελλοντικές απαντήσεις και αποφάσεις του μοντέλου χωρίς οποιαδήποτε εμφανή ένεση προώθησης. Δεύτερον, η έμμεση ένεση προώθησης — όπου οι αντιπαλικές οδηγίες ενσωματώνονται στα εξωτερικά δεδομένα και αποτελεσματικά απελευθερώνουν το μοντέλο από το εσωτερικό. Ο επιτιθέμενος δεν αγγίζει直接 την προώθηση. Απλά φυτεύει οδηγίες όπου ο πράκτορας θα τις βρει.

Η ένεση προώθησης συχνά παρουσιάζεται ως ένα πρόβλημα μοντέλου, αλλά στην πράξη γίνεται ένα σύστημα-επίπεδο ζήτημα. Πώς πρέπει οι επιχειρήσεις να επανασχεδιάσουν την αρχιτεκτονική τους για να απομονώσουν τις εισαγωγές μοντέλου, την εκτέλεση εργαλείων και την πρόσβαση σε ευαίσθητα δεδομένα;

Η ένεση προώθησης δεν είναι ένα καθολικό πρόβλημα με μια καθολική λύση. Εάν μια δεδομένη εισαγωγή είναι νόμιμη ή αντιπαλική εξαρτάται απολύτως από το контекστ. Ζητώντας από ένα πράκτορα να “αλλάξει τον κωδικό πρόσβασης του διαχειριστή” είναι απόλυτα νόμιμο εάν είναι ένας τεχνικός πράκτορας βοήθειας. Η ίδια αίτηση σε ένα chatbot ενός online λιανοπωλητή είναι μια επίθεση.

Γι’ αυτό το λόγο, η αρχιτεκτονική έχει περισσότερη σημασία από οποιαδήποτε単ική τεχνική ανίχνευσης. Τα συστήματα χρειάζονται και θεμελιώδεις και μη-θεμελιώδεις μηχανισμούς που εργάζονται μαζί. Οι θεμελιώδεις έλεγχοι διαχειρίζονται την πρόσβαση σε εργαλεία και δεδομένα με βάση την ταυτότητα του πράκτορα, την ταυτότητα του χρήστη και τον ορισμένο ρόλο του συστήματος. Οι μη-θεμελιώδεις, μοντέλο-βασισμένοι έλεγχοι προσθέτουν την ικανότητα να κατανοήσουν τη γλώσσα, το контекστ και την πρόθεση. Χρειάζεστε και τις δύο στρώσεις — ρητούς κανόνες εφαρμογής και έξυπνη контεκστική συλλογιστική — γιατί καμία από τις δύο δεν είναι ικανή.

Πολλοί πράκτορες AI βασίζονται στην αναζήτηση-ενισχυμένη γενεσιουργό και εξωτερικές πηγές δεδομένων. Ποια είναι τα ρίσκ around τη δηλητηρίαση δεδομένων και τη χειραγώγηση του контεκστ σε αυτές τις πipelines, και πώς μπορούν να μειωθούν σε χρόνο εκτέλεσης;

Τα ρίσκ διαφέρουν ανάλογα με την κατεύθυνση του ροής δεδομένων. Για εσωτερικές πηγές δεδομένων, το основικό ρίσκ είναι η διαρροή ευαίσθητων δεδομένων — PII έκθεση, δια-πελάτη διαμοιρασμός δεδομένων, εσωτερικές πληροφορίες που εμφανίζονται σε μη-εξουσιοδοτημένα μέρη. Για εξωτερικές πηγές δεδομένων, τα ρίσκ περιλαμβάνουν την προκατάληψη του μοντέλου από μη-επιβεβαιωμένες πληροφορίες, έμμεση ένεση προώθησης ενσωματωμένη στο ανακτηθέν περιεχόμενο και την εξάρτηση από μη-αξιόπιστες ή χειραγωγημένες πηγές.

Η μείωση πρέπει να συμβεί στο επίπεδο συναλλαγής, σε πραγματικό χρόνο. Κάθε αλληλεπίδραση πράκτορα πρέπει να ασφαλιστεί και στις δύο κατευθύνσεις: διασφαλίζοντας ότι ευαίσθητα δεδομένα δεν διαρρέουν από το εσωτερικό προς το εξωτερικό και διασφαλίζοντας ότι δηλητηριασμένα ή αντιπαλικά δεδομένα δεν εισάγονται από το εξωτερικό στο σύστημα ή το μοντέλο. Δεν μπορείτε να λύσετε αυτό μόνο στη στιγμή εισαγωγής γιατί ο контεκστ είναι δυναμικός και το τοπίο απειλών αλλάζει συνεχώς.

Το AI Defense Plane σας εισάγει ένα ενοποιημένο επίπεδο ελέγχου σε όλη την χρήση AI από τους υπαλλήλους, τις εφαρμογές και τα συστήματα με ατζέντα. Ποια ήταν τα μεγαλύτερα αρχιτεκτονικά προκλήματα στη κατασκευή ενός συστήματος που μπορεί να παρατηρήσει και να επιβάλει πολιτική σε όλη τη διάσπαρτη AI στοίβα;

Πιστεύουμε ότι στο κοντινό μέλλον, τα φορτία εργασιών με ατζέντα θα εκτελούνται σε τελικούς σημεία, εφαρμογές, υπηρεσίες SaaS και φορτία cloud — όλα υπερ-συνδεμένα σε αυτό που ονομάζουμε το “Δίκτυο των Πράκτορων”. Η ιδέα πίσω από το AI Defense Plane είναι να ανακαλύψουμε, να κυβερνήσουμε και να προστατεύσουμε αυτή την εξελισσόμενη επιχειρηματική υποδομή με ατζέντα εντός ενός seul πλαισίου.

Η βασική αρχιτεκτονική πρόκληση είναι η δυναμική αξιολόγηση του προφίλ κινδύνου και του контεκστ κάθε πράκτορα ενώ αναπτύσσεται αποτελεσματική προστασία σε πραγματικό χρόνο για κάθε συναλλαγή πράκτορα. Αυτό σημαίνει διατήρηση υψηλών ποσοστών αποκλεισμού κατά των γνήσιων απειλών ενώ μειώνεται το ψευδές θετικό — σε χρόνο παραγωγής και κλίμακα, σε πολλαπλά περιβάλλοντα εκτέλεσης. Η κατασκευή ενός συστήματος που μπορεί να παρατηρήσει και να επιβάλει πολιτική συνεχώς σε όλη τη διάσπαρτη και γρήγορα εξελισσόμενη AI στοίβα απαιτούσε να ξανασκέφτουμε πώς να απο抽象 και να αξιολογήσουμε τη δραστηριότητα AI σε θεμελιώδες επίπεδο.

Η πλατφόρμα τονίζει την λήψη αποφάσεων σε πραγματικό χρόνο σε ταχύτητα μηχανής σε γλώσσες και ροές εργασίας. Πώς ισορροπείτε τις περιορισμούς καθυστέρησης με την ανάγκη για βαθιά επιθεώρηση και έλεγχο των ενεργειών που βασίζονται στο AI σε περιβάλλοντα παραγωγής;

Αναπτύσσουμε και εκπαιδεύουμε μοντέλα θεμελιώδους βάσης ειδικά για την πρόληψη απειλών, και στη συνέχεια χρησιμοποιούμε τεχνικές απόσταξης για να τα κάνουμε εξαιρετικά αποτελεσματικά. Αυτό μας επιτρέπει να τρέχουμε inference γρήγορα και με ελάχιστη υπολογιστική ισχύ — ακόμη και σε CPUs ή εμπορικούς GPU — ενώ διατηρούμε κάλυψη πολλαπλών γλωσσών και πολλαπλών modality, συμπεριλαμβανομένης της ανάλυσης εικόνας και ήχου, με μέγιστη ακρίβεια.

Αυτή η προσέγγιση μας επιτρέπει να επιθεωρούμε τις συναλλαγές πράκτορα βαθιά χωρίς να γινόμαστε ένα μποττάκια. Η ασφάλεια που εισάγει απαραδέκτη καθυστέρηση θα παρακαμφθεί. Η ασφάλεια που είναι αόρατη στη ροή εργασίας αλλά επιβάλλει σημαντικούς ελέγχους είναι αυτή που πραγματικά αναπτύσσεται και παραμένει αναπτυγμένη.

Οι πράκτορες AI λειτουργούν όλο και περισσότερο με εξουσιοδοτημένες άδειες σε πολλαπλά συστήματα. Πώς πρέπει οι οργανισμοί να ξανασκέφτουν την διαχείριση ταυτότητας και πρόσβασης για μη-ανθρώπινους ηθοποιούς, ιδιαίτερα όταν οι πράκτορες επεκτείνουν δυναμικά το εύρος τους μέσω της χρήσης εργαλείων;

Το λάθος που κάνουν οι περισσότερες οργανώσεις είναι να αντιμετωπίζουν τους πράκτορες AI είτε ως επεκτάσεις ανθρώπινων χρηστών είτε ως παραδοσιακές υπηρεσίες λογαριασμών. Κανένα από τα δύο μοντέλα ταιριάζει. Σκεφτείτε τους ως ψηφιακούς υπαλλήλους — οντότητες με ορισμένους ρόλους, ευθύνες και όρια.

Η ταυτότητα του πράκτορα πρέπει να οριστεί από τρεις διαστάσεις: την συγκεκριμένη ροή εργασίας που εκτελεί ο πράκτορας, τον χρήστη που κατέχει ή δημιούργησε τον πράκτορα και τον χρήστη που αλληλεπιδρά με αυτόν. Όλοι αυτοί οι παράγοντες διαμορφώνουν τι πρέπει να επιτρέπεται στον πράκτορα. Πέρα από αυτό, οι οργανισμοί πρέπει να εφαρμόσουν αρχές zero-trust στους πράκτορες — να μην υποθέτουν εμπιστοσύνη με βάση την προέλευση, να επιβεβαιώνουν συνεχώς τη συμπεριφορά και να επιβάλλουν την πρόσβαση με την ελάχιστη δυνατή εξουσία σε κάθε βήμα. Χωρίς αυτό, οι πράκτορες θα συσσωρευτούν σιωπηλά περισσότερη εξουσία από ό,τι προόριζαν.

Οι περισσότερες επιχειρήσεις έχουν τώρα σκιώδη χρήση AI σε copilots, plugins και εσωτερικούς scripts. Ποια τηλεμετρία πρέπει οι ομάδες ασφαλείας να συλλέγουν για να αποκτήσουν πραγματική ορατότητα σε πώς η AI αλληλεπιδρά με ευαίσθητα δεδομένα;

Η ορατότητα πρέπει να λειτουργεί στο επίπεδο συναλλαγής πράκτορα — όχι μόνο προώθηση και απάντηση, αλλά και κλήσεις εργαλείων, τα δεδομένα που επιστρέφονται από αυτά τα εργαλεία και οι ενέργειες που λαμβάνονται ως αποτέλεσμα. Οι ομάδες ασφαλείας πρέπει να δουν την πλήρη αλυσίδα: τι ζητήθηκε, ποια δεδομένα προσεγγίστηκαν, ποια εργαλεία κλήθηκαν, ποιοί παράμετροι μεταδόθηκαν και τι συνέβη στη συνέχεια.

Χωρίς αυτή τη τηλεμετρία στο επίπεδο συναλλαγής, δεν μπορείτε να απαντήσετε σε βασικά ερωτήματα σχετικά με την έκθεση, την κακοποίηση ή την επίδραση. Η σκιώδης AI δεν είναι επικίνδυνη γιατί υπάρχει. Είναι επικίνδυνη γιατί λειτουργεί χωρίς αυτό το επίπεδο εποπτείας ή εποπτείας.

Η red teaming των συστημάτων με ατζέντα είναι θεμελιωδώς διαφορετική από το τεστ στατικών εφαρμογών. Πώς προσομοιώσετε αντιπαλική συμπεριφορά σε πολλαπλά βήματα ροής εργασίας, και ποιοι τύποι εκμεταλλεύσεων είναι πιο συχνά ανακαλυπτόμενοι;

Λειτουργούμε το Gandalf (https://gandalf.lakera.ai), το οποίο είναι η μεγαλύτερη εξάσκηση red teaming AI στον κόσμο. Είναι μια crowd-sourced πλατφόρμα όπου πραγματικοί χρήστες προσπαθούν να πείσουν τους πράκτορες AI να σπάσουν τις φρουρές τους. Αυτό μας δίνει ένα μοναδικό και συνεχώς αυξανόμενο σύνολο δεδομένων πραγματικών αντιπαλικών τεχνικών — όχι θεωρητικές επιθέσεις, αλλά οι στρατηγικές που χρησιμοποιούν οι πραγματικοί άνθρωποι για να χειραγωγήσουν τα συστήματα AI.

Αξιοποιούμε αυτό το σύνολο δεδομένων για να οδηγήσουμε τις ικανότητες red teaming μας. Οι επιθέσεις που βλέπουμε πιο συχνά περιλαμβάνουν χρήστες που προσεγγίζουν постепικά τους πράκτορες να παραβιάσουν τους περιορισμούς τους — μέσω έμμεσης ένεσης προώθησης, δημιουργικής αναπλασιάς, χειραγώγησης του контεκστ και εκμετάλλευσης της εμπιστοσύνης σε πολλαπλά βήματα αλληλεπίδρασης. Αυτά τα ζητήματα είναι αόρατα εάν δοκιμάσετε μόνο μεμονωμένες προώθησεις. Πρέπει να δοκιμάσετε ακολουθίες και μακροχρόνιες αντιπαλικές εκστρατείες.

Όπως οι επιτιθέμενοι αρχίζουν να χρησιμοποιούν αυτόνομους πράκτορες για να διερευνήσουν συστήματα συνεχώς, περιμένετε να μετατοπιστεί η άμυνα προς πραγματικό χρόνο, προσαρμοστικούς ελέγχους που οδηγούνται από το AI, και τι αρχιτεκτονική έχει αυτή η αρχιτεκτονική στην πράξη;

Ναι. Στατικές άμυνες δεν μπορούν να跟πουν το ρυθμό των αυτόνομων επιτιθέμενων που λειτουργούν συνεχώς. Η άμυνα πρέπει να γίνει προσαρμοστική, runtime-οδηγούμενη και αυτοματοποιημένη. Αυτό σημαίνει παρακολούθηση σε πραγματικό χρόνο της συμπεριφοράς AI, συνεχής αξιολόγηση κινδύνου και άμεση επιβολή όταν παραβιάζονται οι πολιτικές. Η ταχύτητα και η κλίμακα των επιθέσεων που οδηγούνται από το AI θα αντιμετωπιστούν μόνο από εξίσου γρήγορες, machine-ταχύτητας άμυνες.

Στην πράξη, η ασφάλεια γίνεται ένα βρόχο ανάδρασης 而 όχι ένα σύνολο κανόνων. Τα συστήματα AI παρατηρούνται, αξιολογούνται και περιορίζονται δυναμικά, στην ίδια ταχύτητα και κλίμακα με την οποία λειτουργούν. Αυτή η μετάβαση είναι απαραίτητη εάν οι οργανισμοί θέλουν να αναπτύξουν το AI ασφαλώς σε επιχειρηματική κλίμακα.

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν Check Point Software Technologies.