Jonathan Zanger, Chief Technology Officer at Check Point – Συνέντευξη Σειράς

Jonathan Zanger, Chief Technology Officer at Check Point, φέρνει μια σπάνια συνδυασμό εξαιρετικής στρατιωτικής ευφυΐας, βαθιάς εμπειρογνωμοσύνης στο AI και ηγετικής εμπειρίας σε startups και παγκόσμιες επιχειρήσεις. Πριν από το τρέχον του ρόλο, υπηρέτησε ως CTO στο Trigo, όπου ηγήθηκε της ανάπτυξης της επόμενης γενιάς AI και συστημάτων υπολογιστικής όρασης που ermögňují απαλλαγή από τα λάθη και την απώλεια σε κλίμακα, ενώ συγχρόνως ευθυγραμμίζονταν το προϊόν και η έρευνα και ανάπτυξη με την εμπορική ανάπτυξη. Παλαιότερα, κατέχει υψηλές θέσεις ηγεσίας στην έρευνα και ανάπτυξη στο Trigo και πέρασε πάνω από μια δεκαετία στην ισραηλινή ελίτ Μονάδα 8200, στην οποία τελικά ηγήθηκε μιας κυβερνο-ερευνητικής και αναπτυξιακής μονάδας που ήταν υπεύθυνη για εθνικής κλίμακας πρωτοβουλίες ευφυΐας και κυβερνοασφάλειας και κέρδισε την υψηλότερη εθνική αναγνώριση για το έργο του.

Check Point Software Technologies είναι ένας παγκόσμιος ηγέτης στην κυβερνοασφάλεια, παρέχοντας λύσεις ασφαλείας που βασίζονται στο AI και παρέχονται μέσω του cloud, σχεδιασμένες για να προστατεύουν επιχειρήσεις και κυβερνήσεις από ολοένα και πιο σύνθετες ψηφιακές απειλές. Η εταιρεία εξυπηρετεί πάνω από 100.000 οργανισμούς σε όλο τον κόσμο με μια ολοκληρωμένη πλατφόρμα που ασφαλίζει δίκτυα, περιβάλλοντα cloud, τελικούς σταθμούς και χρήστες μέσω μιας προληπτικής προσέγγισης που στοχεύει να σταματήσει τις επιθέσεις πριν συμβούν. Η ολοκληρωμένη αρχιτεκτονική της εταιρείας αξιοποιεί την τεχνητή νοημοσύνη και την ενημέρωση απειλών σε πραγματικό χρόνο για να απλοποιήσει τις επιχειρήσεις ασφαλείας, να μειώσει τον κίνδυνο και να επιτρέψει στους οργανισμούς να αναπτυχθούν ασφαλώς καθώς υιοθετούν το AI, την υπολογιστική στο cloud και τους κατανεμημένους συστήματα.

Έχετε ηγηθεί μεγάλης κλίμακας πρωτοβουλιών κυβερνοασφάλειας και AI, κατασκευάσατε συστήματα που βασίζονται στο AI στο Trigo και τώρα εποπτεύετε την στρατηγική του AI στο Check Point. Ποια συγκεκριμένα σημεία αποτυχίας έχουν παρατηρηθεί όταν τα συστήματα AI μεταβαίνουν από ελεγχόμενα περιβάλλοντα σε παραγωγή, ιδιαίτερα όταν έχουν πρόσβαση σε εργαλεία και δεδομένα επιχείρησης;

Δύο πράγματα αλλάζουν θεμελιωδώς στην παραγωγή. Πρώτον, η κλίμακα μετατρέπει τις περιπτώσεις άκρων σε καθημερινές εκδηλώσεις. Ένα ποσοστό ψευδών θετικών 0,1% ακούγεται εξαιρετικό στο εργαστήριο, αλλά όταν επεξεργάζεστε εκατομμύρια συναλλαγών, αυτό μεταφράζεται σε χιλιάδες περιπτώσεις που απαιτούν προσοχή. Οι στατιστικοί εκτός σε δοκιμές γίνονται λειτουργικές πραγματικότητες σε κλίμακα.

Δεύτερον, η παραγωγή σημαίνει αντιπαλική έκθεση. Σε ένα ελεγχόμενο περιβάλλον, οι εισροές είναι αθώες και προβλέψιμες. Στο πραγματικό κόσμο, ορισμένοι χρήστες και θύματα θα προσπαθήσουν ενεργά να εξαπατήσουν το σύστημα, αξιοποιώντας κάθε μη αξιόπιστο κανάλι δεδομένων για να χειραγωγήσουν τη συμπεριφορά. Η μετάβαση από το demo στην παραγωγή δεν είναι ένα πρόβλημα κλίμακας. Είναι μια μετάβαση από ένα συνεργατικό περιβάλλον σε ένα αμφισβητούμενο, και αυτό απαιτεί θεμελιωδώς διαφορετικές υποθέσεις σχεδιασμού.

Σε συστήματα με πράξεις, όπου τα μοντέλα μπορούν να καλούν API, να εκτελούν κώδικα και να αλυσίδων ενέργειες, ποια είναι οι πιο κρίσιμες επιφάνειες επιθέσεων που οι ομάδες ασφαλείας δεν εποπτεύουν σωστά;

Η κρίσιμη επιφάνεια που περισσότερες ομάδες υποτιμούν είναι τα ίδια τα δεδομένα. Τα συστήματα με πράξεις έχουν πρόσβαση σε μη αξιόπιστες πηγές δεδομένων — εισερχόμενες ηλεκτρονικές επιστολές, ιστοσελίδες, εισιτήρια Jira, ανοικτό κώδικα, εξωτερική τεκμηρίωση. Αυτά τα δεδομένα εισάγονται και αναλύονται από τα μοντέλα ως μέρος της διαδικασίας συλλογισμού τους.

Αυτό δημιουργεί δύο συγκεκριμένα рисks. Πρώτον, τοξικότητα μνήμης — όπου το χειραγωγημένο περιεχόμενο σαφώς διαμορφώνει τις μελλοντικές απαντήσεις και αποφάσεις του μοντέλου χωρίς οποιαδήποτε σαφή ένεση προώθησης. Δεύτερον, έμμεση ένεση προώθησης — όπου οι αντιπαλικές οδηγίες ενσωματώνονται σε αυτά τα εξωτερικά δεδομένα και αποτελούν αποτελεσματικά τη φυλακή του μοντέλου από μέσα. Ο επιτιθέμενος δεν αγγίζει απευθείας την προώθηση. Απλά φυτεύει οδηγίες όπου το πράγμα θα τις βρει.

Η ένεση προώθησης συχνά παρουσιάζεται ως ένα πρόβλημα μοντέλου, αλλά στην πράξη γίνεται ένα σύστημα-επίπεδο ζήτημα. Πώς πρέπει οι επιχειρήσεις να ανασχεδιάσουν την αρχιτεκτονική τους για να απομονώσουν τις εισροές μοντέλου, την εκτέλεση εργαλείων και την πρόσβαση σε ευαίσθητα δεδομένα;

Η ένεση προώθησης δεν είναι ένα καθολικό πρόβλημα με μια καθολική λύση. Εάν μια δεδομένη εισροή είναι νόμιμη ή αντιπαλική εξαρτάται απόλυτα από το контекστ. Ζητώντας από ένα πράγμα να “αλλάξει τον κωδικό πρόσβασης του διαχειριστή” είναι απόλυτα νόμιμο εάν είναι ένα τεχνικό πράγμα. Η ίδια αίτηση σε ένα online εμπόριο-чатμποτ είναι μια επίθεση.

Αυτό είναι το λόγο για τον οποίο η αρχιτεκτονική έχει περισσότερη σημασία από οποιαδήποτε單η τεχνική ανίχνευσης. Τα συστήματα χρειάζονται τόσο детерμινιστικές όσο και μη-детерμινιστικές μηχανισμοί που λειτουργούν μαζί. Οι детерμινιστικές ελέγχοι διαχειρίζονται την πρόσβαση σε εργαλεία και δεδομένα με βάση την ταυτότητα του πράγματος, την ταυτότητα του χρήστη και τον καθορισμένο ρόλο του συστήματος. Οι μη-детερμινιστικές, μοντέλο-με आधαρη ελέγχους προσθέτουν την ικανότητα να κατανοήσουν τη γλώσσα, το контекστ και την πρόθεση. Χρειάζεστε και τους δύο μηχανισμούς — ρητούς πολιτικούς ελέγχους και έξυπνη контекουαλική λογική — γιατί κανείς από αυτούς δεν είναι αρκετός.

Πολλά πράγματα AI βασίζονται σε αναζήτηση-βελτιωμένη γενεσιουργία και εξωτερικές πηγές δεδομένων. Ποια είναι τα ρίσκα γύρω από τη δηλητηρίαση δεδομένων και τη χειραγωγή του контέκστου σε αυτές τις διαδικασίες, και πώς μπορούν να μετριαστούν σε χρόνο εκτέλεσης;

Τα ρίσκα διαφέρουν ανάλογα με την κατεύθυνση του ροής δεδομένων. Για εσωτερικές πηγές δεδομένων, το основικό ρίσκο είναι η διαρροή ευαίσθητων δεδομένων — έκθεση προσωπικών πληροφοριών, διασυνοριακή διαμοίραση δεδομένων, εσωτερικές πληροφορίες που εμφανίζονται σε μη εξουσιοδοτημένα μέρη. Για εξωτερικές πηγές δεδομένων, τα ρίσκα περιλαμβάνουν προκατάληψη μοντέλου από μη επικυρωμένες πληροφορίες, έμμεση ένεση προώθησης ενσωματωμένη στο ανακτηθέν περιεχόμενο και εξάρτηση από μη αξιόπιστες ή χειραγωγημένες πηγές.

Η μείωση πρέπει να συμβεί στο επίπεδο συναλλαγής, σε πραγματικό χρόνο. Κάθε αλληλεπίδραση πράγματος πρέπει να ασφαλιστεί και στις δύο κατευθύνσεις: διασφαλίζοντας ότι τα ευαίσθητα δεδομένα δεν διαρρέουν από μέσα προς έξω και διασφαλίζοντας ότι δηλητηριασμένα ή αντιπαλικά δεδομένα δεν τροφοδοτούνται από έξω στο σύστημα ή το μοντέλο. Δεν μπορείτε να λύσετε αυτό μόνο στη διάρκεια εισαγωγής γιατί ο контекστ είναι δυναμικός και το τοπίο απειλών αλλάζει συνεχώς.

Η αμυντική σας πλάτη AI εισάγει ένα ενοποιημένο επίπεδο ελέγχου σε όλα τα επίπεδα AI, εφαρμογών και συστημάτων. Ποια ήταν τα μεγαλύτερα αρχιτεκτονικά προκλήματα στη δημιουργία ενός συστήματος που μπορεί να παρατηρήσει και να επιβάλει πολιτική σε τέτοια eine ετερόκλητη AI στοίβα;

Πιστεύουμε ότι στο近 آینده, τα φορτία εργασιών θα εκτελούνται σε τελικούς σταθμούς, εφαρμογές, υπηρεσίες SaaS και φορτία cloud — όλα υπερσυνδεμένα σε αυτό που ονομάζουμε “Διαδίκτυο των Πραγμάτων”. Η ιδέα πίσω από την αμυντική πλάτη AI είναι να ανακαλύψουμε, να κυβερνήσουμε και να προστατεύσουμε αυτήν την εξελισσόμενη επιχειρηματική υποδομή πράγματος μέσα σε ένα μόνο παράθυρο.

Η βασική αρχιτεκτονική πρόκληση είναι η δυναμική αξιολόγηση του προφίλ κινδύνου και του контέκστου κάθε πράγματος ενώ αναπτύσσεται μια αποτελεσματική προστασία σε πραγματικό χρόνο για κάθε αλληλεπίδραση πράγματος. Αυτό σημαίνει τη διατήρηση υψηλών ποσοστών αποκλεισμού κατά των πραγματικών απειλών ενώ μειώνεται το ποσοστό ψευδών θετικών — σε χρόνο παραγωγής και κλίμακας, σε πολλαπλά περιβάλλοντα εκτέλεσης. Η κατασκευή ενός συστήματος που μπορεί να παρατηρήσει και να επιβάλει πολιτική συνεχώς σε τέτοια eine ετερόκλητη και γρήγορα εξελισσόμενη AI στοίβα μας ανάγκασε να ξανασκεφτούμε πώς να αφηρηματοποιήσουμε και να αξιολογήσουμε την δραστηριότητα AI σε ένα θεμελιώδες επίπεδο.

Η πλατφόρμα σας τονίζει την λήψη αποφάσεων σε πραγματικό χρόνο σε ταχύτητα μηχανής σε διάφορες γλώσσες και ροές εργασίας. Πώς ισορροπείτε τις περιορισμούς καθυστέρησης με την ανάγκη για βαθιά επιθεώρηση και έλεγχο των ενεργειών AI-κίνησης σε περιβάλλοντα παραγωγής;

Αναπτύσσουμε και εκπαιδεύουμε μοντέλα θεμελιώδους για την πρόληψη απειλών, και στη συνέχεια χρησιμοποιούμε τεχνικές απόσταξης για να τα κάνουμε εξαιρετικά αποτελεσματικά. Αυτό μας επιτρέπει να τρέχουμε inference γρήγορα και με ελάχιστη υπολογιστική ισχύ — ακόμη και σε CPUs ή commodity GPUs — ενώ διατηρούμε κάλυψη πολλαπλών γλωσσών και πολλαπλών модών, συμπεριλαμβανομένης της ανάλυσης εικόνων και ήχου, με μέγιστη ακρίβεια.

Αυτή η προσέγγιση μας επιτρέπει να επιθεωρούμε τις αλληλεπιδράσεις πράγματος βαθιά χωρίς να γινόμαστε ένα瓶頸. Η ασφάλεια που εισάγει απαράδεκτη καθυστέρηση θα παρακαμφθεί. Η ασφάλεια που είναι αόρατη στη ροή εργασίας αλλά επιβάλλει σημαντικούς ελέγχους είναι αυτή που πραγματικά εγκαθίσταται και παραμένει εγκατεστημένη.

Τα πράγματα AI λειτουργούν όλο και περισσότερο με εξουσιοδοτημένες άδειες σε πολλαπλά συστήματα. Πώς πρέπει οι οργανισμοί να ξανασχεδιάσουν την διαχείριση ταυτότητας και πρόσβασης για μη-ανθρώπινους ηθοποιούς, ιδιαίτερα όταν τα πράγματα επεκτείνουν δυναμικά το πεδίο τους μέσω της χρήσης εργαλείων;

Το λάθος που κάνουν περισσότερες οργανώσεις είναι να αντιμετωπίζουν τα πράγματα AI είτε ως επεκτάσεις ανθρώπινων χρηστών είτε ως παραδοσιακές υπηρεσιακές λογαριασμοί. Κανένας από τους δύο τύπους δεν ταιριάζει. Σκεφτείτε τα ως ψηφιακούς υπαλλήλους — οντότητες με καθορισμένους ρόλους, ευθύνες και όρια.

Η ταυτότητα του πράγματος πρέπει να οριστεί από τρεις διαστάσεις: την συγκεκριμένη ροή εργασίας που εκτελεί το πράγμα, τον χρήστη που κατέχει ή δημιούργησε το πράγμα και τον χρήστη που αλληλεπιδρά με αυτό. Όλοι αυτοί οι παράγοντες διαμορφώνουν τι πρέπει να επιτρέπεται να κάνει το πράγμα. Πέρα από αυτό, οι οργανισμοί πρέπει να εφαρμόσουν αρχές zero-trust στα πράγματα — ποτέ μην υποθέτετε εμπιστοσύνη με βάση την προέλευση, συνεχώς επιβεβαιώστε τη συμπεριφορά και επιβάλλετε την πρόσβαση με την ελάχιστη άδεια σε κάθε βήμα. Χωρίς αυτό, τα πράγματα θα συσσωρεύουν σιωπηλά περισσότερη εξουσία από ό,τι κανείς είχε προορίσει.

Πολλές επιχειρήσεις έχουν τώρα σκιώδη χρήση AI σε συν-οδηγούς, πρόσθετα και εσωτερικούς κώδικες. Ποια τηλεμετρία πρέπει οι ομάδες ασφαλείας να συλλέγουν για να αποκτήσουν πραγματική ορατότητα σχετικά με το πώς η AI αλληλεπιδρά με ευαίσθητα δεδομένα;

Η ορατότητα πρέπει να λειτουργεί στο επίπεδο συναλλαγής πράγματος — όχι μόνο προώθηση και απάντηση, αλλά και κλήσεις εργαλείων, τα δεδομένα που επιστρέφονται από αυτά τα εργαλεία και οι ενέργειες που λαμβάνονται ως αποτέλεσμα. Οι ομάδες ασφαλείας πρέπει να δουν την πλήρη αλυσίδα: τι ζητήθηκε, ποια δεδομένα προσεγγίστηκαν, ποια εργαλεία κλήθηκαν, ποια παραμέτρα μεταφέρθηκαν και τι συνέβη μετά.

Χωρίς αυτή τη τηλεμετρία στο επίπεδο συναλλαγής, δεν μπορείτε να απαντήσετε σε βασικά ερωτήματα σχετικά με την έκθεση, την κακοποίηση ή την επίδραση. Η σκιώδης AI δεν είναι επικίνδυνη επειδή υπάρχει. Είναι επικίνδυνη επειδή λειτουργεί χωρίς αυτό το επίπεδο διακυβέρνησης ή εποπτείας.

Η κόκκινη ομάδα των συστημάτων πράγματος είναι θεμελιωδώς διαφορετική από το тест των στατικών εφαρμογών. Πώς προσομοιώσετε αντιπαλική συμπεριφορά σε πολλαπλά βήματα ροής εργασίας, και ποια είδη εκμεταλλεύσεων ανακαλύπτονται πιο συχνά;

Λειτουργούμε το Gandalf (https://gandalf.lakera.ai), το οποίο είναι η μεγαλύτερη εξάσκηση κόκκινης ομάδας AI στον κόσμο. Είναι μια πλατφόρμα crowd-sourced όπου πραγματικοί χρήστες προσπαθούν να πείσουν τα πράγματα AI να σπάσουν τους φραγμούς τους. Αυτό μας δίνει ένα μοναδικό και συνεχώς αυξανόμενο σύνολο δεδομένων πραγματικών αντιπαλικών τεχνικών — όχι θεωρητικές επιθέσεις, αλλά οι στρατηγικές που χρησιμοποιούν οι πραγματικοί άνθρωποι για να χειραγωγήσουν τα συστήματα AI.

Αξιοποιούμε αυτό το σύνολο δεδομένων για να οδηγήσουμε τις ικανότητες κόκκινης ομάδας μας. Οι επιθέσεις που βλέπουμε πιο συχνά περιλαμβάνουν χρήστες που σταδιακά πείθουν τα πράγματα να παραβιάσουν τους φραγμούς τους — μέσω έμμεσης ένεσης προώθησης, δημιουργικής αναδιατύπωσης, χειραγωγής контέκστου και εκμετάλλευσης εμπιστοσύνης σε πολλαπλά βήματα αλληλεπιδράσεων. Αυτά τα ζητήματα είναι αόρατα εάν δοκιμάσετε μόνο μεμονωμένες προώθησεις. Πρέπει να δοκιμάσετε ακολουθίες και συνεχείς αντιπαλικές εκστρατείες.

Όταν οι επιτιθέμενοι αρχίζουν να χρησιμοποιούν αυτόνομους πράγματα για να διερευνήσουν συστήματα συνεχώς, περιμένετε να μετατοπιστεί η άμυνα προς πραγματικό χρόνο, προσαρμοστικούς ελέγχους που οδηγούνται από το AI, και τι αρχιτεκτονική έχει αυτό στην πράξη;

Ναι. Στατικές άμυνες δεν μπορούν να跟πουν το ρυθμό των αυτόνομων επιτιθέμενων που λειτουργούν συνεχώς. Η άμυνα πρέπει να γίνει προσαρμοστική, οδηγούμενη από χρόνο εκτέλεσης και αυτοματοποιημένη. Αυτό σημαίνει πραγματικό χρόνο παρακολούθησης της συμπεριφοράς AI, συνεχής αξιολόγηση κινδύνου και άμεση επιβολή όταν παραβιάζονται πολιτικές. Η ταχύτητα και η κλίμακα των επιθέσεων AI θα αντιμετωπιστούν μόνο από εξίσου γρήγορες, μηχανής-ταχύτητας άμυνες.

Στην πράξη, η ασφάλεια γίνεται ένας κύκλος ανατροφοδότησης 而不是 ένα σύνολο κανόνων. Τα συστήματα AI παρατηρούνται, αξιολογούνται και περιορίζονται δυναμικά, με την ίδια ταχύτητα και κλίμακα με την οποία λειτουργούν. Αυτή η μετάβαση είναι απαραίτητη εάν οι οργανισμοί θέλουν να αναπτύξουν το AI με ασφάλεια σε επιχειρηματική κλίμακα.

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν την Check Point Software Technologies.