Audian Paxson, κύριος τεχνικός στρατηγικός σύμβουλος στην IRONSCALES – Σειρά συνεντεύξεων

Ο Audian Paxson, κύριος τεχνικός στρατηγικός σύμβουλος στην IRONSCALES, είναι έμπειρο στέλεχος στον τομέα της κυβερνοασφάλειας και της στρατηγικής προϊόντων, με περισσότερα από είκοσι χρόνια εμπειρίας στην ασφάλεια ηλεκτρονικού ταχυδρομείου, τον εντοπισμό απειλών, τη δικτύωση και τις εταιρικές τεχνολογίες. Στην IRONSCALES, εστιάζει στην κυκλοφορία προϊόντων, στην επικοινωνία και την τοποθέτησή τους στην αγορά, στη στρατηγική προώθησης στην αγορά και στην ανάδειξη ιδεών σχετικά με τη χρήση της τεχνητής νοημοσύνης και της μηχανικής μάθησης για την αντιμετώπιση αναδυόμενων απειλών κατά της ασφάλειας του ηλεκτρονικού ταχυδρομείου. Στην επαγγελματική του πορεία περιλαμβάνονται ανώτερες θέσεις στη διαχείριση προϊόντων, στο μάρκετινγκ προϊόντων και στην ανάπτυξη επιχειρηματικών δραστηριοτήτων στις Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems και Intel. Ο Paxson έχει διαδραματίσει καθοριστικό ρόλο στην κυκλοφορία προϊόντων κυβερνοασφάλειας και δικτύωσης, στην ανάπτυξη στρατηγικών προώθησης στην αγορά για επιχειρήσεις και στην επέκταση εταιρειών σε νέες αγορές, ενώ είναι επίσης συνδημιουργός κατοχυρωμένης με δίπλωμα ευρεσιτεχνίας τεχνολογίας ασφάλειας.

Η IRONSCALES είναι εταιρεία ασφάλειας ηλεκτρονικού ταχυδρομείου με τεχνολογία τεχνητής νοημοσύνης, η οποία εστιάζει στην προστασία οργανισμών από το ηλεκτρονικό ψάρεμα, την παραβίαση εταιρικών λογαριασμών email, την κατάληψη λογαριασμών, τα παραποιημένα βίντεο και ήχο και άλλες εξελισσόμενες απειλές κοινωνικής μηχανικής. Η πλατφόρμα της συνδυάζει την προσαρμοστική τεχνητή νοημοσύνη με την ανθρώπινη νοημοσύνη και τη συλλογική γνώση της κοινότητας, ώστε να εντοπίζει, να διερευνά και να αντιμετωπίζει απειλές στο Microsoft 365 και το Google Workspace. Παράλληλα, προσφέρει δυνατότητες προσομοίωσης επιθέσεων ηλεκτρονικού ψαρέματος, εκπαίδευσης για την ευαισθητοποίηση σε θέματα ασφάλειας, προστασίας εξερχόμενων μηνυμάτων και ασφάλειας τομέων. Η εταιρεία έχει διευρύνει την προσέγγισή της με εξειδικευμένους πράκτορες τεχνητής νοημοσύνης για δοκιμές ασφαλείας τύπου red team, επιχειρησιακές λειτουργίες ασφάλειας κατά του ηλεκτρονικού ψαρέματος και προσομοίωση επιθέσεων ηλεκτρονικού ψαρέματος. Οι πράκτορες αυτοί έχουν σχεδιαστεί για να προβλέπουν επιθέσεις, να διερευνούν ύποπτες δραστηριότητες και να ενισχύουν την άμυνα των εργαζομένων. Η IRONSCALES αναφέρει ότι την τεχνολογία της χρησιμοποιούν περισσότεροι από 18.000 οργανισμοί και ότι αυτή αξιοποιεί πληροφορίες που συνεισφέρει μια κοινότητα άνω των 36.000 επαγγελματιών ασφάλειας.

Η επαγγελματική σας πορεία στον τομέα της ασφάλειας του ηλεκτρονικού ταχυδρομείου εκτείνεται σε περισσότερα από είκοσι χρόνια. Σε αυτό το διάστημα συμβάλατε στην ανάπτυξη των πρώτων προϊόντων κατά του ηλεκτρονικού ψαρέματος, ενώ σήμερα εστιάζετε στον τρόπο με τον οποίο η τεχνητή νοημοσύνη και η μηχανική μάθηση μπορούν να αντιμετωπίσουν τις αναδυόμενες απειλές μέσω ηλεκτρονικού ταχυδρομείου. Με βάση αυτή την εμπειρία, τι θεωρείτε πραγματικά καινούργιο στην κοινωνική μηχανική που αξιοποιεί την τεχνητή νοημοσύνη και ποια στοιχεία του προβλήματος παραμένουν, προς έκπληξή μας, οικεία;

Ευχαριστώ που μου θυμίζετε την ηλικία μου! Όταν αρχίσαμε να καταπολεμούμε το ηλεκτρονικό ψάρεμα, στις αρχές της δεκαετίας του 2000, το μεγαλύτερο πρόβλημα ήταν η ευαισθητοποίηση, ενώ τα φίλτρα μπορούσαν να αξιολογούν μόνο τη φήμη του τομέα του αποστολέα. Οι τακτικές, όμως, δεν έχουν αλλάξει και πολύ. Επείγον, κύρος, ένα πλαστό τιμολόγιο. Αναγνωρίζω σχεδόν κάθε πρόσχημα που συναντώ σήμερα. Αυτό που άλλαξε με την τεχνητή νοημοσύνη είναι το εμπόδιο της τεχνικής αρτιότητας: πλέον, ακόμη και ένας άπειρος επιτιθέμενος μπορεί να δημιουργήσει σε μεγάλη κλίμακα μια άψογη, εξατομικευμένη εκδοχή μιας απάτης του 2004.

Η Anthropic διαπίστωσε ότι το Claude Mythos 5 μπορούσε να αναγνωρίσει ενδείξεις που προέρχονταν από τον πραγματικό κόσμο του διαδικτύου, όταν αυτές παρουσιάζονταν μεμονωμένα, αλλά σε μεγάλο βαθμό δεν ενεργούσε βάσει των ίδιων στοιχείων όταν ήταν απορροφημένο σε μια εργασία. Τι μας λέει αυτή η απόσταση για τη διαφορά ανάμεσα στο να διαθέτει ένα μοντέλο τεχνητής νοημοσύνης γνώση και στο να την εφαρμόζει πραγματικά την κατάλληλη στιγμή;

Εργάζομαι στην ασφάλεια του ηλεκτρονικού ταχυδρομείου, δεν είμαι ερευνητής τεχνητής νοημοσύνης, οπότε το διάβασα από αυτή την οπτική. Είχαν πει εξαρχής στο Mythos ότι βρισκόταν σε προσομοίωση, και αυτό το πλαίσιο επικράτησε. Εξήγησε τα πραγματικά στοιχεία ως κάτι άλλο, επειδή δεν ταίριαζαν με την ιστορία στην οποία είχε ήδη ενταχθεί. Αυτό ακριβώς κάνει ένα πρόσχημα, και γι’ αυτό οι επιτιθέμενοι προσπαθούν τόσο σκληρά να καθορίσουν πρώτοι το πλαίσιο.

Υπάρχει εδώ ένας ενδιαφέρων παραλληλισμός με τη συμπεριφορά των ανθρώπων απέναντι στο ηλεκτρονικό ψάρεμα: ένας εργαζόμενος μπορεί εύκολα να εντοπίσει ύποπτες ενδείξεις κατά τη διάρκεια μιας εκπαίδευσης, αλλά να παραβλέψει τις ίδιες ενδείξεις όταν βιάζεται ή έχει επικεντρωθεί στην ολοκλήρωση μιας άλλης εργασίας. Μέχρι ποιο σημείο θεωρείτε εύλογο να φτάσει αυτή η σύγκριση ανάμεσα στην ανθρώπινη κρίση και την κρίση της τεχνητής νοημοσύνης;

Μέχρι ενός σημείου. Και οι δύο χάνουν τον ειρμό όταν είναι απορροφημένοι σε μια εργασία, ενώ ένα μήνυμα που μοιάζει με συνηθισμένη επιχειρησιακή διαδικασία («τα ακόλουθα αιτήματα πρέπει να εξεταστούν») περνάει χωρίς έλεγχο τόσο από ανθρώπους όσο και από μοντέλα. Η σύγκριση παύει να ισχύει όταν μπαίνει στη μέση το συναίσθημα. Οι άνθρωποι βιάζονται, φοβούνται ή θέλουν να ευχαριστήσουν τους άλλους. Ένας πράκτορας αποτυγχάνει εξαιτίας των δικών του ερεθισμάτων, όπως οδηγίες που δεν μπορεί να ξεχωρίσει από τα δεδομένα που διαβάζει.

Η εκπαίδευση σε θέματα ασφάλειας παραδοσιακά εστιάζει στο να μάθουν οι άνθρωποι να αναγνωρίζουν κακόβουλους συνδέσμους, ασυνήθιστα αιτήματα, απόπειρες πλαστοπροσωπίας και άλλες προειδοποιητικές ενδείξεις. Αν τόσο οι άνθρωποι όσο και τα συστήματα τεχνητής νοημοσύνης μπορούν να αγνοήσουν ενδείξεις που γνωρίζουν θεωρητικά, θα έπρεπε οι ομάδες ασφάλειας να δίνουν λιγότερη έμφαση στην αναγνώριση και περισσότερη στον τρόπο με τον οποίο λαμβάνονται οι αποφάσεις υπό πίεση και σε συγκεκριμένα συμφραζόμενα;

Ναι. Η εκπαίδευση στην αναγνώριση απειλών προϋποθέτει ότι οι άνθρωποι προσέχουν. Οι επιτιθέμενοι σχεδιάζουν τα μηνύματά τους έτσι ώστε να φτάνουν στους παραλήπτες όταν εκείνοι δεν προσέχουν ή να τους κάνουν να ξεχνούν όσα έμαθαν στην εκπαίδευσή τους. Καλύτερη επένδυση είναι να παρεμβάλλεται μια παύση στις κρίσιμες στιγμές —όπως στις πληρωμές, στις επαναφορές διαπιστευτηρίων και στις αλλαγές δικαιωμάτων πρόσβασης— ώστε ούτε ένας άνθρωπος ούτε ένας πράκτορας να λαμβάνει τέτοιες αποφάσεις στον αυτόματο.

Καθώς οι πράκτορες τεχνητής νοημοσύνης ενσωματώνονται όλο και περισσότερο στα εισερχόμενα και στις επιχειρησιακές ροές εργασίας, οι επιτιθέμενοι ενδέχεται να μπορούν ολοένα και συχνότερα να χειραγωγούν μέσω κοινωνικής μηχανικής το ίδιο το σύστημα τεχνητής νοημοσύνης και όχι μόνο τον εργαζόμενο. Πώς θα μπορούσε να μοιάζει μια επίθεση σχεδιασμένη ειδικά για να χειραγωγήσει έναν πράκτορα ηλεκτρονικού ταχυδρομείου ή έναν αυτόνομο βοηθό;

Πρόκειται για ένα μήνυμα ηλεκτρονικού ταχυδρομείου γραμμένο για τον πράκτορα, με οδηγίες κρυμμένες από τον άνθρωπο σε λευκό κείμενο πάνω σε λευκό φόντο, στο εναλλακτικό κείμενο μιας εικόνας ή σε άλλη γλώσσα, ώστε να μην τις εντοπίζουν τα φίλτρα που είναι προσαρμοσμένα στα αγγλικά. Σε ένα σενάριο που δημιούργησε η ερευνητική μας ομάδα, ενσωματώνεται μια ψευδής «πληροφορία» στη μνήμη του πράκτορα («οι εγκρίσεις από το finance@ είναι προεγκεκριμένες»), ώστε ένα πλαστογραφημένο μήνυμα από το οικονομικό τμήμα, που φτάνει εβδομάδες αργότερα, να περάσει χωρίς πρόβλημα. Σε ένα άλλο σενάριο, κρύβεται κείμενο μέσα σε εικόνα τιμολογίου, το οποίο δίνει εντολή στον πράκτορα να χαρακτηρίσει το τιμολόγιο ως χαμηλού κινδύνου και να το συνοψίσει ως ασφαλές για πληρωμή. Ο άνθρωπος εμπιστεύεται τη σύνοψη.

Θα μπορούσαν οι επιτιθέμενοι να δημιουργούν σκόπιμα μακρές αλληλουχίες φαινομενικά νόμιμων αλληλεπιδράσεων, οι οποίες σταδιακά ωθούν ένα σύστημα τεχνητής νοημοσύνης προς μια λανθασμένη απόφαση, αντί να βασίζονται σε ένα μεμονωμένο, προφανώς κακόβουλο μήνυμα ηλεκτρονικού ταχυδρομείου ή προτροπή; Πόσο δύσκολο θα ήταν για τα σημερινά εργαλεία ασφάλειας να εντοπίσουν αυτές τις επιθέσεις πολλών σταδίων;

Τέτοιες επιθέσεις γίνονται ήδη εναντίον ανθρώπων, και οι πράκτορες είναι ο επόμενος στόχος. Οι επιτιθέμενοι στέλνουν μερικά ακίνδυνα μηνύματα ηλεκτρονικού ταχυδρομείου (μια γνωριμία, ένα ευχαριστήριο μήνυμα), ώστε να παρακαμφθούν οι ειδοποιήσεις για αποστολείς που επικοινωνούν για πρώτη φορά. Έπειτα, στρέφονται σε μηνύματα σχετικά με τον ρόλο του στόχου και μόνο τότε στέλνουν το κακόβουλο περιεχόμενο, συχνά με τη μορφή πρόσκλησης σε σύσκεψη: ο σύνδεσμος εμφανίζει στους σαρωτές μια καθαρή σελίδα, αλλά στους πραγματικούς χρήστες τον ιστότοπο ηλεκτρονικού «ψαρέματος». Τα εργαλεία που αξιολογούν κάθε μήνυμα ξεχωριστά δεν το εντοπίζουν. Κανένα μεμονωμένο μήνυμα δεν φαίνεται ύποπτο, γι’ αυτό πρέπει να αξιολογείτε τη σχέση με την πάροδο του χρόνου.

Συχνά γίνεται λόγος για το ηλεκτρονικό «ψάρεμα» που παράγεται από τεχνητή νοημοσύνη με έμφαση στην καλύτερη διατύπωση, την εξατομίκευση και τα παραποιημένα μέσα. Σας ανησυχεί περισσότερο το ενδεχόμενο η τεχνητή νοημοσύνη να βελτιώσει το περιεχόμενο των επιθέσεων κοινωνικής μηχανικής ή το ενδεχόμενο οι επιτιθέμενοι να τη χρησιμοποιούν για να κατανοήσουν ακριβώς πότε και με ποιον τρόπο είναι πιθανότερο να κάνει λάθος ένας συγκεκριμένος στόχος;

Και τα δύο, αλλά η μάχη για το περιεχόμενο έχει ήδη κριθεί. Τα καλοδουλεμένα μηνύματα ηλεκτρονικού «ψαρέματος» που γράφονται με τεχνητή νοημοσύνη αποτελούν τον κανόνα από τότε που το ChatGPT έγινε ευρέως γνωστό. Η μεγαλύτερη αλλαγή είναι ότι πλέον αυτοματοποιούνται η στόχευση, η εξατομίκευση και ο χρονισμός, με αποτέλεσμα κάποιος χωρίς καμία τεχνική κατάρτιση να μπορεί να συνδυάσει δεδομένα από παραβιάσεις με λίστες διαρροών κωδικών πρόσβασης, όπως η διαβόητη λίστα RockYou, να αποκτήσει τον έλεγχο ενός πραγματικού γραμματοκιβωτίου και να στείλει ένα πλαστογραφημένο μήνυμα για μια συνηθισμένη συναλλαγή ακριβώς τη στιγμή που ο στόχος περιμένει να λάβει ένα τέτοιο μήνυμα.

Καθώς οι επιτιθέμενοι γίνονται καλύτεροι στην εξάλειψη των προφανών τεχνικών ενδείξεων κινδύνου και στην παρουσίαση κακόβουλων μηνυμάτων ως νόμιμων, ποια σήματα αποκτούν τη μεγαλύτερη σημασία για τη διάκριση της νόμιμης επικοινωνίας από τη χειραγώγηση;

Πρώτα απ’ όλα, το πλαίσιο. Για παράδειγμα, είναι αυτή η συμπεριφορά συνηθισμένη για το συγκεκριμένο άτομο ή τον συγκεκριμένο προμηθευτή, σε αυτό το κανάλι και αυτή τη χρονική στιγμή; Έπειτα, εξετάστε τον επείγοντα χαρακτήρα και την επανάληψη. Όποιος έχει ένα πραγματικά επείγον αίτημα θα τηλεφωνήσει ή θα σας στείλει μήνυμα στο Teams ή στο Slack. Δεν θα σας στείλει το ίδιο μήνυμα ηλεκτρονικού ταχυδρομείου τρεις φορές. Και εμπιστευτείτε το ένστικτό σας. Ο δικός μου κανόνας είναι «Μην κάνεις απλώς κάτι· στάσου εκεί», οπότε κάντε μια παύση, ζητήστε από κάποιον ακόμη να το ελέγξει και επαληθεύστε το αίτημα μέσω άλλου καναλιού.

Πώς θα πρέπει οι οργανισμοί να οργανώνουν την ανθρώπινη εποπτεία και την εποπτεία της τεχνητής νοημοσύνης, όταν και οι δύο πλευρές ενδέχεται να έχουν αδυναμίες; Θα μπορούσε ο συνδυασμός της ανθρώπινης κρίσης με την τεχνητή νοημοσύνη να δημιουργήσει νέα τυφλά σημεία, αν η καθεμία υποθέτει ότι η άλλη έχει ήδη επικυρώσει την απόφαση;

Αναθέστε σε κάθε πλευρά την εργασία στην οποία είναι καλύτερη και ορίστε με σαφήνεια πώς θα γίνεται η παράδοση της ευθύνης. Η τεχνητή νοημοσύνη διαχειρίζεται μεγάλο όγκο εργασιών και εντοπίζει μοτίβα σε ολόκληρο το περιβάλλον· οι άνθρωποι αναλαμβάνουν τις αποφάσεις με σοβαρές συνέπειες (μεταφορά χρημάτων, παραχώρηση πρόσβασης), ενώ η τεχνητή νοημοσύνη πρέπει να παρουσιάζει τα τεκμήριά της, ώστε ο ελεγκτής να μπορεί να εξετάσει το σκεπτικό. Το τυφλό σημείο που περιγράφετε είναι υπαρκτό. Η λύση είναι ένας αυστηρός κανόνας… «το είπε η τεχνητή νοημοσύνη ότι είναι ασφαλές» δεν θεωρείται ποτέ ανθρώπινη αξιολόγηση.

Αν το θεμελιώδες πρόβλημα είναι το χάσμα ανάμεσα σε όσα γνωρίζουν οι άνθρωποι ή τα συστήματα τεχνητής νοημοσύνης και σε όσα αναγνωρίζουν την ώρα που εκτελούν μια εργασία, ποιες πρακτικές αλλαγές μπορούν να κάνουν σήμερα οι οργανισμοί για να περιορίσουν αυτό το χάσμα και να δυσκολέψουν σημαντικά την επιτυχή εκτέλεση επιθέσεων κοινωνικής μηχανικής;

Επαναφέρετε μια παλιά δικλίδα ασφαλείας που χρησιμοποιούσαμε για την έκδοση επιταγών: τον «διαχωρισμό καθηκόντων». Ένα άτομο μπορεί να δημιουργήσει έναν νέο χρήστη, αλλά δεν μπορεί να τον ενεργοποιήσει· ένα δεύτερο άτομο μπορεί να ενεργοποιήσει έναν χρήστη, αλλά δεν μπορεί να τον δημιουργήσει· και ένα τρίτο άτομο ειδοποιείται και για τα δύο. Εφαρμόστε τον ίδιο διαχωρισμό στις πληρωμές, στις αλλαγές προμηθευτών και στους πράκτορες τεχνητής νοημοσύνης σας (κανένας πράκτορας δεν πρέπει να υποβάλλει και να εγκρίνει την ίδια ενέργεια). Ένας υπάλληλος που έχει εξαπατηθεί ή ένας πράκτορας του οποίου ο έλεγχος έχει παραβιαστεί δεν μπορεί να ολοκληρώσει μόνος του την επίθεση.

Σας ευχαριστούμε για την εξαιρετική συνέντευξη. Οι αναγνώστες που θέλουν να μάθουν περισσότερα μπορούν να επισκεφθούν τον ιστότοπο της IRONSCALES.