Κieran Norton, Ηγετική Φυσιογνωμία του Deloitte για το Κυβερνο艾 και την Αυτοματοποίηση στις ΗΠΑ – Σειρά Συνεντεύξεων

Κieran Norton είναι συνεταίρος (εταίρος) στη Deloitte & Touche LLP και Ηγετική Φυσιογνωμία του Deloitte για το Κυβερνο艾 και την Αυτοματοποίηση στις ΗΠΑ. Με περισσότερες από 25 χρόνια εκτενής εμπειρίας και μια στερεή τεχνολογική βάση, ο Κieran excels στην αντιμετώπιση των αναδυόμενων κινδύνων, παρέχοντας στους πελάτες στρατηγικές και πρακτικές ενημερώσεις σχετικά με την κυβερνοασφάλεια και τη διαχείριση τεχνολογικών κινδύνων.

Εντός του Deloitte, ο Κieran ηγείται των προσπαθειών μετασχηματισμού του AI για την πρακτική του Κυβερνο艾 στις ΗΠΑ. Εποπτεύει το σχεδιασμό, την ανάπτυξη και την αγορά των λύσεων AI και αυτοματοποίησης, βοηθώντας τους πελάτες να ενισχύσουν τις κυβερνοικανότητές τους και να υιοθετήσουν τεχνολογίες AI/Gen AI, ενώ同時 διαχειρίζονται αποτελεσματικά τους σχετικούς κινδύνους.

Εξωτερικά, ο Κieran βοηθά τους πελάτες να εξελίξουν τις παραδοσιακές στρατηγικές ασφαλείας για να υποστηρίξουν τη ψηφιακή μετασχηματισμό, να μοντερνοποιήσουν τις αλυσίδες εφοδιασμού, να επιταχύνουν τον χρόνο που benötεται για την αγορά, να μειώσουν τα κόστη και να επιτύχουν άλλα κρίσιμα επιχειρηματικά αντικείμενα.

Με τους πράκτορες AI να γίνονται ολοένα και πιο αυτόνομοι, ποιες νέες κατηγορίες κινδύνων κυβερνοασφάλειας εμφανίζονται που οι επιχειρήσεις μπορεί να μην κατανοούν πλήρως;

Οι κίνδυνοι που σχετίζονται με τη χρήση νέων τεχνολογιών AI για το σχεδιασμό, την κατασκευή, την ανάπτυξη και τη διαχείριση των πράκτορων μπορεί να κατανοηθούν – η λειτουργία είναι ένα διαφορετικό ζήτημα.

Η αυτονομία των πράκτορων AI και η ικανότητά τους να αντιλαμβάνονται, να αποφασίζουν, να ενεργούν και να λειτουργούν ανεξάρτητα από τους ανθρώπους μπορεί να δημιουργήσει προκλήσεις για τη διατήρηση της ορατότητας και του ελέγχου των σχέσεων και των αλληλεπιδράσεων που έχουν οι μοντέλα/πράκτορες με τους χρήστες, τα δεδομένα και άλλους πράκτορες. Όσο οι πράκτορες συνεχίζουν να πολλαπλασιάζονται εντός της επιχείρησης, συνδέοντας πολλαπλά πλαίσια και υπηρεσίες με αυξανόμενη αυτονομία και δικαιώματα αποφάσεων, αυτό θα γίνει ολοένα και πιο δύσκολο. Οι κίνδυνοι που σχετίζονται με τους πράκτορες AI που δεν προστατεύονται επαρκώς, υπερβολικά ή με κρυφούς κινδύνους είναι πολυάριθμοι. Αυτό μπορεί να περιλαμβάνει διαρροή δεδομένων, χειραγώγηση των πράκτορων (μέσω έγχυσης προτύπων, κ.λπ.) και αλυσίδες επιθέσεων πράκτορα-πράκτορα. Όχι όλοι αυτοί οι κίνδυνοι είναι εδώ-τώρα, αλλά οι επιχειρήσεις πρέπει να σκεφτούν πώς θα διαχειριστούν αυτούς τους κινδύνους καθώς υιοθετούν και ωριμάζουν τις ικανότητες AI.

Η διαχείριση ταυτοτήτων AI είναι ένας άλλος κίνδυνος που πρέπει να εξεταστεί προσεκτικά. Η ταυτοποίηση, η καθιέρωση και η διαχείριση των μηχανικών ταυτοτήτων των πράκτορων AI θα γίνει πιο σύνθετη καθώς περισσότεροι πράκτορες αναπτύσσονται και χρησιμοποιούνται σε επιχειρήσεις. Η εφήμερη φύση των μοντέλων/μοντέλων που δημιουργούνται και καταστρέφονται επανειλημμένα υπό διάφορες συνθήκες θα οδηγήσει σε προκλήσεις για τη διατήρηση αυτών των ταυτοτήτων μοντέλων. Οι ταυτότητες μοντέλων είναι απαραίτητες για την παρακολούθηση της δραστηριότητας και της συμπεριφοράς των πράκτορων από cả μια ασφαλής και μια εμπιστοσύνη οπτική. Αν δεν εφαρμοστούν και παρακολουθηθούν σωστά, η ανίχνευση πιθανών προβλημάτων (απόδοσης, ασφάλειας, κ.λπ.) θα είναι πολύ δύσκολο.

Πόσο ανήσυχη πρέπει να είμαστε για τις επιθέσεις δηλητηρίασης δεδομένων στα κανάλια εκπαίδευσης AI και ποιες είναι οι καλύτερες στρατηγικές πρόληψης;

Η δηλητηρίαση δεδομένων αντιπροσωπεύει έναν από τους τρόπους με τους οποίους μπορεί να επηρεαστούν/μανιπουλαριστούν τα μοντέλα AI εντός του κύκλου ζωής της ανάπτυξης μοντέλων. Η δηλητηρίαση συνήθως συμβαίνει όταν ένας κακόβουλος χρήστης ενέχει βλαβερά δεδομένα στη βάση εκπαίδευσης. Ωστόσο, είναι σημαντικό να σημειωθεί ότι πέρα από τους σαφείς αντιπάλους, η δηλητηρίαση δεδομένων μπορεί να συμβεί λόγω λαθών ή συστημικών προβλημάτων στη γεννήση δεδομένων. Όσο οι οργανισμοί γίνονται πιο πεινασμένοι για δεδομένα και αναζητούν χρησιμοποίητα δεδομένα σε περισσότερα μέρη (π.χ. εξωτερική χειροκίνητη αναγραφή, αγορασμένα ή γεννημένα συνθετικά σύνολα δεδομένων, κ.λπ.), η πιθανότητα να δηλητηριάσουν ακούσια τα δεδομένα εκπαίδευσης αυξάνεται και μπορεί να μην είναι πάντα εύκολο να διαγνωστεί.

Η στόχευση των καναλιών εκπαίδευσης είναι ένας πρωταρχικός διαδικτυακός διαύλος που χρησιμοποιείται από τους αντιπάλους για cả τη λεπτή και την εμφανή επιρροή. Η χειραγώγηση των μοντέλων AI μπορεί να οδηγήσει σε αποτελέσματα που περιλαμβάνουν ψευδείς θετικούς, ψευδείς αρνητικούς και άλλες πιο λεπτές κρυφές επιρροές που μπορούν να αλλάξουν τις προβλέψεις AI.

Οι στρατηγικές πρόληψης περιλαμβάνουν λύσεις που είναι τεχνικές, διαδικαστικές και αρχιτεκτονικές. Οι διαδικαστικές στρατηγικές περιλαμβάνουν έλεγχο/καθαρισμό δεδομένων και αξιολόγηση εμπιστοσύνης· οι τεχνικές στρατηγικές περιλαμβάνουν την उपयποίηση ασφαλούς ενίσχυσης με τεχνικές AI όπως η ομοσπονδιακή μάθηση· οι αρχιτεκτονικές στρατηγικές περιλαμβάνουν την εφαρμογή καναλιών μηδενικής εμπιστοσύνης και την εφαρμογή ρομπούστης παρακολούθησης/ειδοποίησης που μπορεί να διευκολύνει την ανίχνευση ανωμαλιών. Αυτά τα μοντέλα είναι τόσο καλά όσο και τα δεδομένα τους, ακόμη και αν ένας οργανισμός χρησιμοποιεί τα τελευταία και καλύτερα εργαλεία, οπότε η δηλητηρίαση δεδομένων μπορεί να γίνει ο Αχίλλειος πυρήνας για τους μη προετοιμασμένους.

Ποια είναι τα μέσα με τα οποία οι κακόβουλοι χρήστες μπορούν να χειραγωγήσουν τα μοντέλα AI μετά την ανάπτυξή τους και πώς μπορούν οι επιχειρήσεις να ανιχνεύσουν την χειραγώγηση νωρίς;

Η πρόσβαση στα μοντέλα AI μετά την ανάπτυξή τους συνήθως επιτυγχάνεται μέσω της πρόσβασης σε μια Διεπαφή Προγραμματισμού Εφαρμογών (API), μιας εφαρμογής μέσω ενός ενσωματωμένου συστήματος και/ή μέσω ενός πρωτοκόλλου-θύρας σε μια περιφερειακή συσκευή. Η πρώιμη ανίχνευση απαιτεί πρώιμο έργο στο Κύκλο Ζωής Ανάπτυξης Λογισμικού (SDLC), την κατανόηση των σχετικών τεχνικών χειραγώγησης μοντέλων καθώς και την προτεραιοποίηση των διαύλων απειλής για να συνατάξουν μεθόδους ανίχνευσης και προστασίας. Ορισμένες χειραγώγηση μοντέλων περιλαμβάνει την απαγωγή API, τη χειραγώγηση των χώρων μνήμης (χρόνος εκτέλεσης) και τη chậmή/προοδευτική δηλητηρίαση μέσω της ολίσθησης μοντέλων. Δεδομένων αυτών των μεθόδων χειραγώγησης, ορισμένες στρατηγικές πρώιμης ανίχνευσης μπορεί να περιλαμβάνουν την उपयποίηση τηλεμετρίας/παρακολούθησης (μέσω Endpoint Detection and Response και Extended Detection and Response), την εφαρμογή ασφαλούς αγωγού συλλογής (π.χ. εμπιστευτική υπολογιστική και Αρχές Μηδενικής Εμπιστοσύνης), και την ενεργοποίηση σήμανσης/υπογραφής μοντέλων.

Η έγχυση προτύπων είναι μια οικογένεια επιθέσεων μοντέλων που συμβαίνουν μετά την ανάπτυξη και μπορεί να χρησιμοποιηθεί για διάφορους σκοπούς, συμπεριλαμβανομένης της εξαγωγής δεδομένων με μη προβλεπόμενους τρόπους, της αποκάλυψης συστημάτων προτύπων που δεν προορίζονται για κανονικούς χρήστες και της induction των απαντήσεων μοντέλων που μπορεί να παρουσιάσουν einen οργανισμό σε αρνητικό φως. Υπάρχουν πολλά εργαλεία φρουρών στην αγορά για να βοηθήσουν στην μείωση του κινδύνου της έγχυσης προτύπων, αλλά όπως και με το υπόλοιπο κυβερνο, αυτό είναι ένας αγώνας όπου οι τεχνικές επιθέσεων και τα μέτρα άμυνας ενημερώνονται συνεχώς.

Πώς οι παραδοσιακές πλαισιακά κυβερνοασφάλειας δεν ανταποκρίνονται πλήρως στα μοναδικά рисks των συστημάτων AI;

Συνήθως συνδέουμε το «πλαίσιο κυβερνοασφάλειας» με οδηγίες και προτυπώσεις – π.χ. NIST, ISO, MITRE, κ.λπ. Ορισμένες από τις οργανώσεις που βρίσκονται πίσω από αυτές έχουν δημοσιεύσει ενημερωμένες οδηγίες που αφορούν ειδικά την προστασία των συστημάτων AI, οι οποίες μπορούν να είναι πολύ χρήσιμες.

Το AI δεν καθιστά αυτά τα πλαισιακά ανίκανα – ακόμη πρέπει να αντιμετωπίζετε όλα τα παραδοσιακά domaine της κυβερνοασφάλειας — αυτό που μπορεί να χρειάζεστε είναι να ενημερώσετε τις διαδικασίες και τα προγράμματά σας (π.χ. το SDLC σας) για να αντιμετωπίσουν τις ιδιομορφίες που σχετίζονται με τις εργασίες AI. Η ενσωμάτωση και η αυτοματοποίηση (όπου είναι δυνατόν) των ελέγχων για την προστασία από τις ιδιομορφικές απειλές που περιγράφηκαν παραπάνω είναι ο πιο αποτελεσματικός και αποτελεσματικός τρόπος προς τα εμπρός.

Σε τακτικό επίπεδο, αξίζει να αναφερθεί ότι το πλήρες εύρος των πιθανών εισόδων και εξόδων είναι συχνά πολύ μεγαλύτερο από τις μη-AI εφαρμογές, το οποίο δημιουργεί ένα πρόβλημα κλίμακας για τις παραδοσιακές δοκιμές διείσδυσης και τις ανιχνεύσεις βασισμένες σε κανόνες, από đó η εστίαση στην αυτοματοποίηση.

Ποια είναι τα βασικά στοιχεία που πρέπει να περιλαμβάνονται σε μια στρατηγική κυβερνοασφάλειας που έχει σχεδιαστεί ειδικά για οργανισμούς που αναπτύσσουν γενετικά AI ή μεγάλα μοντέλα γλωσσών;

Όταν αναπτύσσετε μια στρατηγική κυβερνοασφάλειας για την ανάπτυξη GenAI ή μεγάλων μοντέλων γλωσσών (LLM), δεν υπάρχει μια προσέγγιση που ταιριάζει σε όλους. Πολύ εξαρτάται από τα γενικά επιχειρηματικά αντικείμενα του οργανισμού, την στρατηγική ΤΠ, την εστίαση βιομηχανίας, το αποτύπωμα ρυθμίσεων, την ανεκτικότητα κινδύνου, κ.λπ. καθώς και τα συγκεκριμένα χρήση AI που εξετάζονται. Ένα chatbot που χρησιμοποιείται μόνο εσωτερικά έχει ένα πολύ διαφορετικό προφίλ κινδύνου από έναν πράκτορα που θα μπορούσε να επηρεάσει τα αποτελέσματα υγείας για ασθενείς, για παράδειγμα.

Λέγοντας αυτό, υπάρχουν θεμελιώδεις αρχές που κάθε οργανισμός πρέπει να αντιμετωπίζει:

• Εκτελέστε μια αξιολόγηση ετοιμότητας—αυτό καθιερώνει μια βάση των τρεχουσών ικανοτήτων καθώς και αναγνωρίζει πιθανές лакκώσεις που λαμβάνονται με προτεραιότητα AI χρήση περιπτώσεων. Οι οργανισμοί πρέπει να αναγνωρίσουν哪里 υπάρχουν υφιστάμενες ελέγχοι που μπορούν να επεκταθούν για να αντιμετωπίσουν τους ιδιομορφικούς κινδύνους που σχετίζονται με GenAI και την ανάγκη να εφαρμόσουν νέες τεχνολογίες ή να βελτιώσουν τις τρέχουσες διαδικασίες.
• Ιδρύστε μια διαδικασία διακυβέρνησης AI—αυτό μπορεί να είναι νέο εντός του οργανισμού ή μια τροποποίηση των τρεχουσών προγραμμάτων διαχείρισης κινδύνων. Αυτό πρέπει να περιλαμβάνει την ορισμό των ενδοεπιχειρησιακών λειτουργιών AI και την έλξη μελών από όλη την επιχείρηση, ΤΠ, προϊόν, κίνδυνος, κυβερνοασφάλεια, κ.λπ. ως μέρος της διακυβέρνησης. Επιπλέον, η ορισμό/ενημέρωση σχετικών πολιτικών (πολιτικών αποδεκτής χρήσης, πολιτικών ασφάλειας cloud, διαχείρισης κινδύνων τεχνολογίας τρίτων, κ.λπ.) καθώς και η ίδρυση απαιτήσεων L&D για την υποστήριξη της γλωσσικής ικανότητας AI και της ασφάλειας/ασφάλειας AI σε όλη την επιχείρηση πρέπει να περιλαμβάνονται.
• Ιδρύστε μια αξιόπιστη αρχιτεκτονική AI—με την ίδρυση των πλατφορμών AI/GenAI και των πειραματικών αμμοδοχίων, η υφιστάμενη τεχνολογία καθώς και οι νέες λύσεις (π.χ. πυράντοχοι AI/χρόνος εκτέλεσης, φρουροί, διαχείριση κύκλου ζωής μοντέλων, βελτιωμένες ικανότητες IAM, κ.λπ.) θα πρέπει να ενσωματωθούν στις περιβάλλοντες ανάπτυξης και ανάπτυξης με τρόπο επαναλαμβανόμενο και κλιμακωτό.
• Βελτιώστε το SDLC—οι οργανισμοί πρέπει να χτίσουν στενές ενσωματώσεις μεταξύ των αναπτυξιακών ομάδων AI και των ομάδων διαχείρισης κινδύνων που εργάζονται για την προστασία, την ασφάλεια και την κατασκευή εμπιστοσύνης σε λύσεις AI. Αυτό περιλαμβάνει την ίδρυση μιας ενιαίας/τυπικής σειράς ασφαλούς ανάπτυξης λογισμικού και απαιτήσεων ελέγχου, σε συνεργασία με τις ευρύτερες ομάδες ανάπτυξης και υιοθέτησης AI.

Μπορείτε να εξηγήσετε την έννοια ενός «πυροφράχτη AI» με απλά λόγια; Πώς διαφέρει από τους παραδοσιακούς πυροφράχτες δικτύου;

Ένας πυροφράχτης AI είναι ένα επίπεδο ασφαλείας που έχει σχεδιαστεί για να παρακολουθεί και να ελέγχει τις εισόδους και εξόδους των συστημάτων AI—ειδικά των μεγάλων μοντέλων γλωσσών—για να αποτρέψει την κακοποίηση, να προστατεύσει ευαίσθητα δεδομένα και να διασφαλίσει την υπεύθυνη συμπεριφορά AI. Σε αντίθεση με τους παραδοσιακούς πυροφράχτες που προστατεύουν τα δίκτυα με φιλτράρισμα траφικού με βάση τις διευθύνσεις IP, τις θύρες και τις γνωστές απειλές, οι πυροφράχτες AI εστιάζουν στην κατανόηση και τη διαχείριση των φυσικών γλωσσικών αλληλεπιδράσεων. Μπλοκάρουν πράγματα όπως τοξικά περιεχόμενα, διαρροή δεδομένων, έγχυση προτύπων και ασεβή χρήση AI, εφαρμόζοντας πολιτικές, φίλτρα που είναι συνείδηση-παρατηρημένα και φρουροί μοντέλων. Βασικά, ενώ ένας παραδοσιακός πυροφράχτης προστατεύει το δίκτυό σας, ένας πυροφράχτης AI προστατεύει τα μοντέλα AI και τις εξόδους τους.

Υπάρχουν τρέχουσες βιομηχανικές προδιαγραφές ή αναδυόμενες πρωτόκολλα που διέπουν τη χρήση πυροφραχτών AI ή φρουρών;

Το πρωτόκολλο επικοινωνίας μοντέλων (MCP) δεν είναι ένα καθολικό πρότυπο, αλλά κερδίζει έδαφος σε όλη την βιομηχανία για να βοηθήσει στην αντιμετώπιση του αυξανόμενου φόρτου διαμόρφωσης για τις επιχειρήσεις που έχουν ανάγκη να διαχειριστούν την ποικιλία των λύσεων AI-GenAI. Το MCP διέπει τον τρόπο με τον οποίο τα μοντέλα AI ανταλλάσσουν πληροφορίες (συμπεριλαμβανομένης της μάθησης) που περιλαμβάνουν την ακεραιότητα και την επαλήθευση. Μπορούμε να σκεφτούμε το MCP ως το πρωτόκολλο ελέγχου μεταφοράς (TCP)/πρωτόκολλο διαδικτύου (IP) για τα μοντέλα AI, το οποίο είναι ιδιαίτερα χρήσιμο σε κεντρικά, ομοσπονδιακά ή κατανεμημένα σενάρια. Το MCP είναι επί του παρόντος ένα концептуαλικό πλαίσιο που πραγματοποιείται μέσω διαφόρων εργαλείων, ερευνών και έργων.

Ο χώρος κινείται γρήγορα και μπορούμε να περιμένουμε ότι θα αλλάξει πολύ τα επόμενα χρόνια.

Πώς το AI μετασχηματίζει το πεδίο της ανίχνευσης και ανταπόκρισης απειλών σήμερα σε σύγκριση με πριν από πέντε χρόνια;

Έχουμε δει τα εμπορικά κέντρα λειτουργιών ασφαλείας (SOC) να μοντερνοποιούνται σε διάφορα επίπεδα, χρησιμοποιώντας μεγάλες ποσότητες υψηλής ποιότητας δεδομένων μαζί με προηγμένα μοντέλα AI/ML για τη βελτίωση της ανίχνευσης και της ταξινόμησης των απειλών. Επιπλέον, χρησιμοποιούν αυτοματοποίηση, ροή εργασίας και αυτόματη αντιμετώπιση για τη μείωση του χρόνου από την ανίχνευση στην αντιμετώπιση. Τέλος, ορισμένοι έχουν εισαγάγει ικανότητες συν-πιλότου για να υποστηρίξουν περαιτέρω την τριτοβάθμια ανίχνευση και ανταπόκριση.

Επιπλέον, οι πράκτορες αναπτύσσονται για να εκπληρώσουν επιλεγμένους ρόλους εντός του SOC. Ως πρακτικό παράδειγμα, έχουμε κατασκευάσει έναν «Ψηφιακό Αναλυτή» για ανάπτυξη στην δική μας υπηρεσία διαχείρισης. Ο πράκτορας υπηρετεί ως αναλυτής επιπέδου 1, τριγωνίζοντας εισερχόμενες ειδοποιήσεις, προσθέτοντας контекст από πληροφορίες απειλών και άλλες πηγές, και συνιστώντας βήματα ανταπόκρισης (με βάση εκτεταμένη ιστορία περιπτώσεων) για τους ανθρώπινους αναλυτές μας, οι οποίοι στη συνέχεια αναθεωρούν, τροποποιούν αν χρειάζεται και λαμβάνουν μέτρα.

Πώς βλέπετε τη σχέση μεταξύ AI και κυβερνοασφάλειας να εξελίσσεται τα επόμενα 3-5 χρόνια—θα είναι το AI περισσότερο κίνδυνος ή λύση;

Όσο το AI εξελίσσεται τα επόμενα 3-5 χρόνια, μπορεί να βοηθήσει στην κυβερνοασφάλεια, αλλά同時 μπορεί επίσης να εισαγάγει κινδύνους. Το AI θα επεκτείνει την επιφάνεια επιθέσεων και θα δημιουργήσει νέες προκλήσεις από μια αμυντική οπτική. Επιπλέον, η αντιπαλική AI θα αυξήσει τη βιωσιμότητα, την ταχύτητα και την κλίμακα των επιθέσεων, οι οποίες θα δημιουργήσουν περαιτέρω προκλήσεις. Από την άλλη πλευρά, η χρησιμοποίηση AI στην επιχείρηση της κυβερνοασφάλειας παρουσιάζει σημαντικές ευκαιρίες για τη βελτίωση της αποτελεσματικότητας, της αποτελεσματικότητας, της ευελιξίας και της ταχύτητας των κυβερνο-επιχειρήσεων σε meisten domaine—δημιουργώντας τελικά ένα σενάριο «πολέμου με πυρ».

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες μπορεί επίσης να επιθυμούν να επισκεφθούν Deloitte.