Χάνα-Μάρι Ντάρλι, Chief AI Officer στην Geordie AI – Σειρά Συνεντεύξεων

Χάνα-Μάρι Ντάρλι, Chief AI Officer στην Geordie AI, είναι एक έμπειρη ηγέτης στο χώρο του AI και της ασφάλειας που συνίδρυσε την εταιρεία για να βοηθήσει τις επιχειρήσεις να υιοθετήσουν το agentic AI με σαφήνεια και έλεγχο. Με σχεδόν μια δεκαετία υποστήριξης επιχειρήσεων στο πλαίσιο της κυβέρνησης των ΗΠΑ και στη συνέχεια σε ανώτερες ηγετικές θέσεις στην Darktrace, συνδυάζει βαθιά εξειδίκευση στην ανάλυση απειλών, γεωπολιτική ανάλυση και εφαρμοσμένη ψυχολογία με πρακτική εμπειρία στην στρατηγική του AI και την ανάπτυξη προϊόντων. Το έργο της επικεντρώνεται στην ευθυγράμμιση των αυτόνομων συστημάτων με την ανθρώπινη πρόθεση, επιτρέποντας στις επιχειρήσεις να λειτουργούν τους πράκτορες του AI με τρόπο που ισορροπεί την καινοτομία, την εποπτεία και τις πραγματικές περιορισμούς.

Geordie AI είναι μια εταιρεία λογισμικού με έδρα το Λονδίνο που επικεντρώνεται στην ασφάλεια και τη διακυβέρνηση των πρακτόρων του AI καθώς ενσωματώνονται σε επιχειρησιακά περιβάλλοντα. Η πλατφόρμα της παρέχει ορατότητα στις δραστηριότητες των πρακτόρων, συνεχή παρακολούθηση της στάθμης του κινδύνου και δομημένα μηχανισμοί διακυβέρνησης που επιτρέπουν στις οργανώσεις να αναπτύσσουν και να κλιμακώνουν συστήματα AI με σιγουριά. Παρέχοντας ορατότητα, υποστήριξη συμμόρφωσης και λειτουργική εποπτεία που προσαρμόζεται στην εποχή των πρακτόρων, η Geordie στοχεύει να δώσει στις επιχειρήσεις τη διαφάνεια και τον έλεγχο που απαιτούνται για την ενσωμάτωση αυτονομίας χωρίς να επηρεάζουν την ασφάλεια ή την ευθύνη.

Έχοντας περάσει σχεδόν μια δεκαετία στην ανάλυση απειλών και γεωπολιτικής ανάλυσης των ΗΠΑ, και στη συνέχεια να ηγηθεί της έρευνας απειλών και της στρατηγικής του AI στην Darktrace, και τώρα να ηγείστε την στρατηγική του AI και της ανάπτυξης προϊόντων στην Geordie AI, ποίες εμπειρίες σε κυβερνητικά και επιχειρησιακά περιβάλλοντα ασφάλειας επηρέασαν την απόφασή σας να δημιουργήσετε την Geordie, και ποιο ήταν το βασικό πρόβλημα που ήθελε να λύσετε;

Σε κυβερνητικά και επιχειρησιακά περιβάλλοντα ασφάλειας, συνεχώς συναντούσα την ίδια δομική ένταση. Οι οργανώσεις επενδύουν πολύ σε AI, αλλά η εμπιστοσύνη στη συμπεριφορά των συστημάτων ήταν πίσω από τις προσδοκίες για απόδοση επένδυσης. Η πρόκληση δεν ήταν η ικανότητα. Ήταν η εμπιστοσύνη.

Όταν το AI μετακινήθηκε από πειραματικά εργαλεία σε λειτουργικές ροές εργασιών, αυτό το κενό έγινε πιο ορατό. Οι πράκτορες εισάγουν αυτονομία, λήψη αποφάσεων και επιμονή σε συστήματα με τρόπους που δεν existed στην παραδοσιακή λογιστική. Οι επιχειρήσεις χρειάζονταν έναν τρόπο να κατανοήσουν πώς λειτουργούν οι πράκτορες, πού λειτουργούν και πώς ο κίνδυνος προκύπτει μέσω της συμπεριφοράς τους. Η Geordie δημιουργήθηκε για να κλείσει αυτό το κενό σαφήνειας, ώστε οι οργανώσεις να μπορέσουν να υιοθετήσουν αυτονομία με σιγουριά και όχι με δισταγμό.

Σύμφωνα με την άποψή σας, ποιο είναι το πιο παρεξηγημένο ρίσκο που παρουσιάζουν οι αυτόνομοι ή agentic πράκτορες του AI στις επιχειρήσεις, και πώς διαφέρει η “αλυσίδα επίδρασης” της контекστο-εξαρτώμενης λήψης αποφάσεων από τα παραδοσιακά μοντέλα εκθέσεων κυβερνοασφάλειας;

Οι σιωπηλές αποτυχίες παραμένουν το λιγότερο κατανοητό. Ένας πράκτορας μπορεί να λειτουργήσει εντός εγκεκριμένων προνομίων και ορίων πρόσβασης ενώ παράλληλα παράγει αποτελέσματα που απομακρύνονται από την πρόθεση.

Αυτό αντανακλά τη φύση των συστημάτων πρακτόρων. Ερμηνεύουν το контекスト και λαμβάνουν αποφάσεις σε πραγματικό χρόνο. Σε αντίθεση με το determinιστικό λογισμικό, η συμπεριφορά διαμορφώνεται δυναμικά σε ακολουθίες ενεργειών. Αυτό μεταβάλλει το μοντέλο ασφάλειας. Η έκθεση δεν εξαρτάται πλέον μόνο από παραβιάσεις πρόσβασης. Προκύπτει μέσω της αλληλεπίδρασης αποφάσεων, εργαλείων και контεκστού με τον χρόνο.

Η προσέγγιση της Geordie τονίζει την παρατηρησιμότητα της συμπεριφοράς, την контεκστο-εξαρτώμενη αξιολόγηση κινδύνου και τον δυναμικό έλεγχο των δραστηριοτήτων των πρακτόρων. Πώς πρέπει οι οργανώσεις να ισορροπήσουν την ανάγκη για αυτή τη πραγματική ορατότητα με τις ανησυχίες σχετικά με την λειτουργική πολυπλοκότητα ή την απόδοση του συστήματος;

Οι επιχειρήσεις δεν πρέπει να ανταλλάσσουν απόδοση για εποπτεία. Η αρχιτεκτονική μας αποφεύγει σκόπιμα τις ενδιάμεσες προξενίες και πύλες, επιτρέποντας στις οργανώσεις να κατασκευάζουν και να λειτουργούν πράκτορες όπου αυτό έχει λειτουργική σημασία.

Η ορατότητα και ο έλεγχος πρέπει να κλιμακώνονται με την αυτονομία χωρίς να εισάγουν τριβή ή καθυστέρηση. Αν οι μηχανισμοί διακυβέρνησης εμποδίζουν τις ροές εργασιών, η υιοθέτηση σταματά. Η αποτελεσματική ασφάλεια επιτρέπει στα οικοσυστήματα να επεκτείνονται με ασφάλεια αντί να περιορίζουν την καινοτομία.

Από την εργασία σας με πελάτες επιχειρήσεων και ηγέτες κινδύνου, ποιοι τύποι ροών εργασιών ή περιπτώσεων είναι πιο ευάλωτοι στην αυτονομία των πρακτόρων σε δραστηριότητες υψηλότερου κινδύνου, και πώς μπορούν να ανιχνευτούν πρώιμα ενδείξεις πριν εξελιχθούν σε σημαντικά περιστατικά;

Ο κίνδυνος τείνει να αυξάνεται με την πολυπλοκότητα. Όσο περισσότερες επιλογές κάνει ένας πράκτορας ανεξάρτητα, τόσο μεγαλύτερος είναι ο potenzial για συμπεριφορική απόκλιση.

Η απόκλιση εμφανίζεται συχνά μέσω της αλυσίδας εργαλείων, της επαναχρησιμοποίησης του контεκστού και των αναδυόμενων ροών εργασιών. Πρώιμα ενδείξεις περιλαμβάνουν απροσδόκητη κλήση εργαλείων, ασυνήθιστους μοτίβους ακολουθίας και μεταβολές στη μετακίνηση δεδομένων. Η ανίχνευση αυτών των σημάτων απαιτεί ανάλυση συμπεριφοράς και όχι μόνο παρακολούθηση απομονωμένων γεγονότων.

Όταν οι πράκτορες του AI επαναχρησιμοποιούν контεκστ και εργαλεία σε διάφορες εργασίες, ποια είναι τα πιο λεπτά ή υποτιμημένα μοντέλα αποτυχίας που οι ομάδες ασφάλειας πρέπει να προσεχθούν;

Η επαναχρησιμοποίηση του контεκστού παραμένει υποτιμημένη. Η έκθεση συχνά προκύπτει όχι από υπερβολικά προνόμια αλλά από το πώς διαρκεί και προωθείται η πληροφορία σε διάφορες εργασίες.

Οι πράκτορες μπορούν να έχουν πρόσβαση σε δεδομένα εντός ενός контεκστού και να μεταφέρουν αυτή τη κατάσταση σε ένα άλλο. Σε συνδυασμό με την αλυσίδα εργαλείων, αυτό μπορεί να οδηγήσει σε απρόσμενο αποκάλυψη ή μετασχηματισμό ευαίσθητων πληροφοριών.

Πολλές οργανώσεις εξακολουθούν να βασίζονται σε παραδοσιακά εργαλεία ασφάλειας επιχειρήσεων, όπως τα Endpoint Detection and Response και τα Extended Detection and Response. Πού αυτά τα μοντέλα αποτυγχάνουν όταν διαχειρίζονται αυτόνομους πράκτορες του AI που thựcούν πολύπλοκες ενέργειες;

Τα EDR και XDR παραμένουν απαραίτητα, αλλά σχεδιάστηκαν γύρω από ανθρώπινα κεντρικά μοντέλα απειλών. Οι πράκτορες λειτουργούν σε επίπεδα λήψης αποφάσεων που επεκτείνονται πέρα από την τηλεμετρία της ταυτότητας και του τερματικού.

Η κατανόηση της συμπεριφοράς των πρακτόρων απαιτεί έμπνευση σε μοτίβους λήψης αποφάσεων, επιλογής εργαλείων και ροών контεκστο-εξαρτώμενης λήψης αποφάσεων. Χωρίς αυτό το επίπεδο, μεγάλα τμήματα της δραστηριότητας των πρακτόρων παραμένουν αδιαφανή.

Για τους ηγέτες IT, κινδύνου και ασφάλειας που θέλουν να ενεργοποιήσουν την καινοτομία αλλά να αποφύγουν την αυτονομία, τι είναι η “διακυβέρνηση της αυτονομίας” στην πράξη;

Η διακυβέρνηση της αυτονομίας αρχίζει με ορατότητα. Οι οργανώσεις πρέπει να κατανοήσουν πού λειτουργούν οι πράκτορες, ποια είναι η εξουσία λήψης αποφάσεων που κατέχουν και ποιοι κίνδυνοι εισάγονται από τις ικανότητές τους. Η διακυβέρνηση είναι πιο αποτελεσματική όταν ενσωματώνεται από νωρίς, επιτρέποντας πειραματισμούς εντός καθορισμένων ορίων. Αυτό υποστηρίζει την καινοτομία ενώ διατηρεί την εμπιστοσύνη στα αποτελέσματα.

Εξηγήστε πώς οι επιχειρήσεις πρέπει να σκέφτονται την εξηγήσιμη και την ελεγκσιμότητα όταν ο πραγματικός κίνδυνος μπορεί να κρύβεται στην ακολουθία ενεργειών που λαμβάνει ένας πράκτορας με τον χρόνο;

Η εξηγήσιμη του μοντέλου είναι μόνο ένα μέρος της εξίσωσης. Ο κίνδυνος της επιχείρησης αυξάνεται όλο και περισσότερο στις συμπεριφορικές ακολουθίες και όχι στα απομονωμένα αποτελέσματα.

Η ελεγκσιμότητα απαιτεί κατανόηση του πώς οι φρουροί διαμόρφωσαν την ερμηνεία, ποια εργαλεία κλήθηκαν και πώς ο контεκστ επηρέασε τις αποφάσεις. Η παρατηρησιμότητα της συμπεριφοράς γίνεται η βάση για την ευθύνη.

Για τις οργανώσεις που αναγνωρίζουν την ανάγκη για ισχυρότερη εποπτεία των αυτόνομων συστημάτων του AI, ποια είναι τα συγκεκριμένα βήματα που πρέπει να ληφθούν σήμερα για να μειώσουν τον κίνδυνο των πρακτόρων χωρίς να επιβραδύνουν την καινοτομία, και πώς η Geordie AI βοηθά συγκεκριμένα τις επιχειρήσεις να λειτουργούν αυτή τη στάση μεταξύ ελέγχου και ικανότητας;

Οι οργανώσεις ωφελούνται από το να αρχίσουν νωρίς παρά να περιμένουν τέλειες πλαισίων. Η αρχική εστίαση πρέπει να κεντρίσει την προσοχή στην απογραφή, την ορατότητα της συμπεριφοράς και την κατανόηση του πώς οι πράκτορες αλληλεπιδρούν με τα συστήματα.

Τα μοντέλα διακυβέρνησης που εισάγουν καθυστέρηση συχνά εμποδίζουν την κλιμάκωση. Η εποπτεία πρέπει να ευθυγραμμιστεί με την ταχύτητα λειτουργίας. Η Geordie παρέχει ορατότητα στην διαμόρφωση των πρακτόρων, τη συμπεριφορά και τη δυναμική του κινδύνου, ενώ επιτρέπει τον έλεγχο που σχεδιάζεται για αυτόνομα συστήματα.

Κοιτάζοντας μπροστά, τι θα διακρίνει τις οργανώσεις που θα επιτύχουν την κλιμάκωση των πρακτόρων του AI σε διάφορες ροές εργασιών από αυτές που θα υποστούν πισωγύρισμα λόγω ανεξέλεγκτου κινδύνου, και πώς πρέπει η ηγεσία να προετοιμαστεί τώρα;

Οι πρώτοι διαφοροποιητές θα είναι η σαφήνεια και η μέτρηση. Οι ομάδες που κατανοούν την ικανότητα των πρακτόρων, την επίδραση και τα μοτίβα της συμπεριφοράς τους θα κλιμακώσουν με μεγαλύτερη σιγουριά.

Μακροπρόθεσμα, το ανταγωνιστικό πλεονέκτημα θα ευνοήσει τις οργανώσεις που αναπτύσσουν εξειδικευμένα, контεκστο-εξαρτώμενα οικοσυστήματα πρακτόρων. Η ακρίβεια, και όχι η γενίκευση, γίνεται ο οδηγός της απόδοσης και της ανθεκτικότητας.

Ευχαριστούμε για τη μεγάλη συνέντευξη. Οι αναγνώστες που επιθυμούν να μάθουν περισσότερα μπορούν να επισκεφθούν την Geordie AI.