Δρ. Peter Garraghan, CEO, CTO & Συνιδρυτής tại Mindgard – Σειρά Συνεντεύξεων

Δρ. Peter Garraghan είναι CEO, CTO & συνιδρυτής tại Mindgard, τον ηγέτη στην Ασφάλεια Τεστ Artificial Intelligence. Ιδρυθείς στο Πανεπιστήμιο του Lancaster και υποστηριζόμενος από έρευνα στο μέτωπο της τεχνολογίας, η Mindgard επιτρέπει στους οργανισμούς να ασφαλίσουν τα συστήματά τους AI από новые απειλές που τα παραδοσιακά εργαλεία ασφάλειας εφαρμογών δεν μπορούν να αντιμετωπίσουν. Ως Καθηγητής Επιστήμης Υπολογιστών στο Πανεπιστήμιο του Lancaster, ο Peter είναι διεθνώς αναγνωρισμένος εμπειρογνώμων στην ασφάλεια AI. Έχει αφιερώσει την καριέρα του στην ανάπτυξη προηγμένων τεχνολογιών για την καταπολέμηση των αυξανόμενων απειλών που αντιμετωπίζουν τα AI. Με πάνω από 11,6 εκατομμύρια ευρώ σε финансировση ερεύνης και περισσότερες από 60 δημοσιευμένες επιστημονικές εργασίες, οι συνεισφορές του καλύπτουν τόσο την επιστημονική καινοτομία όσο και τις πρακτικές λύσεις.

Μπορείτε να μοιραστείτε την ιστορία πίσω από την ίδρυση της Mindgard; Τι σας ενέπνευσε να μεταβείτε από την ακαδημαϊκή σταδιοδρομία στην εκκίνηση ενός startup κυβερνοασφάλειας;

Η Mindgard γεννήθηκε από την επιθυμία να μετατρέψει τις ακαδημαϊκές ερευνες σε πραγματικές επιπτώσεις. Ως καθηγητής που ειδικεύεται σε υπολογιστικά συστήματα, ασφάλεια AI και машинική μάθηση, έχω οδηγηθεί να ακολουθήσω την επιστήμη που παράγει μεγάλης κλίμακας επιπτώσεις στη ζωή των ανθρώπων. Από το 2014, έχω ερευνήσει τα AI και τη машинική μάθηση, αναγνωρίζοντας το δυναμικό τους να μεταμορφώσουν την κοινωνία – και τους τεράστιους κινδύνους που προκαλούν, από επιθέσεις κρατών έως παρέμβαση σε εκλογές. Τα υπάρχοντα εργαλεία δεν είχαν σχεδιαστεί για να αντιμετωπίσουν αυτές τις προκλήσεις, οπότε ηγήθηκα μιας ομάδας επιστημόνων και μηχανικών για την ανάπτυξη καινοτόμων προσεγγίσεων στην ασφάλεια AI. Η Mindgard προέκυψε ως μια ερευνητική εταιρεία που επικεντρώνεται στην ανάπτυξη ουσιαστικών λύσεων για την προστασία από τις απειλές AI, συνδυάζοντας την έρευνα στο μέτωπο της τεχνολογίας με την αφοσίωση στην εφαρμογή της βιομηχανίας.

Ποίες προκλήσεις αντιμετωπίσατε ενώ δημιουργούσατε μια εταιρεία από το πανεπιστήμιο, και πώς τις ξεπεράσατε;

Ιδρύσαμε επίσημα την Mindgard τον Μάιο του 2022, και ενώ το Πανεπιστήμιο του Lancaster παρείχε μεγάλη υποστήριξη, η δημιουργία μιας spin-out από το πανεπιστήμιο απαιτεί περισσότερα από απλές ερευνητικές ικανότητες. Αυτό σήμαινε την ανεύρεση κεφαλαίου, την επιμέλεια της αξίας πρότασης, και την προετοιμασία της τεχνολογίας για demos – όλα αυτά ενώ ισορροπούσα το ρόλο μου ως καθηγητής. Οι ακαδημαϊκοί εκπαιδεύονται να είναι ερευνητές και να ακολουθούν νέα επιστήμη. Οι spin-out επιτυγχάνουν όχι μόνο με την πρωτοποριακή τεχνολογία, αλλά και με το πώς καλά αυτή η τεχνολογία αντιμετωπίζει τις άμεσες ή μελλοντικές επιχειρηματικές ανάγκες και παρέχει αξία που προσελκύει και διατηρεί χρήστες και πελάτες.

Το βασικό προϊόν της Mindgard είναι το αποτέλεσμα ετών ερεύνης και ανάπτυξης. Μπορείτε να μιλήσετε για το πώς οι πρώιμες стадίες της ερεύνης εξελίχθηκαν σε μια εμπορική λύση;

Το ταξίδι από την έρευνα σε μια εμπορική λύση ήταν một σκόπιμη και επαναληπτική διαδικασία. Ξεκίνησε πάνω από μια δεκαετία πριν, με την ομάδα μου στο Πανεπιστήμιο του Lancaster να εξερευνά τις θεμελιώδεις προκλήσεις στην ασφάλεια AI και τη машинική μάθηση. Αναγνωρίσαμε ευπαθειές σε συστήματα AI που τα παραδοσιακά εργαλεία ασφάλειας, τόσο το σκανάρισμα κώδικα όσο και τα τείχη προστασίας, δεν ήταν εξοπλισμένα για να αντιμετωπίσουν.

Με τον καιρό, η εστίασή μας μετατοπίστηκε από την ερευνητική εξερεύνηση στην ανάπτυξη πρωτοτύπων και τη δοκιμή τους σε σενάρια παραγωγής. Συνεργαζόμενοι με εταιρικούς συνεργάτες, βελτίωσαμε την προσέγγισή μας, διασφαλίζοντας ότι αντιμετωπίζει πρακτικές ανάγκες. Με πολλά προϊόντα AI να εκκινούν χωρίς επαρκείς δοκιμές ασφάλειας ή εγγυήσεις, αφήνοντας τους οργανισμούς ευάλωτους – ένα ζήτημα που υπογραμμίζεται από μια Gartner εύρεση ότι το 29% των επιχειρήσεων που αναπτύσσουν συστήματα AI έχουν αναφέρει παραβιάσεις ασφάλειας, και μόνο το 10% των εσωτερικών ελεγκτών έχει ορατότητα στο ρίσκο AI — ένιωσα ότι η στιγμή ήταν σωστή για την εμπορική εκμετάλλευση της λύσης.

Ποίες είναι κάποιες από τις βασικές ορόσημες στη διαδρομή της Mindgard από την ίδρυσή της το 2022;

Τον Σεπτέμβριο του 2023, εξασφαλίσαμε 3 εκατομμύρια στερλίνες σε финансировση, με ηγεσία από την IQ Capital και την Lakestar, για την επιτάχυνση της ανάπτυξης της λύσης Mindgard. Μας ήταν δυνατό να δημιουργήσουμε μια εξαιρετική ομάδα ηγετών που είναι πρώην Snyk, Veracode, και Twilio, για να οδηγήσουν την εταιρεία μας στο επόμενο στάδιο της διαδρομής της. Είμαστε υπερήφανοι για την αναγνώριση μας ως το πιο καινοτόμο SME κυβερνοασφάλειας του Ηνωμένου Βασιλείου στο Infosecurity Europe φέτος. Σήμερα, έχουμε 15 πλήρους απασχόλησης υπαλλήλους, 10 ερευνητές PhD (και περισσότερους που προσλαμβάνονται ενεργά), και προσλαμβάνουμε ενεργά αναλυτές ασφάλειας και μηχανικούς για να ενταχθούν στην ομάδα. Προβλέποντας, σχεδιάζουμε να επεκτείνουμε την παρουσία μας στις ΗΠΑ, με μια νέα γύρο финансировσης από επενδυτές της Βοστώνης να παρέχει μια ισχυρή βάση για αυτή την επέκταση.

Καθώς οι επιχειρήσεις υιοθετούν όλο και περισσότερο τα AI, ποίες είναι οι πιο επείγουσες απειλές κυβερνοασφάλειας που αντιμετωπίζουν σήμερα;

Πολλοί οργανισμοί υποτιμούν τους κινδύνους κυβερνοασφάλειας που συνδέονται με τα AI. Είναι εξαιρετικά δύσκολο για μη ειδικούς να κατανοήσουν πώς λειτουργούν πραγματικά τα AI, πόσο μάλλον ποίες είναι οι επιπτώσεις ασφάλειας για την επιχείρησή τους. Ξοδεύω σημαντικό χρόνο για να απομυθοποιήσω την ασφάλεια AI, ακόμη και με έμπειρους τεχνολόγους που είναι εμπειρογνώμονες στην ασφάλεια υποδομής και προστασίας δεδομένων. Στο τέλος της ημέρας, τα AI είναι απλώς λογισμικό και δεδομένα που τρέχουν σε υλικό. Αλλά εισάγουν μοναδικές ευπαθειές που διαφέρουν από τα παραδοσιακά συστήματα και οι απειλές από τη συμπεριφορά AI είναι πολύ υψηλότερες και πιο δύσκολο να ελεγχθούν όταν συγκρίνονται με άλλα λογισμικά.

Έχετε αποκαλύψει ευπαθειές σε συστήματα όπως τα φίλτρα περιεχομένου AI της Microsoft. Πώς αυτές οι ανακαλύψεις επηρεάζουν την ανάπτυξη της πλατφόρμας σας;

Οι ευπαθειές που ανακαλύψαμε στα φίλτρα περιεχομένου AI της Microsoft Azure ήταν λιγότερο για το σχήμα της ανάπτυξης της πλατφόρμας μας και περισσότερο για την επίδειξη των ικανοτήτων της.

Azure AI Content Safety είναι μια υπηρεσία που σχεδιάστηκε για να προστατεύσει τις εφαρμογές AI με τη μεσολάβηση περιεχομένου που είναι επιζήμιο. Οι ευπαθειές που ανακαλύφθηκαν από την ομάδα μας επηρέασαν την υπηρεσία AI Text Moderation (η οποία μπλοκάρει επιζήμιο περιεχόμενο όπως μίσος και σεξουαλικό υλικό) και Prompt Shield (η οποία αποτρέπει τις jailbreaks και τις ενέσεις προτύπων). Αν αφεθούν ανεμπόδιστες, αυτή η ευπαθής μπορεί να εκμεταλλευτεί για να εκκινήσει ευρύτερες επιθέσεις, να υπονομεύσει την εμπιστοσύνη στα συστήματα GenAI και να危險σει την ακεραιότητα της εφαρμογής που βασίζεται στα AI για λήψη αποφάσεων και επεξεργασία πληροφοριών.

Ως τον Οκτώβριο του 2024, η Microsoft έχει εφαρμόσει ισχυρότερες μετριάσεις για να αντιμετωπίσει αυτά τα ζητήματα. Ωστόσο, συνεχίζουμε να υποστηρίζουμε την αυξημένη επιφυλακή όταν αναπτύσσουμε φραγμούς AI. Συμπληρωματικά μέτρα, όπως πρόσθετα εργαλεία μεσολάβησης ή η χρήση LLMs που είναι λιγότερο ευάλωτα σε επιζήμιο περιεχόμενο και jailbreaks, είναι απαραίτητα για την εγγύηση της ρομποτικής ασφάλειας AI.

Μπορείτε να εξηγήσετε τη σημασία των “jailbreaks” και “prompt manipulation” στα συστήματα AI, και γιατί προκαλούν τέτοιες μοναδικές προκλήσεις;

Μια jailbreak είναι ένας τύπος ευπαθειότητας ένεσης προτύπων όπου ένας κακόβουλος actor μπορεί να εκμεταλλευτεί ένα LLM για να ακολουθήσει οδηγίες αντίθετες στη σχεδιασμένη χρήση. Οι εισαγωγές που επεξεργάζονται από τα LLMs περιέχουν τόσο τις οδηγίες του σχεδιαστή της εφαρμογής όσο και τις αξιόπιστες εισαγωγές του χρήστη, ermögνοντας επιθέσεις όπου η αξιόπιστη εισαγωγή του χρήστη υπερβαίνει τις οδηγίες. Αυτό έχει ομοιότητες με τον τρόπο που μια ευπαθής ένεσης SQL ermögňuje την αξιόπιστη εισαγωγή του χρήστη να αλλάξει μια ερώτηση βάσης δεδομένων. Το πρόβλημα όμως είναι ότι αυτοί οι κίνδυνοι μπορούν να ανιχνευτούν μόνο σε χρόνο εκτέλεσης, δεδομένου ότι ο κώδικας eines LLM είναι αποτελεσματικά ένας巨αντιαίος πίνακας αριθμών σε μη ανθρώπινο διαβάσιμο μορφότυπο.

Για παράδειγμα, η ερευνητική ομάδα της Mindgard εξέτασε πρόσφατα μια σύνθετη μορφή επιθέσεων jailbreak. Περιέχει την ενσωμάτωση κρυφών μηνυμάτων ήχου μέσα σε εισαγωγές ήχου που είναι ανίχνευτες από ανθρώπινους ακροατές αλλά αναγνωρίζονται και εκτελούνται από LLMs. Κάθε ενσωματωμένο μήνυμα περιείχε μια προσαρμοσμένη οδηγία jailbreak μαζί με μια ερώτηση σχεδιασμένη για ένα συγκεκριμένο σενάριο. Έτσι, σε ένα σενάριο ιατρικού chatbot, το κρυφό μήνυμα θα μπορούσε να προκαλέσει το chatbot να παρέχει επικίνδυνες οδηγίες, όπως πώς να συνθέσει μεθαμφεταμίνη, που θα μπορούσε να οδηγήσει σε σοβαρές ζημιές στην εταιρική εικόνα αν η απάντηση του chatbot ληφθεί σοβαρά.

Η πλατφόρμα της Mindgard αναγνωρίζει τέτοιες jailbreaks και πολλές άλλες ευπαθειές ασφάλειας σε μοντέλα AI και τον τρόπο που οι επιχειρήσεις έχουν εφαρμόσει αυτά τα μοντέλα στις εφαρμογές τους, ώστε οι ηγέτες ασφάλειας να μπορούν να διασφαλίσουν ότι η εφαρμογή AI τους είναι ασφαλής από σχεδιασμό και παραμένει ασφαλής.

Πώς αντιμετωπίζει η πλατφόρμα της Mindgard τις ευπαθειές σε διαφορετικά είδη μοντέλων AI, από LLMs σε πολυμορφικά συστήματα;

Η πλατφόρμα μας αντιμετωπίζει ένα ευρύ φάσμα ευπαθειών μέσα στα AI, που περιλαμβάνουν ένεση προτύπων, jailbreaks, εξαγωγή (κλοπή μοντέλων), αναστροφή (αναστροφή δεδομένων), διαρροή δεδομένων, και αποφυγή (παράκαμψη ανίχνευσης), και πολλά άλλα. Όλα τα είδη μοντέλων AI (είτε LLM είτε πολυμορφικά) παρουσιάζουν ευπαθειές σε αυτούς τους κινδύνους – το κόλπο είναι να ανακαλυφθούν ποιες συγκεκριμένες τεχνικές που προκαλούν αυτές τις ευπαθειές για να παράγουν ένα ζήτημα ασφάλειας. Στη Mindgard, έχουμε μια μεγάλη ερευνητική ομάδα που ειδικεύεται στην ανακάλυψη και την εφαρμογή νέων τύπων επιθέσεων στην πλατφόρμα μας, ώστε οι χρήστες να μπορούν να παραμείνουν ενημερωμένοι ενάντια στα state-of-the-art ρίσκα.

Τι ρόλο παίζει το red teaming στην ασφάλεια των συστημάτων AI, και πώς η πλατφόρμα σας καινοτομεί σε αυτόν τον χώρο;

Το red teaming είναι ένα κρίσιμο στοιχείο της ασφάλειας AI. Με την συνεχή προσομοίωση των επιθέσεων, το red teaming αναγνωρίζει τις ευπαθειές στα συστήματα AI, βοηθώντας τις οργανώσεις να μετριάσουν τους κινδύνους και να επιταχύνουν την υιοθέτηση AI.尽管 η σημασία του, το red teaming στα AI λείπει από стандάρδωση, οδηγώντας σε ασυνέπειες στην αξιολόγηση απειλών και στρατηγικές μετριάσεων. Αυτό καθιστά δύσκολο να συγκρίνουμε αντικειμενικά την ασφάλεια διαφορετικών συστημάτων ή να παρακολουθήσουμε αποτελεσματικά τις απειλές.

Για να αντιμετωπίσουμε αυτό, εισαγάγαμε το MITRE ATLAS™ Adviser, μια λειτουργία που σχεδιάστηκε για να стандάρδισε την αναφορά red teaming AI και να ροηματοποιήσει τις συστηματικές πρακτικές red teaming. Αυτό ermögνει στις επιχειρήσεις να διαχειριστούν καλύτερα τους κινδύνους της ημέρας ενώ προετοιμάζονται για τις μελλοντικές απειλές καθώς οι ικανότητες AI εξελίσσονται. Με μια πλήρη βιβλιοθήκη προηγμένων επιθέσεων που αναπτύχθηκαν από την ερευνητική μας ομάδα, η Mindgard υποστηρίζει το red teaming πολυμορφικών AI, καλύπτοντας τόσο τα παραδοσιακά όσο και τα GenAI μοντέλα. Η πλατφόρμα μας αντιμετωπίζει κρίσιμους κινδύνους για την ιδιωτικότητα, την ακεραιότητα, την κακοποίηση, και τη διαθεσιμότητα, διασφαλίζοντας ότι οι επιχειρήσεις είναι εξοπλισμένες για να ασφαλίσουν αποτελεσματικά τα συστήματα AI τους.

Πώς βλέπετε το προϊόν σας να ταιριάζει στη διαδικασία MLOps για τις επιχειρήσεις που αναπτύσσουν AI σε κλίμακα;

Η Mindgard σχεδιάστηκε για να ενσωματωθεί ομαλά στις υφιστάμενες αυτοματοποιήσεις CI/CD και όλα τα στάδια SDLC, απαιτώντας μόνο einen σημείο ένταξης ή API για την ολοκλήρωση του μοντέλου. Η λύση μας σήμερα thực hiện Dynamic Application Security Testing των μοντέλων AI (DAST-AI). Αυτό ermögνει στους πελάτες μας να thực hiện συνεχείς δοκιμές ασφάλειας σε όλα τα AI τους σε όλη τη διάρκεια της ζωής κατασκευής και αγοράς. Για τις επιχειρήσεις, χρησιμοποιείται από πολλαπλά πρόσωπα. Οι ομάδες ασφάλειας χρησιμοποιούν τη λύση για να αποκτήσουν ορατότητα και να ανταποκριθούν γρήγορα στους κινδύνους από τους développers που κατασκευάζουν και χρησιμοποιούν AI, για να δοκιμάσουν και να αξιολογήσουν τα φράγματα AI και τις λύσεις WAF, και για να αξιολογήσουν τους κινδύνους μεταξύ των προσαρμοσμένων μοντέλων AI και των βασικών μοντέλων. Οι pentesters και οι αναλυτές ασφάλειας χρησιμοποιούν τη Mindgard για να κλιμακώσουν τις προσπάθειες red teaming AI, ενώ οι développers ωφελούνται από την ενσωματωμένη συνεχή δοκιμή των αναπτύξεων AI τους.

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν Mindgard.