Ο Δρ. Peter Garraghan, Διευθύνων Σύμβουλος, Τεχνικός Διευθυντής και Συνιδρυτής της Mindgard – Σειρά Συνεντεύξεων

Ο Δρ. Peter Garraghan είναι Διευθύνων Σύμβουλος, Τεχνικός Διευθυντής και συνιδρυτής της Mindgard, η ηγέτης στην Ασφάλεια Τεστ Intelligence. Ιδρυθείσα στο Πανεπιστήμιο του Lancaster και υποστηριζόμενη από προηγμένα ερευνητικά αποτελέσματα, η Mindgard επιτρέπει στις οργανώσεις να ασφαλίσουν τα συστήματα Intelligence τους από νέες απειλές που τα παραδοσιακά εργαλεία ασφαλείας εφαρμογών δεν μπορούν να αντιμετωπίσουν. Ως Καθηγητής Επιστήμης Υπολογιστών στο Πανεπιστήμιο του Lancaster, ο Peter είναι ένας διεθνώς αναγνωρισμένος εμπειρός στην ασφάλεια Intelligence. Έχει αφιερώσει την καριέρα του στην ανάπτυξη προηγμένων τεχνολογιών για την καταπολέμηση των αυξανόμενων απειλών που αντιμετωπίζουν τα Intelligence. Με πάνω από 11,6 εκατομμύρια ευρώ σε ερευνητική χρηματοδότηση και πάνω από 60 δημοσιευμένα επιστημονικά έγγραφα, οι συνεισφορές του εκτείνονται και στην επιστημονική και πρακτική λύση.

Μπορείτε να μοιραστείτε την ιστορία πίσω από την ίδρυση της Mindgard; Τι σας έκανε να μεταβείτε από την ακαδημαϊκή σταδιοδρομία σε μια εταιρεία κυβερνοασφάλειας;

Η Mindgard γεννήθηκε από την επιθυμία να μετατρέψουμε τις ακαδημαϊκές ερευνες σε πραγματική επίδραση. Ως καθηγητής που ειδικεύεται σε υπολογιστικά συστήματα, ασφάλεια Intelligence και μηχανική μάθηση, είμαι οδηγημένος να αναζητήσω την επιστήμη που παράγει μεγάλη επίδραση στη ζωή των ανθρώπων. Από το 2014, έχω ερευνήσει τα Intelligence και τη μηχανική μάθηση, αναγνωρίζοντας το δυναμικό τους να μεταμορφώσουν την κοινωνία – και τους τεράστιους κινδύνους που προκαλούν, από επιθέσεις κρατών σε παρεμβολές εκλογών. Τα υπάρχοντα εργαλεία δεν ήταν κατασκευασμένα για να αντιμετωπίσουν αυτές τις προκλήσεις, οπότε ηγήθηκα μιας ομάδας επιστημόνων και μηχανικών για την ανάπτυξη καινοτόμων προσεγγίσεων στην ασφάλεια Intelligence. Η Mindgard εμφανίστηκε ως μια ερευνητική εταιρεία που επικεντρώνεται στην κατασκευή ουσιαστικών λύσεων για την προστασία από τις απειλές Intelligence, συνδυάζοντας προηγμένα ερευνητικά αποτελέσματα με δέσμευση στην εφαρμογή της βιομηχανίας.

Ποια προκλήσεις αντιμετωπίσατε ενώ δημιουργούσατε μια εταιρεία από το πανεπιστήμιο, και πώς τις ξεπεράσατε;

Ιδρύσαμε επίσημα την Mindgard τον Μάιο του 2022, και ενώ το Πανεπιστήμιο του Lancaster παρείχε μεγάλη υποστήριξη, η δημιουργία μιας εταιρείας spin-out από το πανεπιστήμιο απαιτεί περισσότερα από τα ερευνητικά δεξιοτήτια. Αυτό σήμαινε την άντληση κεφαλαίων, την εξευρέωση της αξίας της πρότασης, και την προετοιμασία της τεχνολογίας για demos – όλα αυτά ενώ ισορροπούσα το ρόλο μου ως καθηγητής. Οι ακαδημαϊκοί εκπαιδεύονται να είναι ερευνητές και να αναζητούν νέα επιστήμη. Οι spin-out επιτυγχάνουν όχι μόνο με την πρωτοποριακή τεχνολογία, αλλά και με το πώς αυτή η τεχνολογία αντιμετωπίζει τις άμεσες ή μελλοντικές επιχειρηματικές ανάγκες και παρέχει αξία που προσελκύει και διατηρεί τους χρήστες και τους πελάτες.

Το βασικό προϊόν της Mindgard είναι το αποτέλεσμα ετών έρευνας και ανάπτυξης. Μπορείτε να μιλήσετε για το πώς οι πρώτες φάσεις της έρευνας εξελίχθηκαν σε μια εμπορική λύση;

Το ταξίδι από την έρευνα σε μια εμπορική λύση ήταν μια σκόπιμη και επαναληπτική διαδικασία. Ξεκίνησε πριν από πάνω από μια δεκαετία, με την ομάδα μου στο Πανεπιστήμιο του Lancaster να εξερευνά τις θεμελιώδεις προκλήσεις στην ασφάλεια Intelligence και μηχανικής μάθησης. Αναγνωρίσαμε ευπαθειές στα συστήματα Intelligence που τα παραδοσιακά εργαλεία ασφαλείας, τόσο τα σκανάρισμα κώδικα όσο και τα τείχη προστασίας, δεν ήταν εξοπλισμένα για να αντιμετωπίσουν.

Με την πάροδο του χρόνου, η εστίασή μας μετατοπίστηκε από την ερευνητική εξερεύνηση στην κατασκευή προτύπων και τη δοκιμή τους σε σενάρια παραγωγής. Συνεργαζόμενοι με εταιρικούς συνεργάτες, βελτίωσαμε την προσέγγισή μας, διασφαλίζοντας ότι αντιμετωπίζει πρακτικές ανάγκες. Με πολλά προϊόντα Intelligence να εκκινούν χωρίς επαρκή δοκιμές ασφαλείας ή εγγυήσεις, αφήνοντας τις οργανώσεις ευάλωτες – ένα ζήτημα που υπογραμμίστηκε από μια Gartner που βρήκε ότι το 29% των επιχειρήσεων που αναπτύσσουν συστήματα Intelligence έχουν αναφέρει παραβιάσεις ασφαλείας, και μόνο το 10% των εσωτερικών ελεγκτών έχουν ορατότητα στο ρίσκο Intelligence – ένιωσα ότι η ώρα ήταν σωστή για την εμπορική εκμετάλλευση της λύσης.

Ποια είναι κάποια από τα βασικά ορόσημα στη διαδρομή της Mindgard από την ίδρυσή της το 2022;

Τον Σεπτέμβριο του 2023, εξασφαλίσαμε 3 εκατομμύρια λίρες σε χρηματοδότηση, με ηγεσία από την IQ Capital και την Lakestar, για να επιταχύνουμε την ανάπτυξη της λύσης της Mindgard. Έχουμε能够 να δημιουργήσουμε μια εξαιρετική ομάδα ηγετών που είναι πρώην Snyk, Veracode και Twilio για να ωθήσουμε την εταιρεία μας στο επόμενο στάδιο της διαδρομής της. Είμαστε υπερήφανοι για την αναγνώριση μας ως το πιο καινοτόμο Κυβερνοασφάλειας SME στην Infosecurity Europe αυτό το έτος. Σήμερα, έχουμε 15 πλήρους απασχόλησης υπαλλήλους, 10 ερευνητές PhD (και περισσότερους που είναι ενεργά να προσλαμβάνονται), και προσλαμβάνουμε ενεργά αναλυτές ασφαλείας και μηχανικούς για να ενταχθούν στην ομάδα. Προβλέποντας, σχεδιάζουμε να επεκτείνουμε την παρουσία μας στις Ηνωμένες Πολιτείες, με μια νέα χρηματοδότηση από επενδυτές της Βοστώνης που παρέχει μια ισχυρή βάση για αυτή την ανάπτυξη.

Καθώς οι επιχειρήσεις υιοθετούν όλο και περισσότερο τα Intelligence, ποια είναι οι πιο επείγουσες απειλές ασφαλείας που αντιμετωπίζουν σήμερα;

Πολυάριθμες οργανώσεις υποτιμούν τους κινδύνους ασφαλείας που συνδέονται με τα Intelligence. Είναι εξαιρετικά δύσκολο για μη ειδικούς να κατανοήσουν πώς λειτουργούν τα Intelligence – ακόμη και με έμπειρους τεχνολόγους που είναι εμπειρογνώμονες στην ασφάλεια υποδομής και προστασίας δεδομένων. Δαπανάω σημαντικό χρόνο για να απομυθοποιήσω την ασφάλεια Intelligence, ακόμη και με εποικισμένους τεχνολόγους που είναι εμπειρογνώμονες στην ασφάλεια υποδομής και προστασίας δεδομένων. Στο τέλος της ημέρας, τα Intelligence είναι ουσιαστικά λογισμικό και δεδομένα που τρέχουν σε υλικό. Αλλά εισάγουν μοναδικές ευπαθειές που διαφέρουν από τα παραδοσιακά συστήματα και οι απειλές από την συμπεριφορά των Intelligence είναι πολύ υψηλότερες και πιο δύσκολο να ελεγχθούν όταν συγκρίνονται με άλλα λογισμικά.

Έχετε ανακαλύψει ευπαθειές σε συστήματα όπως τα φίλτρα περιεχομένου AI της Microsoft (MSFT ). Πώς επηρεάζουν αυτές οι ανακαλύψεις την ανάπτυξη της πλατφόρμας σας;

Οι ευπαθειές που ανακαλύψαμε στα φίλτρα περιεχομένου AI της Microsoft ήταν λιγότερο για την塑造 της ανάπτυξης της πλατφόρμας μας, και περισσότερο για την επίδειξη των ικανοτήτων της.

Το Azure AI Content Safety είναι μια υπηρεσία που σχεδιάστηκε για να προστατεύσει τις εφαρμογές AI με τη μεσολάβηση περιεχομένου που μπορεί να είναι επιβλαβές. Οι ευπαθειές που ανακαλύψαμε στην υπηρεσία AI Text Moderation (η οποία μπλοκάρει επιβλαβές περιεχόμενο όπως μίσος, σεξουαλικό υλικό, κ.λπ.) και Prompt Shield (η οποία αποτρέπει τις jailbreaks και τις ενέσεις προτύπων) μπορούσαν να εκμεταλλευτούν για να εκκινήσουν ευρύτερες επιθέσεις, να υπονομεύσουν την εμπιστοσύνη στα συστήματα GenAI και να危italize την ακεραιότητα των εφαρμογών που βασίζονται στα Intelligence για λήψη αποφάσεων και επεξεργασία πληροφοριών.

Ως τον Οκτώβριο του 2024, η Microsoft έχει εφαρμόσει ισχυρότερες μετριάσεις για να αντιμετωπίσει αυτά τα ζητήματα. Ωστόσο, συνεχίζουμε να υποστηρίζουμε την αυξημένη επιφυλακή όταν αναπτύσσουμε φράγμες Intelligence. Συμπληρωματικά μέτρα, όπως πρόσθετα εργαλεία μεσολάβησης ή η χρήση LLMs που είναι λιγότερο ευάλωτα σε επιβλαβές περιεχόμενο και jailbreaks, είναι απαραίτητα για την εγγύηση της ασφάλειας Intelligence.

Μπορείτε να εξηγήσετε τη σημασία των “jailbreaks” και “prompt manipulation” στα συστήματα Intelligence, και γιατί αποτελούν μια τόσο μοναδική πρόκληση;

Μια jailbreak είναι ένας τύπος ευπαθειότητας ένεσης προτύπων όπου ένας κακόβουλος actor μπορεί να εκμεταλλευτεί ένα LLM για να ακολουθήσει οδηγίες αντίθετες με την προβλεπόμενη χρήση. Οι εισαγωγές που επεξεργάζονται από τα LLMs περιέχουν τόσο οδηγίες από τον σχεδιαστή της εφαρμογής όσο και μη αξιόπιστες εισαγωγές χρήστη, επιτρέποντας επιθέσεις όπου η μη αξιόπιστη εισαγωγή χρήστη υπερβαίνει τις οδηγίες. Αυτό έχει ομοιότητες με τον τρόπο που μια ευπαθειότητα ένεσης SQL επιτρέπει την μη αξιόπιστη εισαγωγή χρήστη να αλλάξει μια ερώτηση βάσης δεδομένων. Το πρόβλημα όμως είναι ότι αυτοί οι κίνδυνοι μπορούν να ανιχνευτούν μόνο κατά τη διάρκεια της εκτέλεσης, δεδομένου ότι ο κώδικας ενός LLM είναι ουσιαστικά ένας τεράστιος πίνακας αριθμών σε μη ανθρώπινο διαβάσιμο формά.

Για παράδειγμα, η ερευνητική ομάδα της Mindgard εξέτασε πρόσφατα μια περίπλοκη μορφή jailbreak επιθέσεων. Περιέχει την ενσωμάτωση κρυφών μηνυμάτων ήχου μέσα σε εισαγωγές ήχου που είναι ανίχνευτες από ανθρώπινους ακροατές αλλά αναγνωρίζονται και εκτελούνται από τα LLMs. Κάθε ενσωματωμένο μήνυμα περιείχε μια προσαρμοσμένη εντολή jailbreak μαζί με μια ερώτηση που σχεδιάστηκε για μια συγκεκριμένη περίπτωση. Έτσι, σε ένα σενάριο ιατρικού chatbot, το κρυφό μήνυμα θα μπορούσε να προκαλέσει το chatbot να παρέχει επικίνδυνες οδηγίες, όπως πώς να συνθέσει μεθαμφεταμίνη, που θα μπορούσε να οδηγήσει σε σοβαρές ζημιές στην εταιρική εικόνα αν η απάντηση του chatbot ληφθεί σοβαρά.

Η πλατφόρμα της Mindgard αναγνωρίζει τέτοιες jailbreaks και πολλές άλλες ευπαθειές ασφαλείας στα μοντέλα Intelligence και τον τρόπο που οι επιχειρήσεις έχουν εφαρμόσει αυτά στα συστήματά τους, οπότε οι ηγέτες ασφαλείας μπορούν να διασφαλίσουν ότι η εφαρμογή τους που βασίζεται στα Intelligence είναι ασφαλής από σχεδιασμό και παραμένει ασφαλής.

Πώς αντιμετωπίζει η πλατφόρμα της Mindgard τις ευπαθειές σε διαφορετικά είδη μοντέλων Intelligence, από τα LLMs στα συστήματα multi-modal;

Η πλατφόρμα μας αντιμετωπίζει ένα ευρύ φάσμα ευπαθειών внутри των Intelligence, που περιλαμβάνει ένεση προτύπων, jailbreaks, εξαγωγή (κλοπή μοντέλων), αναστροφή (αναστροφή δεδομένων), διαρροή δεδομένων, και παρέκκλιση (παράκαμψη ανίχνευσης), και πολλά άλλα. Όλα τα είδη μοντέλων Intelligence (είτε LLM είτε multi-modal) παρουσιάζουν ευπαθειότητα σε αυτούς τους κινδύνους – το κόλπο είναι να ανακαλύψουμε ποιες συγκεκριμένες τεχνικές που προκαλούν αυτές τις ευπαθειές για να παράγουν ένα ζήτημα ασφαλείας. Στη Mindgard, έχουμε μια μεγάλη ομάδα R&D που ειδικεύεται στην ανακάλυψη και την εφαρμογή νέων τύπων επιθέσεων στην πλατφόρμα μας, οπότε οι χρήστες μπορούν να παραμείνουν ενημερωμένοι ενάντια στους κινδύνους της τελευταίας τεχνολογίας.

Τι ρόλο παίζει το red teaming στην ασφάλεια των συστημάτων Intelligence, και πώς η πλατφόρμα σας καινοτομεί σε αυτόν τον χώρο;

Το red teaming είναι ένα κρίσιμο στοιχείο της ασφάλειας Intelligence. Με την συνεχής προσομοίωση των επιθετικών επιθέσεων, το red teaming αναγνωρίζει τις ευπαθειές στα συστήματα Intelligence, βοηθώντας τις οργανώσεις να μετριάσουν τους κινδύνους και να επιταχύνουν την υιοθέτηση των Intelligence. Παρά την σημασία του, το red teaming στα Intelligence λείπει από стандάρδωση, οδηγώντας σε ασυνέπεια στην αξιολόγηση των απειλών και τις στρατηγικές μείωσης. Αυτό κάνει δύσκολο να συγκρίνουμε αντικειμενικά την ασφάλεια διαφορετικών συστημάτων ή να παρακολουθήσουμε τις απειλές αποτελεσματικά.

Για να αντιμετωπίσουμε αυτό, εισαγάγαμε το MITRE ATLAS™ Adviser, μια λειτουργία που σχεδιάστηκε για να стандάρδωση την αναφορά red teaming και να ροηματοποιήσει τις συστηματικές πρακτικές red teaming. Αυτό επιτρέπει στις επιχειρήσεις να διαχειρίζονται καλύτερα τους κινδύνους της ημέρας ενώ προετοιμάζονται για τις μελλοντικές απειλές καθώς οι ικανότητες των Intelligence εξελίσσονται. Με μια πλήρη βιβλιοθήκη προηγμένων επιθέσεων που αναπτύχθηκαν από την ομάδα R&D μας, η Mindgard υποστηρίζει το red teaming των multi-modal Intelligence, καλύπτοντας τα παραδοσιακά και GenAI μοντέλα. Η πλατφόρμα μας αντιμετωπίζει τους κρίσιμους κινδύνους για την ιδιωτικότητα, την ακεραιότητα, την κακοποίηση, και τη διαθεσιμότητα, διασφαλίζοντας ότι οι επιχειρήσεις είναι εξοπλισμένες για να ασφαλίσουν αποτελεσματικά τα συστήματά τους Intelligence.

Πώς βλέπετε το προϊόν σας να ταιριάζει στη διαδικασία MLOps για τις επιχειρήσεις που αναπτύσσουν Intelligence σε κλίμακα;

Η Mindgard σχεδιάστηκε για να ενσωματωθεί ομαλά στις υπάρχουσες αυτοματοποιήσεις CI/CD και όλα τα στάδια SDLC, απαιτώντας μόνο einen σημείο ή API για την ενσωμάτωση του μοντέλου. Η λύση μας σήμερα εκτελεί Δυναμική Ανίχνευση Ασφαλείας Εφαρμογών Intelligence (DAST-AI). Αυτή ενδυναμώνει τους πελάτες μας να εκτελούν συνεχείς δοκιμές ασφαλείας σε όλα τα Intelligence τους σε όλη τη διάρκεια του κύκλου ζωής του build και buy. Για τις επιχειρήσεις, χρησιμοποιείται από πολλαπλά πρόσωπα. Οι ομάδες ασφαλείας χρησιμοποιούν την για να κερδίσουν ορατότητα και να ανταποκριθούν γρήγορα σε κινδύνους από τους dévelopers που κατασκευάζουν και χρησιμοποιούν Intelligence, για να δοκιμάσουν και να αξιολογήσουν τις φράγμες ασφαλείας και τις λύσεις WAF, και για να αξιολογήσουν τους κινδύνους μεταξύ των προσαρμοσμένων μοντέλων Intelligence και των βασικών μοντέλων. Οι pentesters και οι αναλυτές ασφαλείας χρησιμοποιούν την Mindgard για να κλιμακώσουν τις προσπάθειές τους red teaming Intelligence, ενώ οι dévelopers επωφελούνται από την ενσωματωμένη συνεχή δοκιμή των αναπτύξεων Intelligence τους.

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν Mindgard.