Dr. Peter Garraghan, CEO, CTO & Co-Founder bei Mindgard – Interview-Serie

Dr. Peter Garraghan ist CEO, CTO und Co-Founder von Mindgard, dem Marktführer im Bereich künstliche Intelligenz und Sicherheitstests. Gegründet an der Lancaster University und unterstützt durch bahnbrechende Forschung, ermöglicht Mindgard es Organisationen, ihre KI-Systeme vor neuen Bedrohungen zu schützen, die herkömmliche Sicherheitstools nicht abdecken können. Als Professor für Informatik an der Lancaster University ist Peter ein international anerkannter Experte im Bereich KI-Sicherheit. Er hat seine Karriere der Entwicklung von fortschrittlichen Technologien zur Bekämpfung der wachsenden Bedrohungen im Bereich KI gewidmet. Mit über 11,6 Millionen Euro an Forschungsmitteln und mehr als 60 veröffentlichten wissenschaftlichen Artikeln umfassen seine Beiträge sowohl wissenschaftliche Innovation als auch praktische Lösungen.

Können Sie die Geschichte hinter der Gründung von Mindgard teilen? Was hat Sie dazu bewogen, von der akademischen Laufbahn zu einem Cybersicherheits-Startup zu wechseln?

Mindgard entstand aus dem Wunsch, akademische Erkenntnisse in realen Einfluss umzusetzen. Als Professor für Rechnersysteme, KI-Sicherheit und maschinelles Lernen bin ich von der Idee getrieben, Wissenschaft zu betreiben, die einen großen Einfluss auf das Leben der Menschen hat. Seit 2014 habe ich KI und maschinelles Lernen erforscht und ihre Potenziale zur Umgestaltung der Gesellschaft erkannt – und die enormen Risiken, die sie birgt, von Angriffen durch Nationen bis hin zu Wahlbeeinflussung. Bestehende Tools waren nicht darauf ausgelegt, diese Herausforderungen zu meistern, also leitete ich ein Team von Wissenschaftlern und Ingenieuren, um innovative Ansätze in der KI-Sicherheit zu entwickeln. Mindgard entstand als forschungsgetriebenes Unternehmen, das sich auf die Entwicklung von greifbaren Lösungen zur Abwehr von KI-Bedrohungen konzentriert, indem es bahnbrechende Forschung mit einem Engagement für industrielle Anwendung verbindet.

Welche Herausforderungen haben Sie bei der Gründung eines Unternehmens aus einer Universität erlebt, und wie haben Sie sie überwunden?

Wir gründeten Mindgard offiziell im Mai 2022, und obwohl die Lancaster University großartige Unterstützung bot, erfordert die Gründung eines Universitäts-Spin-Offs mehr als nur Forschungsfähigkeiten. Das bedeutete, Kapital aufzubringen, den Wertvorschlag zu verfeinern und die Technologie für Demos bereitzustellen – all dies, während ich meine Rolle als Professor ausglich. Akademiker werden dazu ausgebildet, Forscher zu sein und neue Wissenschaft zu betreiben. Spin-Offs sind erfolgreich, nicht nur aufgrund bahnbrechender Technologie, sondern auch, weil diese Technologie die aktuellen oder zukünftigen Geschäftsbedürfnisse und den Nutzen, der Benutzer und Kunden anzieht und behält, angemessen anspricht.

Mindgards Kernprodukt ist das Ergebnis von Jahren der Forschung und Entwicklung. Können Sie über die Entwicklung von der Forschung zu einer kommerziellen Lösung sprechen?

Der Weg von der Forschung zu einer kommerziellen Lösung war ein bewusster und iterativer Prozess. Er begann vor über einem Jahrzehnt, als mein Team an der Lancaster University grundlegende Herausforderungen in der KI- und maschinellen Lernsicherheit erforschte. Wir identifizierten Schwachstellen in instantiierten KI-Systemen, die herkömmliche Sicherheitstools, sowohl Code-Scanning als auch Firewalls, nicht ausreichend abdecken konnten.

Im Laufe der Zeit verlagerte sich unser Fokus von der Forschungsexploration auf den Aufbau von Prototypen und ihre Erprobung in Produktionszenarien. Durch die Zusammenarbeit mit Industriepartnern verfeinerten wir unseren Ansatz, um sicherzustellen, dass er praktische Bedürfnisse erfüllt. Viele KI-Produkte werden ohne angemessene Sicherheitstests oder Garantien gestartet, was Organisationen verwundbar macht – ein Problem, das durch eine Gartner-Erkenntnis unterstrichen wird, dass 29 % der Unternehmen, die KI-Systeme einsetzen, Sicherheitsverletzungen gemeldet haben und nur 10 % der internen Prüfer Einblick in das KI-Risiko haben. Ich fühlte, dass der Zeitpunkt richtig war, die Lösung zu kommerzialisieren.

Welche sind einige der wichtigsten Meilensteine in Mindgards Reise seit ihrer Gründung im Jahr 2022?

Im September 2023 haben wir 3 Millionen Pfund an Finanzierungsmitteln von IQ Capital und Lakestar gesichert, um die Entwicklung der Mindgard-Lösung zu beschleunigen. Wir konnten ein großartiges Team von Führungskräften aufbauen, die von Snyk, Veracode und Twilio stammen, um unser Unternehmen auf die nächste Stufe zu bringen. Wir sind stolz darauf, als UKs innovativstes Cyber-SME auf der Infosecurity Europe in diesem Jahr anerkannt zu werden. Heute haben wir 15 Vollzeitmitarbeiter, 10 PhD-Forscher (und weitere, die derzeit rekrutiert werden) und rekrutieren derzeit Sicherheitsanalysten und Ingenieure, um unserem Team beizutreten. Im Hinblick auf die Zukunft planen wir, unsere Präsenz in den USA auszubauen, wofür eine neue Finanzierungsrunde von Bostoner Investoren eine solide Grundlage bietet.

Da Unternehmen immer mehr KI einsetzen, welche Cybersicherheitsbedrohungen sehen Sie als die dringlichsten, denen sie heute gegenüberstehen?

Viele Organisationen unterschätzen die Cybersicherheitsrisiken, die mit KI verbunden sind. Es ist extrem schwierig für Nicht-Experten, zu verstehen, wie KI tatsächlich funktioniert, geschweige denn welche Sicherheitsimplikationen sie für ihr Geschäft hat. Ich verbringe viel Zeit damit, KI-Sicherheit zu entmystifizieren, sogar mit erfahrenen Technologen, die Experten in Infrastruktursicherheit und Datenschutz sind. Letztendlich ist KI im Wesentlichen Software und Daten, die auf Hardware laufen. Aber sie introduceiert einzigartige Schwachstellen, die sich von herkömmlichen Systemen unterscheiden, und die Bedrohungen durch KI-Verhalten sind höher und schwerer zu testen als bei anderen Software.

Sie haben Schwachstellen in Systemen wie Microsofts KI-Inhaltsfiltern aufgedeckt. Wie beeinflussen diese Erkenntnisse die Entwicklung Ihrer Plattform?

Die Schwachstellen, die wir in Microsofts Azure KI-Inhalts-Sicherheitsdienst aufgedeckt haben, waren weniger darauf ausgerichtet, die Entwicklung unserer Plattform zu beeinflussen, sondern vielmehr, ihre Fähigkeiten zu demonstrieren.

Azure KI-Inhalts-Sicherheit ist ein Dienst, der darauf ausgelegt ist, KI-Anwendungen zu schützen, indem er schädlichen Inhalt in Text, Bildern und Videos moderiert. Die Schwachstellen, die unser Team aufdeckte, betrafen den AI-Text-Modus (der schädlichen Inhalt wie Hassrede, sexuelle Materialien usw. blockiert) und Prompt Shield (das Jailbreaks und Prompt-Injektionen verhindert). Wenn diese Schwachstellen unkorrigiert bleiben, können sie ausgenutzt werden, um umfassendere Angriffe zu starten, das Vertrauen in GenAI-basierte Systeme zu untergraben und die Anwendungsintegrität, die auf KI für Entscheidungsfindung und Informationsverarbeitung angewiesen ist, zu gefährden.

Können Sie die Bedeutung von “Jailbreaks” und “Prompt-Manipulation” in KI-Systemen erklären und warum sie eine so einzigartige Herausforderung darstellen?

<p Ein Jailbreak ist eine Art von Prompt-Injektion-Schwachstelle, bei der ein bösartiger Akteur eine KI ausnutzen kann, um Anweisungen zu befolgen, die ihrem beabsichtigten Gebrauch entgegenstehen. Eingaben, die von KI-Modellen verarbeitet werden, enthalten sowohl stehende Anweisungen des Anwendungsdesigners als auch nicht vertrauenswürdige Benutzereingaben, was Angriffe ermöglicht, bei denen die nicht vertrauenswürdige Benutzereingabe die stehenden Anweisungen außer Kraft setzt. Dies ähnelt der Art und Weise, wie eine SQL-Injektion-Schwachstelle es nicht vertrauenswürdiger Benutzereingabe ermöglicht, eine Datenbankabfrage zu ändern. Das Problem ist jedoch, dass diese Risiken nur zur Laufzeit erkannt werden können, da der Code eines KI-Modells effektiv eine riesige Matrix von Zahlen in nicht lesbarer Form ist.

Beispielsweise hat das Forschungsteam von Mindgard kürzlich eine fortschrittliche Form von Jailbreak-Angriffen erforscht. Sie beinhaltet die Einbettung von geheimen Audio-Nachrichten in Audio-Eingaben, die für menschliche Hörer nicht erkennbar sind, aber von KI-Modellen erkannt und ausgeführt werden. Jede eingebettete Nachricht enthielt einen maßgeschneiderten Jailbreak-Befehl sowie eine Frage, die für ein bestimmtes Szenario konzipiert war. In einem Szenario mit einem medizinischen Chatbot könnte die versteckte Nachricht den Chatbot dazu veranlassen, gefährliche Anweisungen zu geben, wie man Methamphetamin herstellt, was zu schwerwiegenden Reputationsschäden führen könnte, wenn die Antwort des Chatbots ernst genommen würde.

Mindgards Plattform identifiziert solche Jailbreaks und viele andere Sicherheitsverwundbarkeiten in KI-Modellen und der Art und Weise, wie Unternehmen sie in ihren Anwendungen implementiert haben, damit Sicherheitsverantwortliche sicherstellen können, dass ihre KI-gesteuerte Anwendung sicher konzipiert ist und bleibt.

Wie geht Mindgards Plattform mit Verwundbarkeiten in verschiedenen Arten von KI-Modellen um, von LLMs bis hin zu multi-modalen Systemen?

Unsere Plattform deckt ein breites Spektrum von Verwundbarkeiten in KI ab, von Prompt-Injektion und Jailbreaks über Extraktion (Modell-Diebstahl), Inversion (Rückentwicklung von Daten), Datenlecks und Vermeidung (Umgehung der Erkennung) bis hin zu mehr. Alle Arten von KI-Modellen (sowohl LLM als auch multi-modal) sind anfällig für diese Risiken – der Trick besteht darin, herauszufinden, welche spezifischen Techniken diese Verwundbarkeiten auslösen und ein Sicherheitsproblem verursachen. Bei Mindgard haben wir ein großes Forschungs- und Entwicklungsteam, das sich auf die Entdeckung und Implementierung neuer Angriffstypen in unsere Plattform konzentriert, damit Benutzer gegen aktuelle Risiken gewappnet sind.

Welche Rolle spielt Red-Teaming bei der Sicherung von KI-Systemen, und wie innoviert Ihre Plattform in diesem Bereich?

Red-Teaming ist ein entscheidender Bestandteil der KI-Sicherheit. Durch die kontinuierliche Simulation von Angriffen identifiziert Red-Teaming Verwundbarkeiten in KI-Systemen und hilft Organisationen, Risiken zu mindern und die Einführung von KI zu beschleunigen. Trotz seiner Bedeutung mangelt es dem Red-Teaming in der KI an Standardisierung, was zu Inkonsistenzen in der Bedrohungsbeurteilung und den Strategien zur Risikominderung führt. Dies macht es schwierig, die Sicherheit verschiedener Systeme objektiv zu vergleichen oder Bedrohungen effektiv zu verfolgen.

Um dies zu adressieren, haben wir MITRE ATLAS eingeführt, eine Funktion, die darauf abzielt, die Berichterstattung über KI-Red-Teaming zu standardisieren und systematische Red-Teaming-Praktiken zu straffen. Dies ermöglicht es Unternehmen, heute besser mit Risiken umzugehen und sich auf zukünftige Bedrohungen vorzubereiten, während die KI-Fähigkeiten evolvieren. Mit einer umfassenden Bibliothek von fortschrittlichen Angriffen, die von unserem Forschungs- und Entwicklungsteam entwickelt wurden, unterstützt Mindgard das Red-Teaming für multimodale KI, einschließlich traditioneller und GenAI-Modelle. Unsere Plattform deckt wichtige Risiken für Datenschutz, Integrität, Missbrauch und Verfügbarkeit ab, um sicherzustellen, dass Unternehmen in der Lage sind, ihre KI-Systeme effektiv zu sichern.

Wie sehen Sie Ihr Produkt in die MLOps-Pipeline für Unternehmen, die KI im großen Maßstab einsetzen?

Mindgard ist darauf ausgelegt, sich nahtlos in bestehende CI/CD-Automatisierung und alle SDLC-Phasen zu integrieren, wofür nur ein Inferenz- oder API-Endpunkt für die Modellintegration erforderlich ist. Unsere Lösung führt heute dynamische Anwendungssicherheitstests für KI-Modelle (DAST-AI) durch. Sie ermöglicht es unseren Kunden, kontinuierliche Sicherheitstests für alle ihre KI-Modelle über den gesamten Build- und Buy-Lebenszyklus durchzuführen. Für Unternehmen wird es von mehreren Personen genutzt. Sicherheitsteams nutzen es, um Sichtbarkeit zu erlangen und schnell auf Risiken von Entwicklern, die KI bauen und nutzen, zu reagieren, um KI-Schutzschilder und WAF-Lösungen zu testen und zu bewerten und um Risiken zwischen maßgeschneiderten KI-Modellen und Basis-Modellen zu bewerten. Pentester und Sicherheitsanalysten nutzen Mindgard, um ihre KI-Red-Teaming-Bemühungen zu skalieren, während Entwickler von der integrierten kontinuierlichen Überprüfung ihrer KI-Deployments profitieren.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Mindgard besuchen.