Hanah-Marie Darley, Chief AI Officer bei Geordie AI – Interview-Serie

Hanah-Marie Darley, Chief AI Officer bei Geordie AI, ist eine erfahrene AI- und Sicherheitsführungskraft, die das Unternehmen mitgegründet hat, um Unternehmen bei der Einführung von agenter AI mit Klarheit und Kontrolle zu unterstützen. Mit fast einem Jahrzehnt Erfahrung in der Unterstützung von Geheimdienstoperationen innerhalb der US-Regierung und anschließenden Führungspositionen bei Darktrace kombiniert sie tiefes Fachwissen in Bedrohungsanalyse, geopolitische Analyse und angewandte Psychologie mit praktischer Erfahrung in AI-Strategie und Produktentwicklung. Ihre Arbeit konzentriert sich auf die Ausrichtung autonomer Systeme mit menschlichen Absichten, um Unternehmen zu ermöglichen, AI-Agenten auf eine Weise zu operationalisieren, die Innovation, Kontrolle und reale Einschränkungen ausbalanciert.

Geordie AI ist ein in London ansässiges Unternehmen für Unternehmenssoftware, das sich auf die Sicherheit und Regulierung von AI-Agenten konzentriert, wenn diese in Unternehmensumgebungen eingebettet werden. Die Plattform bietet Einblicke in die Aktivitäten von Agenten, kontinuierliche Überwachung der Risikoposition und strukturierte Regulierungsmechanismen, die es Unternehmen ermöglichen, AI-Systeme mit Vertrauen zu bereitstellen und zu skalieren. Durch die Bereitstellung von Beobachtbarkeit, Konformitätsunterstützung und operativer Kontrolle, die auf die agente Ära zugeschnitten sind, zielt Geordie darauf ab, Unternehmen die notwendige Transparenz und Kontrolle zu geben, um zunehmend autonome Technologien ohne Kompromisse bei Sicherheit oder Verantwortlichkeit zu integrieren.

Sie haben fast ein Jahrzehnt in der US-Regierung in der Bedrohungsanalyse und geopolitischen Analyse verbracht und später Führungspositionen bei Darktrace in der Bedrohungsanalyse und AI-Strategie innegehabt. Was waren die Erfahrungen in Regierung und Unternehmenssicherheit, die Ihre Entscheidung beeinflussten, Geordie zu gründen, und welches Kernproblem wollten Sie lösen?

In Regierung und Unternehmenssicherheit stieß ich immer wieder auf die gleiche strukturelle Spannung. Unternehmen investierten stark in AI, doch das Vertrauen in das Verhalten dieser Systeme blieb hinter den Erwartungen an die Rendite zurück. Die Herausforderung lag nicht in der Fähigkeit. Es war das Vertrauen.

Als AI von experimenteller Werkzeugentwicklung in operative Workflows überging, wurde diese Lücke sichtbarer. Agenten bringen Autonomie, Entscheidungsfindung und Beständigkeit in Systeme, wie traditionelle Software es nie getan hat. Unternehmen benötigten eine Möglichkeit, zu verstehen, wie Agenten funktionieren, wo sie operieren und wie Risiken durch ihr Verhalten entstehen. Geordie wurde gegründet, um diese Klarheitslücke zu schließen, damit Unternehmen Autonomie mit Vertrauen anstatt mit Zögern annehmen können.

Welches Risiko, das autonome oder agente AI-Systeme für Unternehmen darstellen, wird Ihrer Meinung nach am meisten missverstanden, und wie unterscheidet sich die “Kettenreaktion” der kontextuellen Entscheidungsfindung von traditionellen Cybersicherheitsmodellen?

Stille Ausfälle bleiben das am wenigsten verstandene Risiko. Ein Agent kann innerhalb genehmigter Berechtigungen und legitimer Zugriffsgrenzen operieren und dennoch Ergebnisse produzieren, die von der Absicht abweichen.

Dies spiegelt die Natur agenter Systeme wider. Sie interpretieren Kontext und treffen Entscheidungen in Echtzeit. Im Gegensatz zu deterministischer Software wird das Verhalten dynamisch über Sequenzen von Aktionen geformt. Das ändert das Sicherheitsmodell. Die Exposition hängt nicht mehr allein von Zugriffsverletzungen ab. Sie entsteht durch die Wechselwirkung von Entscheidungen, Werkzeugen und Kontext über die Zeit.

Geordies Ansatz betont die Beobachtbarkeit des Verhaltens, die kontextuelle Risikobewertung und die dynamische Kontrolle über Agentenaktivitäten. Wie sollten Unternehmen die Notwendigkeit einer solchen Echtzeit-Beobachtbarkeit mit Bedenken hinsichtlich operativer Komplexität oder Systemleistung ausbalancieren?

Unternehmen sollten nicht zwischen Leistung und Kontrolle wählen müssen. Unsere Architektur vermeidet absichtlich Inline-Proxy-Server und Gateways, sodass Unternehmen Agenten dort bauen und betreiben können, wo es operativ sinnvoll ist.

Beobachtbarkeit und Kontrolle müssen mit Autonomie schritthalten, ohne Reibung oder Latenz einzuführen. Wenn Regulierungsmechanismen Workflows behindern, kommt die Einführung zum Stillstand. Effektive Sicherheit ermöglicht es Ökosystemen, sich sicher zu erweitern, anstatt Innovationen einzuschränken.

Aus Ihrer Arbeit mit Unternehmenskunden und Risikoführern: Welche Arten von Workflows oder Anwendungsfällen sind am anfälligsten für das Abdriften von Agenten in risikoreichere Aktivitäten, und wie können frühe Indikatoren erkannt werden, bevor sie in ernsthafte Vorfälle eskalieren?

Risiken tendieren dazu, mit der Komplexität zu steigen. Je mehr Entscheidungen ein Agent unabhängig trifft, desto größer ist das Potenzial für Verhaltensabweichungen.

Abdrift tritt häufig durch Werkzeugketten, Kontextwiederverwendung und emergente Workflows auf. Frühe Indikatoren umfassen unerwartete Werkzeugaufrufe, ungewöhnliche Sequenzmuster und Verschiebungen in der Datenbewegung. Die Erkennung dieser Signale erfordert eine Verhaltensanalyse und nicht nur die Überwachung isolierter Ereignisse.

Wenn AI-Agenten Kontext und Werkzeuge über Aufgaben hinweg wiederverwenden, welche fehlbaren oder unterschätzten Ausfallmodi sollten Sicherheitsteams genauer betrachten?

Die Wiederverwendung von Kontext bleibt unterschätzt. Exposition entsteht oft nicht durch übermäßige Berechtigungen, sondern durch die Art und Weise, wie Informationen über Aufgaben hinweg persistieren und propagieren.

Agenten können legitimerweise auf Daten in einem Kontext zugreifen und unbeabsichtigt diesen Zustand in einen anderen Kontext übertragen. Kombiniert mit Werkzeugketten kann dies unbeabsichtigte Offenlegung oder Transformation von sensiblen Informationen zur Folge haben.

Viele Unternehmen verlassen sich noch auf traditionelle Unternehmenssicherheitswerkzeuge wie Endpoint Detection and Response und Extended Detection and Response-Plattformen. Wo liegen die Grenzen dieser Ansätze bei der Verwaltung autonomer AI-Systeme, die mehrschrittige Aktionen ausführen?

EDR- und XDR-Plattformen bleiben unerlässlich, wurden jedoch für menschenzentrierte Bedrohungsmodelle konzipiert. Agenten operieren über Entscheidungsebenen, die über Endpoint- und Identitäts-Telemetrie hinausgehen.

Das Verständnis des Agentenverhaltens erfordert Einblicke in Denkmuster, Werkzeugauswahl und kontextuelle Entscheidungsflüsse. Ohne diese Ebene bleibt ein großer Teil der Agentenaktivitäten undurchsichtig.

Für IT-, Risiko- und Sicherheitsführungskräfte, die Innovation ermöglichen, aber unkontrollierte Autonomie vermeiden möchten: Wie sieht “regulierte Autonomie” in der Praxis aus?

Regulierte Autonomie beginnt mit Beobachtbarkeit. Unternehmen müssen verstehen, wo Agenten operieren, wie viel Entscheidungsbefugnis sie haben und welche Risiken ihre Fähigkeiten mit sich bringen.

Regulierung ist am effektivsten, wenn sie frühzeitig eingebettet wird, was Experimentieren innerhalb definierter Grenzen ermöglicht. Dies unterstützt Innovation, während Vertrauen in die Ergebnisse erhalten bleibt.

Erklärbarkeit wird oft auf der Ebene der Modellausgabe diskutiert. Wie sollten Unternehmen über Erklärbarkeit und Prüfbarkeit nachdenken, wenn das eigentliche Risiko in der Sequenz von Aktionen liegt, die ein Agent über die Zeit ausführt?

Modellerklärbarkeit ist nur ein Teil der Gleichung. Das Unternehmensrisiko wohnt zunehmend in Verhaltenssequenzen und nicht in isolierten Ausgaben.

Prüfbarkeit erfordert das Verständnis, wie Sicherheitsmechanismen die Interpretation geprägt haben, welche Werkzeuge aufgerufen wurden und wie Kontext Entscheidungen beeinflusste. Beobachtbarkeit des Verhaltens wird zur Grundlage für Rechenschaftspflicht.

Für Unternehmen, die den Bedarf an stärkerer Überwachung autonomer AI-Systeme erkennen: Welche konkreten Schritte sollten sie heute unternehmen, um das Agentenrisiko zu reduzieren, ohne die Innovation zu behindern, und wie hilft Geordie AI speziell Unternehmen dabei, diese Balance zwischen Kontrolle und Fähigkeit zu operationalisieren?

Unternehmen profitieren davon, frühzeitig zu beginnen, anstatt auf perfekte Rahmenbedingungen zu warten. Der anfängliche Fokus sollte auf Inventarisierung, Beobachtbarkeit des Verhaltens und dem Verständnis liegen, wie Agenten mit Systemen interagieren.

Regulierungsmodelle, die Verzögerungen einführen, behindern oft die Skalierbarkeit. Überwachung muss mit operativer Geschwindigkeit Schritt halten. Geordie bietet Einblicke in die Konfiguration von Agenten, ihr Verhalten und Risikodynamiken, während korrigierende Kontrollen für autonome Systeme ermöglicht werden.

Wenn man in die Zukunft blickt: Was wird Unternehmen, die agente AI erfolgreich über Workflows hinweg skalieren, von denen unterscheiden, die aufgrund unkontrollierter Risiken Rückschläge erleben, und wie sollten Führungskräfte sich jetzt vorbereiten?

Frühe Unterscheidungsmerkmale werden Klarheit und Messbarkeit sein. Teams, die die Fähigkeiten von Agenten, ihre Auswirkungen und Verhaltensmuster verstehen, werden mit mehr Vertrauen skalieren.

Langfristig wird der Wettbewerbsvorteil Unternehmen begünstigen, die spezialisierte, kontextbewusste Agenten-Ökosysteme entwickeln. Präzision und nicht Generalisierung wird zum Treiber von Leistung und Widerstandsfähigkeit.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Geordie AI besuchen.