Hanah-Marie Darley, Chief AI Officer w Geordie AI – Wywiad

Hanah-Marie Darley, Chief AI Officer w Geordie AI, to doświadczony lider w dziedzinie AI i bezpieczeństwa, który współzałożył firmę, aby pomóc zespołom IT, ryzyka i bezpieczeństwa w przyjęciu agentic AI z klarownością i kontrolą. Z prawie dekadą doświadczenia w operacjach wywiadowczych w ramach rządu federalnego USA i późniejszych stanowisk kierowniczych w Darktrace, łączy głęboką wiedzę w dziedzinie wywiadu, analizy geopolitycznej i psychologii stosowanej z praktycznym doświadczeniem w strategii AI i rozwoju produktu. Jego praca koncentruje się na wyrównaniu systemów autonomicznych z ludzkimi intencjami, umożliwiając przedsiębiorstwom operacjonalizację agentów AI w sposób, który balansuje innowacje, nadzór i rzeczywiste ograniczenia.

Geordie AI to londyńska firma oprogramowania dla przedsiębiorstw, skupiająca się na zabezpieczaniu i zarządzaniu agentami AI, gdy stają się one wbudowane w środowiska korporacyjne. Ich platforma zapewnia widoczność działań agentów, ciągłe monitorowanie postawy ryzyka oraz strukturalne mechanizmy zarządzania, które pozwalają organizacjom wdrożyć i skalować systemy AI z pewnością. Dostarczając obserwowalność, wsparcie zgodności i nadzór operacyjny dostosowany do ery agentic, Geordie AI ma na celu dać przedsiębiorstwom przejrzystość i kontrolę niezbędną do integracji coraz bardziej autonomicznych technologii bez kompromisowania bezpieczeństwa ani odpowiedzialności.

Spędziła Pani prawie dekadę w amerykańskim wywiadzie federalnym i analizie geopolitycznej, później kierowała badaniami nad zagrożeniami i strategią AI w Darktrace, a teraz kieruje strategią AI i produktu w Geordie AI. Jakie doświadczenia w rządzie i bezpieczeństwie przedsiębiorstw najbardziej wpłynęły na Pani decyzję o budowie Geordie, a jaki podstawowy problem była Pani zdeterminowana rozwiązać?

W obu przypadkach, zarówno w rządzie, jak i bezpieczeństwie przedsiębiorstw, spotykałam się z tym samym napięciem strukturalnym. Organizacje inwestowały dużo w AI, ale zaufanie do zachowania tych systemów pozostawało w tyle za oczekiwaniami co do zwrotu z inwestycji. Wyzwanie nie leżało w możliwościach. Leżało w zaufaniu.

Gdy AI przechodziło od eksperymentalnych narzędzi do operacyjnych przepływów pracy, ta luka stawała się bardziej widoczna. Agenci wprowadzają autonomię, podejmowanie decyzji i trwałość w systemach w sposób, w jaki tradycyjne oprogramowanie nigdy nie robiło. Przedsiębiorstwa potrzebowały sposobu, aby zrozumieć, jak agenci funkcjonują, gdzie działają i jak ryzyko pojawia się przez ich zachowanie. Geordie AI zostało zbudowane, aby zamknąć tę lukę klarowności, aby organizacje mogły przyjąć autonomię z pewnością, a nie wahaniem.

W Pani opinii, jaki jest najmniej zrozumiany ryzyko, jakie systemy AI autonomiczne lub agentic przedstawiają dla przedsiębiorstw, i jak „efekt łańcuchowy” decyzji kontekstowych różni się od tradycyjnych modeli ekspozycji cyberbezpieczeństwa?

Niezauważalne awarie pozostają najmniej zrozumiane. Agent może działać w ramach zatwierdzonych uprawnień i granic dostępu, a jednocześnie produkować wyniki, które odbiegają od intencji.

To odzwierciedla naturę systemów agentic. Interpretują one kontekst i podejmują decyzje w czasie rzeczywistym. W przeciwieństwie do oprogramowania deterministycznego, zachowanie jest kształtowane dynamicznie w sekwencjach działań. To zmienia model bezpieczeństwa. Ekspozycja nie zależy już wyłącznie od naruszeń dostępu. Pojawia się ona przez sposób, w jaki decyzje, narzędzia i kontekst oddziałują na siebie w czasie.

Podejście Geordie AI podkreśla obserwowalność zachowania, ocenę ryzyka kontekstowego i dynamiczną kontrolę nad działaniami agentów. Jak organizacje powinny balansować potrzebę takiej widoczności w czasie rzeczywistym z obawami dotyczącymi złożoności operacyjnej lub wydajności systemu?

Przedsiębiorstwa nie powinny musieć wymieniać wydajność na nadzór. Nasza architektura celowo unika pośredników i bramek, pozwalając organizacjom budować i operować agentami tam, gdzie ma to sens operacyjnie.

Widoczność i kontrola muszą skalować się z autonomią bez wprowadzania tarcia lub opóźnień. Jeśli mechanizmy zarządzania hamują przepływy pracy, przyjęcie stagnuje. Skuteczne bezpieczeństwo umożliwia ekosystemom rozwijać się bezpiecznie, zamiast ograniczać innowacje.

Od pracy z klientami przedsiębiorstw i liderami ryzyka, jakie typy przepływów pracy lub przypadki użycia są najbardziej narażone na dryf agentic w kierunku działań o wyższym ryzyku, i jak wczesne wskaźniki mogą być wykryte, zanim eskalują w znaczące incydenty?

Ryzyko tendencję do wzrostu z złożonością. Im więcej wyborów agent podejmuje niezależnie, tym większe potencjalne odejście od oczekiwanego zachowania.

Dryf często pojawia się przez łańcuchowanie narzędzi, ponowne użycie kontekstu i powstające przepływy pracy. Wczesne wskaźniki obejmują nieoczekiwane wywołanie narzędzi, niezwykłe wzorce sekwencji i zmiany w ruchu danych. Wykrywanie tych sygnałów wymaga analizy behawioralnej, a nie monitorowania izolowanych zdarzeń.

Gdy agenci ponownie używają kontekstu i narzędzi w zadaniach, jakie są najbardziej subtelne lub niedoceniane tryby awarii, na które zespoły bezpieczeństwa powinny zwrócić większą uwagę?

Ponowne użycie kontekstu pozostaje niedoceniane. Ekspozycja często wynika nie tyle z nadmiernych uprawnień, co z tego, jak informacje są przechowywane i przenoszone między zadaniami.

Agenci mogą uzyskać dostęp do danych w jednym kontekście i nieumyślnie przenieść ten stan do innego. W połączeniu z łańcuchowaniem narzędzi może to spowodować niezamierzone ujawnienie lub przekształcenie wrażliwych informacji.

Wiele organizacji nadal polega na tradycyjnych narzędziach bezpieczeństwa przedsiębiorstw, takich jak Endpoint Detection and Response oraz Extended Detection and Response. Gdzie podejścia te zawodzą przy zarządzaniu autonomicznymi systemami AI, które podejmują wieloetapowe działania?

Platformy EDR i XDR pozostają niezbędne, ale zostały zaprojektowane wokół modeli zagrożeń zorientowanych na ludzi. Agenci działają na warstwach decyzyjnych, które wykraczają poza telemetrię punktu końcowego i tożsamości.

Zrozumienie zachowania agentów wymaga wglądu w wzorce podejmowania decyzji, wybór narzędzi i przepływy decyzyjne kontekstowe. Bez tej warstwy znaczna część aktywności agenta pozostaje nieprzejrzysta.

Dla liderów IT, ryzyka i bezpieczeństwa, którzy chcą umożliwić innowacje, ale uniknąć niekontrolowanej autonomii, co tak naprawdę oznacza „zarządzana autonomia” w praktyce?

Zarządzana autonomia zaczyna się od widoczności. Organizacje muszą zrozumieć, gdzie agenci działają, jaka władza decyzyjna im przysługuje i jakie ryzyko ich możliwości wprowadzają.

Zarządzanie jest najskuteczniejsze, gdy jest wbudowane wcześnie, umożliwiając eksperymentowanie w określonych granicach. To wspiera innowacje, utrzymując pewność co do wyników.

Wyjaśnialność jest często dyskutowana na poziomie wyjścia modelu. Jak przedsiębiorstwa powinny myśleć o wyjaśnialności i audytowalności, gdy prawdziwe ryzyko może leżeć w sekwencji działań, które agent podejmuje w czasie?

Wyjaśnialność modelu jest tylko częścią równania. Ryzyko przedsiębiorstw coraz bardziej leży w sekwencjach behawioralnych, a nie w izolowanych wyjściach.

Audytowalność wymaga zrozumienia, jak barierki kształtowały interpretację, które narzędzia zostały wywołane i jak kontekst wpłynął na decyzje. Obserwowalność behawioralna staje się podstawą odpowiedzialności.

Dla organizacji, które rozpoznają potrzebę silniejszego nadzoru nad autonomicznymi systemami AI, jakie konkretnie kroki powinny one podjąć dzisiaj, aby zmniejszyć ryzyko agentic, nie zwalniając innowacji, i jak Geordie AI pomaga przedsiębiorstwom operacjonalizować ten balans między kontrolą a możliwościami?

Organizacje skorzystają na rozpoczęciu pracy wcześnie, zamiast czekać na idealne ramy. Początkowy focus powinien koncentrować się na inwentaryzacji, widoczności behawioralnej i zrozumieniu, jak agenci oddziałują z systemami.

Modele zarządzania, które wprowadzają opóźnienia, często hamują skalowalność. Nadzór musi współgrać z prędkością operacyjną. Geordie AI zapewnia widoczność konfiguracji agenta, zachowania i dynamiki ryzyka, umożliwiając jednocześnie korekcyjne mechanizmy kontroli zaprojektowane dla systemów autonomicznych.

Spójrzając w przyszłość, co będzie różnicować organizacje, które pomyślnie skalują agentic AI w przepływach pracy, od tych, które doświadczą zahamowań z powodu niezarządzanego ryzyka, i jak przywództwo powinno się przygotować teraz?

Początkowi różnicujący będą klarowność i pomiar. Zespoły, które zrozumieją możliwości agenta, wpływ i wzorce behawioralne, będą skalować z większą pewnością.

W dłuższej perspektywie, przewaga konkurencyjna będzie faworyzować organizacje, które rozwiną specjalistyczne, kontekstowo-świadome ekosystemy agentów. Dokładność, a nie uogólnienie, staje się motorem wydajności i odporności. Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Geordie AI.