Hanah-Marie Darley, Chief AI Officer ve společnosti Geordie AI – Rozhovor

Hanah-Marie Darley, Chief AI Officer ve společnosti Geordie AI, je zkušený líder v oblasti AI a bezpečnosti, který spoluzaložil společnost, aby pomohl podnikovým IT, rizikovým a bezpečnostním týmům přijmout agentic AI s jasností a kontrolou. S téměř dekádou zkušeností v oblasti zpravodajských operací ve federální vládě USA a následných seniorních vedoucích rolích ve společnosti Darktrace, kombinuje hluboké znalosti v oblasti hrozeb, geopolitické analýzy a aplikované psychologie s praktickými zkušenostmi v oblasti strategie AI a vývoje produktů. Jeho práce se zaměřuje na sladění autonomních systémů s lidským záměrem, umožňující podnikům operacionalizovat AI agenty způsobem, který vyvažuje inovace, dohled a reálné omezení.

Geordie AI je londýnská softwarová společnost zaměřená na zajištění a řízení AI agentů, když se stávají součástí firemních prostředí. Jejich platforma poskytuje přehled o činnosti agentů, nepřetržitý monitoring rizikového postavení a strukturované mechanismy řízení, které umožňují organizacím nasazovat a škálovat AI systémy s důvěrou. Dodáváním pozorovatelnosti, podpory dodržování předpisů a provozního dohledu přizpůsobeného éře agentů, Geordie AI cílí na poskytování transparentnosti a kontroly, které podnikům umožňují integrovat stále autonomnější technologie bez ohrožení bezpečnosti nebo odpovědnosti.

Vy jste strávila téměř deset let v oblasti federální zpravodajské služby a geopolitické analýzy, později vedla výzkum hrozeb a strategii AI ve společnosti Darktrace, a nyní vedete AI a produktovou strategii ve společnosti Geordie AI. Jaké zkušenosti z vlády a podnikové bezpečnosti nejvíce ovlivnily vaše rozhodnutí postavit Geordie, a jaký byl hlavní problém, který jste chtěla vyřešit?

Přes obě vládní a podnikovou bezpečnost jsem neustále narážela na stejný strukturální napětí. Organizace investovaly značné prostředky do AI, ale důvěra v chování těchto systémů zaostávala za očekávanými výsledky. Výzvou nebyla schopnost. Šlo o důvěru.

Jakmile se AI přesunula z experimentálního nástroje do provozních pracovních postupů, tato mezera se stala více viditelnou. Agenti zavádějí autonomii, rozhodování a vytrvalost napříč systémy způsobem, který tradiční software nikdy neměl. Podniky potřebovaly způsob, jak pochopit, jak agenti fungují, kde operují a jak riziko vzniká prostřednictvím jejich chování. Geordie AI byla vytvořena, aby uzavřela tuto mezeru v jasnosti, aby organizace mohly přijmout autonomii s důvěrou místo váhání.

Podle vašeho názoru, jaký je nejvíce nepochopitelný riziko, které autonomní nebo agentic AI systémy představují pro podniky, a jak se „řetězový efekt“ kontextuálního rozhodování liší od tradičních modelů kybernetické bezpečnosti?

Tiché selhání zůstávají nejméně pochopeny. Agent může operovat v rámci schválených oprávnění a legitimních přístupových hranic, zatímco stále produkuje výsledky, které se odchylují od záměru.

To odráží povahu agenticích systémů. Tyto systémy interpretují kontext a činí rozhodnutí v reálném čase. Na rozdíl od deterministického softwaru je chování tvarováno dynamicky napříč sekvencemi akcí. To mění bezpečnostní model. Expozice již nezůstává pouze na porušování přístupu. Vzniká prostřednictvím toho, jak rozhodnutí, nástroje a kontext interagují v průběhu času.

Geordie AI zdůrazňuje behaviorální pozorovatelnost, kontextuální hodnocení rizika a dynamickou kontrolu nad aktivitami agentů. Jak by měly podniky vyvážit potřebu takové reálné viditelnosti s obavami kolem provozní složitosti nebo systémového výkonu?

Podniky by neměly muset obětovat výkon pro dohled. Naší architekturou se záměrně vyhýbáme inline proxy a bránám, což umožňuje organizacím budovat a provozovat agenty tam, kde to operačně dává smysl.

Pozorovatelnost a kontrola musí škálovat s autonomií bez zavedení tření nebo latence. Pokud mechanismy řízení brzdí pracovní postupy, přijetí se zastaví. Účinná bezpečnost umožňuje ekosystémům expandovat bezpečně, spíše než omezovat inovace.

Z vaší práce s podnikovými zákazníky a lídry v oblasti rizik, které typy pracovních postupů nebo použití jsou nejvíce náchylné k agenticskému posunu do aktivit s vyšším rizikem, a jak lze detekovat časná indikátora, než se vyvinou v materiální incidenty?

Riziko tenduje ke zvýšení se složitostí. Čím více rozhodnutí činí agent nezávisle, tím větší je potenciál pro behaviorální odchylku.

Posun se často objevuje prostřednictvím řetězení nástrojů, opětovného použití kontextu a vznikajících pracovních postupů. Časná indikátora zahrnují neočekávané vyvolání nástrojů, neobvyklé sekvence vzorců a posuny v pohybu dat. Detekce těchto signálů vyžaduje behaviorální analýzu spíše než izolované monitorování událostí.

Když AI agenti znovu používají kontext a nástroje napříč úkoly, které jsou nejvíce jemné nebo podceňované režimy selhání, které by měly bezpečnostní týmy sledovat?

Opětovné použití kontextu zůstává podceňováno. Expozice často vzniká ne z nadměrných oprávnění, ale z toho, jak informace přetrvávají a šíří se napříč úkoly.

Agenti mohou legitimně přistupovat k datům v jednom kontextu a neúmyslně nést tento stav do jiného. V kombinaci s řetězením nástrojů to může vést k neúmyslnému prozrazení nebo transformaci citlivých informací.

Mnohé organizace stále spoléhají na tradiční podnikové bezpečnostní nástroje, jako jsou Endpoint Detection and Response a Extended Detection and Response platformy. Kde tyto přístupy selhávají při správě autonomních AI systémů, které činí vícekrokové akce?

EDR a XDR platformy zůstávají nezbytné, ale byly navrženy kolem lidských hrozeb. Agenti operují napříč rozhodovacími vrstvami, které sahají za telemetrii koncových bodů a identity.

Pochopení chování agentů vyžaduje vhled do vzorců rozhodování, výběru nástrojů a kontextuálních toků rozhodnutí. Bez této vrstvy zůstává velká část aktivity agentů neprůhledná.

Pro IT, rizika a bezpečnostní lídry, kteří chtějí povolit inovace, ale vyhnout se nekontrolované autonomii, co vlastně znamená „řízená autonomie“ v praxi?

Rízená autonomie začíná viditelností. Organizace musí pochopit, kde agenti operují, jakou rozhodovací autoritu drží a jaká rizika jejich schopnosti zavádějí.

Rízení je nejúčinnější, když je začleněno brzy, umožňující experimentování v rámci definovaných hranic. To podporuje inovace, zatímco udržuje důvěru ve výsledky.

Vysvětlitelnost je často diskutována na úrovni výstupu modelu. Jak by měly podniky uvažovat o vysvětlitelnosti a auditovatelnosti, když skutečné riziko může ležet v sekvenci akcí, které agent činí v průběhu času?

Vysvětlitelnost modelu je pouze částí rovnice. Podnikové riziko se stále více nachází v behaviorálních sekvencích spíše než v izolovaných výstupech.

Auditovatelnost vyžaduje pochopení, jak zábrany tvarovaly interpretaci, které nástroje byly vyvolány a jak kontext ovlivnil rozhodnutí. Behaviorální pozorovatelnost se stává základem pro odpovědnost.

Pro organizace, které uznávají potřebu silnějšího dohledu nad autonomními AI systémy, které konkrétní kroky by měly podniknout dnes, aby snížily agenticské riziko bez zpomalení inovací, a jak Geordie AI konkrétně pomáhá podnikům operacionalizovat rovnováhu mezi kontrolou a schopností?

Organizace profitují z počátečního zaměření spíše než čekání na dokonalé rámce. Počáteční zaměření by se mělo soustředit na inventarizaci, behaviorální viditelnost a pochopení, jak agenti interagují se systémy.

Modely řízení, které zavádějí latenci, často brzdí škálovatelnost. Dohled musí být sladěn s provozní rychlostí. Geordie AI poskytuje viditelnost do konfigurace agentů, chování a dynamiky rizik, zatímco umožňuje korekční mechanismy navržené pro autonomní systémy.

Pohledem do budoucnosti, co bude oddělovat organizace, které úspěšně škálovat agentic AI napříč pracovními postupy, od těch, které budou čelit komplikacím kvůli neřízeným rizikům, a jak by se měli lídři připravovat nyní?

Rané rozlišovače budou jasnost a měření. Týmy, které pochopí schopnost agentů, dopad a behaviorální vzorce, budou škálovat s větší důvěrou.

Dlouhodobě, konkurenční výhoda bude favorizovat organizace, které vyvinou specializované, kontextuálně vědomé agentní ekosystémy. Preciznost, spíše než generalizace, se stává hnací silou výkonu a odolnosti.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Geordie AI.