Rozhovory

Hanah-Marie Darley, Chief AI Officer ve společnosti Geordie AI – Rozhovor

mm
Přidejte Unite.AI mezi svÃĐ preferovanÃĐ zdroje na Google

Hanah-Marie Darley, Chief AI Officer ve společnosti Geordie AI, je zkuÅĄenÃ― líder v oblasti AI a bezpečnosti, kterÃ― spoluzaloÅūil společnost, aby pomohl podnikovÃ―m IT, rizikovÃ―m a bezpečnostním tÃ―mÅŊm přijmout agentic AI s jasností a kontrolou. S tÃĐměř dekÃĄdou zkuÅĄeností v oblasti zpravodajskÃ―ch operací ve federÃĄlní vlÃĄdě USA a nÃĄslednÃ―ch seniorních vedoucích rolích ve společnosti Darktrace, kombinuje hlubokÃĐ znalosti v oblasti hrozeb, geopolitickÃĐ analÃ―zy a aplikovanÃĐ psychologie s praktickÃ―mi zkuÅĄenostmi v oblasti strategie AI a vÃ―voje produktÅŊ. Jeho prÃĄce se zaměřuje na sladění autonomních systÃĐmÅŊ s lidskÃ―m zÃĄměrem, umoÅūňující podnikÅŊm operacionalizovat AI agenty zpÅŊsobem, kterÃ― vyvaÅūuje inovace, dohled a reÃĄlnÃĐ omezení.

Geordie AI je londÃ―nskÃĄ softwarovÃĄ společnost zaměřenÃĄ na zajiÅĄtění a řízení AI agentÅŊ, kdyÅū se stÃĄvají souÄÃĄstí firemních prostředí. Jejich platforma poskytuje přehled o činnosti agentÅŊ, nepřetrÅūitÃ― monitoring rizikovÃĐho postavení a strukturovanÃĐ mechanismy řízení, kterÃĐ umoÅūňují organizacím nasazovat a ÅĄkÃĄlovat AI systÃĐmy s dÅŊvěrou. DodÃĄvÃĄním pozorovatelnosti, podpory dodrÅūovÃĄní předpisÅŊ a provozního dohledu přizpÅŊsobenÃĐho ÃĐře agentÅŊ, Geordie AI cílí na poskytovÃĄní transparentnosti a kontroly, kterÃĐ podnikÅŊm umoÅūňují integrovat stÃĄle autonomnějÅĄÃ­ technologie bez ohroÅūení bezpečnosti nebo odpovědnosti.

Vy jste strÃĄvila tÃĐměř deset let v oblasti federÃĄlní zpravodajskÃĐ sluÅūby a geopolitickÃĐ analÃ―zy, později vedla vÃ―zkum hrozeb a strategii AI ve společnosti Darktrace, a nyní vedete AI a produktovou strategii ve společnosti Geordie AI. JakÃĐ zkuÅĄenosti z vlÃĄdy a podnikovÃĐ bezpečnosti nejvíce ovlivnily vaÅĄe rozhodnutí postavit Geordie, a jakÃ― byl hlavní problÃĐm, kterÃ― jste chtěla vyřeÅĄit?

Přes obě vlÃĄdní a podnikovou bezpečnost jsem neustÃĄle narÃĄÅūela na stejnÃ― strukturÃĄlní napětí. Organizace investovaly značnÃĐ prostředky do AI, ale dÅŊvěra v chovÃĄní těchto systÃĐmÅŊ zaostÃĄvala za očekÃĄvanÃ―mi vÃ―sledky. VÃ―zvou nebyla schopnost. Å lo o dÅŊvěru.

Jakmile se AI přesunula z experimentÃĄlního nÃĄstroje do provozních pracovních postupÅŊ, tato mezera se stala více viditelnou. Agenti zavÃĄdějí autonomii, rozhodovÃĄní a vytrvalost napříč systÃĐmy zpÅŊsobem, kterÃ― tradiční software nikdy neměl. Podniky potřebovaly zpÅŊsob, jak pochopit, jak agenti fungují, kde operují a jak riziko vznikÃĄ prostřednictvím jejich chovÃĄní. Geordie AI byla vytvořena, aby uzavřela tuto mezeru v jasnosti, aby organizace mohly přijmout autonomii s dÅŊvěrou místo vÃĄhÃĄní.

Podle vaÅĄeho nÃĄzoru, jakÃ― je nejvíce nepochopitelnÃ― riziko, kterÃĐ autonomní nebo agentic AI systÃĐmy představují pro podniky, a jak se „řetězovÃ― efekt“ kontextuÃĄlního rozhodovÃĄní liÅĄÃ­ od tradičních modelÅŊ kybernetickÃĐ bezpečnosti?

TichÃĐ selhÃĄní zÅŊstÃĄvají nejmÃĐně pochopeny. Agent mÅŊÅūe operovat v rÃĄmci schvÃĄlenÃ―ch oprÃĄvnění a legitimních přístupovÃ―ch hranic, zatímco stÃĄle produkuje vÃ―sledky, kterÃĐ se odchylují od zÃĄměru.

To odrÃĄÅūí povahu agenticích systÃĐmÅŊ. Tyto systÃĐmy interpretují kontext a činí rozhodnutí v reÃĄlnÃĐm čase. Na rozdíl od deterministickÃĐho softwaru je chovÃĄní tvarovÃĄno dynamicky napříč sekvencemi akcí. To mění bezpečnostní model. Expozice jiÅū nezÅŊstÃĄvÃĄ pouze na poruÅĄovÃĄní přístupu. VznikÃĄ prostřednictvím toho, jak rozhodnutí, nÃĄstroje a kontext interagují v prÅŊběhu času.

Geordie AI zdÅŊrazňuje behaviorÃĄlní pozorovatelnost, kontextuÃĄlní hodnocení rizika a dynamickou kontrolu nad aktivitami agentÅŊ. Jak by měly podniky vyvÃĄÅūit potřebu takovÃĐ reÃĄlnÃĐ viditelnosti s obavami kolem provozní sloÅūitosti nebo systÃĐmovÃĐho vÃ―konu?

Podniky by neměly muset obětovat vÃ―kon pro dohled. NaÅĄÃ­ architekturou se zÃĄměrně vyhÃ―bÃĄme inline proxy a brÃĄnÃĄm, coÅū umoÅūňuje organizacím budovat a provozovat agenty tam, kde to operačně dÃĄvÃĄ smysl.

Pozorovatelnost a kontrola musí ÅĄkÃĄlovat s autonomií bez zavedení tření nebo latence. Pokud mechanismy řízení brzdí pracovní postupy, přijetí se zastaví. ÚčinnÃĄ bezpečnost umoÅūňuje ekosystÃĐmÅŊm expandovat bezpečně, spÃ­ÅĄe neÅū omezovat inovace.

Z vaÅĄÃ­ prÃĄce s podnikovÃ―mi zÃĄkazníky a lídry v oblasti rizik, kterÃĐ typy pracovních postupÅŊ nebo pouÅūití jsou nejvíce nÃĄchylnÃĐ k agenticskÃĐmu posunu do aktivit s vyÅĄÅĄÃ­m rizikem, a jak lze detekovat časnÃĄ indikÃĄtora, neÅū se vyvinou v materiÃĄlní incidenty?

Riziko tenduje ke zvÃ―ÅĄení se sloÅūitostí. Čím více rozhodnutí činí agent nezÃĄvisle, tím větÅĄÃ­ je potenciÃĄl pro behaviorÃĄlní odchylku.

Posun se často objevuje prostřednictvím řetězení nÃĄstrojÅŊ, opětovnÃĐho pouÅūití kontextu a vznikajících pracovních postupÅŊ. ČasnÃĄ indikÃĄtora zahrnují neočekÃĄvanÃĐ vyvolÃĄní nÃĄstrojÅŊ, neobvyklÃĐ sekvence vzorcÅŊ a posuny v pohybu dat. Detekce těchto signÃĄlÅŊ vyÅūaduje behaviorÃĄlní analÃ―zu spÃ­ÅĄe neÅū izolovanÃĐ monitorovÃĄní udÃĄlostí.

KdyÅū AI agenti znovu pouÅūívají kontext a nÃĄstroje napříč Úkoly, kterÃĐ jsou nejvíce jemnÃĐ nebo podceňovanÃĐ reÅūimy selhÃĄní, kterÃĐ by měly bezpečnostní tÃ―my sledovat?

OpětovnÃĐ pouÅūití kontextu zÅŊstÃĄvÃĄ podceňovÃĄno. Expozice často vznikÃĄ ne z nadměrnÃ―ch oprÃĄvnění, ale z toho, jak informace přetrvÃĄvají a ÅĄÃ­Å™Ã­ se napříč Úkoly.

Agenti mohou legitimně přistupovat k datÅŊm v jednom kontextu a neÚmyslně nÃĐst tento stav do jinÃĐho. V kombinaci s řetězením nÃĄstrojÅŊ to mÅŊÅūe vÃĐst k neÚmyslnÃĐmu prozrazení nebo transformaci citlivÃ―ch informací.

MnohÃĐ organizace stÃĄle spolÃĐhají na tradiční podnikovÃĐ bezpečnostní nÃĄstroje, jako jsou Endpoint Detection and Response a Extended Detection and Response platformy. Kde tyto přístupy selhÃĄvají při sprÃĄvě autonomních AI systÃĐmÅŊ, kterÃРčiní vícekrokovÃĐ akce?

EDR a XDR platformy zÅŊstÃĄvají nezbytnÃĐ, ale byly navrÅūeny kolem lidskÃ―ch hrozeb. Agenti operují napříč rozhodovacími vrstvami, kterÃĐ sahají za telemetrii koncovÃ―ch bodÅŊ a identity.

Pochopení chovÃĄní agentÅŊ vyÅūaduje vhled do vzorcÅŊ rozhodovÃĄní, vÃ―běru nÃĄstrojÅŊ a kontextuÃĄlních tokÅŊ rozhodnutí. Bez tÃĐto vrstvy zÅŊstÃĄvÃĄ velkÃĄ ÄÃĄst aktivity agentÅŊ neprÅŊhlednÃĄ.

Pro IT, rizika a bezpečnostní lídry, kteří chtějí povolit inovace, ale vyhnout se nekontrolovanÃĐ autonomii, co vlastně znamenÃĄ „řízenÃĄ autonomie“ v praxi?

RízenÃĄ autonomie začínÃĄ viditelností. Organizace musí pochopit, kde agenti operují, jakou rozhodovací autoritu drÅūí a jakÃĄ rizika jejich schopnosti zavÃĄdějí.

Rízení je nejÚčinnějÅĄÃ­, kdyÅū je začleněno brzy, umoÅūňující experimentovÃĄní v rÃĄmci definovanÃ―ch hranic. To podporuje inovace, zatímco udrÅūuje dÅŊvěru ve vÃ―sledky.

Vysvětlitelnost je často diskutovÃĄna na Úrovni vÃ―stupu modelu. Jak by měly podniky uvaÅūovat o vysvětlitelnosti a auditovatelnosti, kdyÅū skutečnÃĐ riziko mÅŊÅūe leÅūet v sekvenci akcí, kterÃĐ agent činí v prÅŊběhu času?

Vysvětlitelnost modelu je pouze ÄÃĄstí rovnice. PodnikovÃĐ riziko se stÃĄle více nachÃĄzí v behaviorÃĄlních sekvencích spÃ­ÅĄe neÅū v izolovanÃ―ch vÃ―stupech.

Auditovatelnost vyÅūaduje pochopení, jak zÃĄbrany tvarovaly interpretaci, kterÃĐ nÃĄstroje byly vyvolÃĄny a jak kontext ovlivnil rozhodnutí. BehaviorÃĄlní pozorovatelnost se stÃĄvÃĄ zÃĄkladem pro odpovědnost.

Pro organizace, kterÃĐ uznÃĄvají potřebu silnějÅĄÃ­ho dohledu nad autonomními AI systÃĐmy, kterÃĐ konkrÃĐtní kroky by měly podniknout dnes, aby sníÅūily agenticskÃĐ riziko bez zpomalení inovací, a jak Geordie AI konkrÃĐtně pomÃĄhÃĄ podnikÅŊm operacionalizovat rovnovÃĄhu mezi kontrolou a schopností?

Organizace profitují z poÄÃĄtečního zaměření spÃ­ÅĄe neÅū čekÃĄní na dokonalÃĐ rÃĄmce. PoÄÃĄteční zaměření by se mělo soustředit na inventarizaci, behaviorÃĄlní viditelnost a pochopení, jak agenti interagují se systÃĐmy.

Modely řízení, kterÃĐ zavÃĄdějí latenci, často brzdí ÅĄkÃĄlovatelnost. Dohled musí bÃ―t sladěn s provozní rychlostí. Geordie AI poskytuje viditelnost do konfigurace agentÅŊ, chovÃĄní a dynamiky rizik, zatímco umoÅūňuje korekční mechanismy navrÅūenÃĐ pro autonomní systÃĐmy.

Pohledem do budoucnosti, co bude oddělovat organizace, kterÃĐ ÃšspÄ›ÅĄně ÅĄkÃĄlovat agentic AI napříč pracovními postupy, od těch, kterÃĐ budou čelit komplikacím kvÅŊli neřízenÃ―m rizikÅŊm, a jak by se měli lídři připravovat nyní?

RanÃĐ rozliÅĄovače budou jasnost a měření. TÃ―my, kterÃĐ pochopí schopnost agentÅŊ, dopad a behaviorÃĄlní vzorce, budou ÅĄkÃĄlovat s větÅĄÃ­ dÅŊvěrou.

Dlouhodobě, konkurenční vÃ―hoda bude favorizovat organizace, kterÃĐ vyvinou specializovanÃĐ, kontextuÃĄlně vědomÃĐ agentní ekosystÃĐmy. Preciznost, spÃ­ÅĄe neÅū generalizace, se stÃĄvÃĄ hnací silou vÃ―konu a odolnosti.

Děkuji za skvělÃ― rozhovor, čtenÃĄÅ™i, kteří chtějí se dozvědět více, by měli navÅĄtívit Geordie AI.

Antoine je vizionÃĄÅ™skÃ― líder a spoluzakladatel Unite.AI, kterÃ― je pohÃĄněn neotřesitelnou vÃĄÅĄní pro formovÃĄní a propagaci budoucnosti umělÃĐ inteligence a robotiky. Jako sÃĐriovÃ― podnikatel věří, Åūe umělÃĄ inteligence bude mít na společnost stejně disruptivní vliv jako elektřina, a často se chvÃĄla na potenciÃĄl disruptivních technologií a AGI.