Hanah-Marie Darley, Șefă AI la Geordie AI – Seria de interviuri

Hanah-Marie Darley, Șefă AI la Geordie AI, este o lideră experimentată în domeniul inteligenței artificiale și securității, care a co-fondat compania pentru a ajuta echipele de IT, risc și securitate din întreprinderi să adopte inteligența artificială agentică cu claritate și control. Cu aproape un deceniu de sprijin pentru operațiunile de informații în cadrul Guvernului Federal al Statelor Unite și ulterior roluri de conducere în cadrul Darktrace, ea combină o expertiză profundă în analiza amenințărilor, analiza geopolitică și psihologia aplicată cu experiență practică în strategia și dezvoltarea produselor de inteligență artificială. Munca ei se concentrează pe alinierea sistemelor autonome cu intenția umană, permițând întreprinderilor să operaționalizeze agenți de inteligență artificială într-un mod care echilibrează inovația, supravegherea și constrângerile din lumea reală.

Geordie AI este o companie de software pentru întreprinderi cu sediul în Londra, axată pe securizarea și guvernanța agenților de inteligență artificială pe măsură ce aceștia devin încorporați în mediile corporative. Platforma sa oferă vizibilitate asupra activității agenților, monitorizare continuă a posturii de risc și mecanisme de guvernanță structurată care permit organizațiilor să implementeze și să scaleze sisteme de inteligență artificială cu încredere. Prin furnizarea de observabilitate, suport de conformitate și supraveghere operațională adaptate erei agenților, Geordie AI urmărește să ofere întreprinderilor transparența și controlul necesare pentru a integra tehnologii din ce în ce mai autonome fără a compromite securitatea sau răspunderea.

Ați petrecut aproape un deceniu în analiza amenințărilor și analiza geopolitică a guvernului federal al Statelor Unite, ulterior ați condus cercetarea amenințărilor și strategia de inteligență artificială la Darktrace, și acum conduceți strategia de inteligență artificială și produs la Geordie AI. Care au fost experiențele dvs. în guvern și securitatea întreprinderilor care v-au influențat decizia de a construi Geordie AI, și care a fost problema de bază pe care ați fost hotărât să o rezolvați?

Atât în guvern, cât și în securitatea întreprinderilor, am întâlnit mereu aceeași tensiune structurală. Organizațiile investeau masiv în inteligență artificială, dar încrederea în comportamentul acestor sisteme rămânea în urmă față de așteptările de rentabilitate a investițiilor. Provocarea nu a fost capacitatea. A fost încrederea.

Pe măsură ce inteligența artificială a trecut de la uneltele experimentale la fluxurile de lucru operaționale, acea lacună a devenit mai vizibilă. Agenții introduc autonomie, luare a deciziilor și persistență în sisteme în moduri în care software-ul tradițional nu a făcut-o niciodată. Afacerile aveau nevoie de o modalitate de a înțelege cum funcționează agenții, unde operează și cum riscă prin comportamentul lor. Geordie AI a fost creat pentru a închide acea lacună de claritate, astfel încât organizațiile să poată adopta autonomie cu încredere, mai degrabă decât cu ezitare.

În opinia dvs., care este cel mai puțin înțeles risc pe care sistemele de inteligență artificială agențică le prezintă întreprinderilor, și cum se diferențiază “efectul de lanț” al luării deciziilor contextuale de la modelele tradiționale de expunere la securitate cibernetică?

Eșecurile silențioase rămân cel mai puțin înțelese. Un agent poate opera în interiorul permisiunilor aprobate și al limitelor de acces legitime, dar poate produce totuși rezultate care se abat de la intenție.

Acest lucru reflectă natura sistemelor agențică. Ele interpretează contextul și iau decizii în timp real. În contrast cu software-ul determinist, comportamentul este modelat dinamic de-a lungul secvențelor de acțiuni. Acest lucru schimbă modelul de securitate. Expunerea nu se bazează doar pe încălcarea accesului. Ea apare prin modul în care deciziile, uneltele și contextul interacționează în timp.

Abordarea Geordie AI subliniază observabilitatea comportamentală, evaluarea contextuală a riscurilor și controlul dinamic asupra activităților agenților. Cum ar trebui organizațiile să echilibreze nevoia de vizibilitate în timp real cu preocupările legate de complexitatea operațională sau de performanța sistemului?

Întreprinderile nu ar trebui să fie nevoite să facă schimb de performanță pentru supraveghere. Arhitectura noastră evită în mod deliberat proxi și porți de intrare inline, permițând organizațiilor să construiască și să opereze agenți acolo unde are sens din punct de vedere operațional.

Vizibilitatea și controlul trebuie să se extindă odată cu autonomia, fără a introduce fricțiune sau întârziere. Dacă mecanismele de guvernanță împiedică fluxurile de lucru, adoptarea se oprește. Securitatea eficientă permite ecosistemelor să se extindă în siguranță, mai degrabă decât să constrângă inovația.

În urma experienței dvs. cu clienții întreprinderilor și liderii de risc, care tipuri de fluxuri de lucru sau cazuri de utilizare sunt mai susceptibile la derapajul agenților către activități cu risc mai mare, și cum pot fi detectate indicatorii timpurii înainte de a escalada în incidente materiale?

Riscul tinde să crească odată cu complexitatea. Cu cât un agent ia decizii independente, cu atât este mai mare potențialul pentru divergența comportamentală.

Derapajul apare adesea prin înlănțuirea uneltelor, reutilizarea contextului și fluxurile de lucru emergente. Indicatorii timpurii includ invocarea neașteptată a uneltelor, modele de secvențiere neobișnuite și schimbări în mișcarea datelor. Detectarea acestor semnale necesită analiza comportamentală, mai degrabă decât monitorizarea izolată a evenimentelor.

Când agenții reutilizează contextul și uneltele în diferite sarcini, care sunt modurile de eșec cele mai subtile sau subestimate pe care echipele de securitate ar trebui să le acorde o atenție mai mare?

Reutilizarea contextului rămâne subestimată. Expunerea apare adesea nu din cauza permisiunilor excesive, ci din modul în care informațiile persistă și se propagă de-a lungul sarcinilor.

Agenții pot accesa în mod legitim date într-un context și pot transporta involuntar acea stare în alt context. În combinație cu înlănțuirea uneltelor, acest lucru poate produce divulgarea neintenționată sau transformarea informațiilor sensibile.

Majoritatea organizațiilor încă se bazează pe unelte de securitate tradiționale pentru întreprinderi, cum ar fi sistemele de detectare și răspuns la punctele de extremitate și platformele de detectare și răspuns extinse. În ce moduri aceste abordări nu reușesc să facă față gestionării sistemelor de inteligență artificială autonome care efectuează acțiuni în mai multe etape?

Platformele EDR și XDR rămân esențiale, dar au fost proiectate în jurul modelelor de amenințare centrate pe om. Agenții operează în straturi de decizie care se extind dincolo de telemetria punctelor de extremitate și a identității.

Înțelegerea comportamentului agenților necesită insight în modelele de raționament, selectarea uneltelor și fluxurile de decizie contextuale. Fără acest strat, o mare parte a activității agenților rămâne opacă.

Pentru liderii IT, risc și securitate care doresc să permită inovația, dar să evite autonomia dezlănțuită, ce înseamnă “autonomie guvernată” în practică?

Autonomia guvernată începe cu vizibilitatea. Organizațiile trebuie să înțeleagă unde operează agenții, câtă autoritate de decizie dețin și care sunt riscurile pe care le introduc capacitățile lor.

Guvernanța este cea mai eficientă atunci când este încorporată de la început, permițând experimentarea în cadrul limitelor definite. Acest lucru sprijină inovația, menținând în același timp încrederea în rezultate.

Explicabilitatea este adesea discutată la nivelul ieșirii modelului. Cum ar trebui întreprinderile să gândească despre explicabilitate și auditabilitate atunci când riscul real poate să se afle în secvența acțiunilor pe care le ia un agent în timp?

Explicabilitatea modelului este doar o parte a ecuației. Riscul întreprinderii rezidă din ce în ce mai mult în secvențele comportamentale, mai degrabă decât în ieșirile izolate.

Auditabilitatea necesită înțelegerea modului în care gardurile de protecție au modelat interpretarea, care unelte au fost invocate și cum contextul a influențat deciziile. Observabilitatea comportamentală devine baza pentru responsabilitate.

Pentru organizațiile care recunosc nevoia de supraveghere mai puternică a sistemelor de inteligență artificială autonome, care sunt pașii concreți pe care ar trebui să îi ia astăzi pentru a reduce riscul agențic fără a încetini inovația, și cum Geordie AI ajută în mod specific întreprinderile să operaționalizeze echilibrul dintre control și capacitate?

Organizațiile beneficiază de a începe devreme, mai degrabă decât a aștepta cadre perfecte. Focusul inițial ar trebui să se concentreze pe inventar, vizibilitate comportamentală și înțelegerea modului în care agenții interacționează cu sistemele.

Modelele de guvernanță care introduc întârziere adesea împiedică scalabilitatea. Supravegherea trebuie să se alinieze cu viteza operațională. Geordie AI oferă vizibilitate asupra configurării agenților, comportamentului și dinamicii riscurilor, permițând controale corective proiectate pentru sisteme autonome.

Privind înainte, ce va diferenția organizațiile care vor scala cu succes inteligența artificială agențică în fluxurile de lucru de la cele care vor experimenta întârzieri din cauza riscurilor necontrolate, și cum ar trebui liderii să se pregătească acum?

Factorii de diferențiere timpurii vor fi claritatea și măsurarea. Echipele care înțeleg capacitatea agenților, impactul și modelele comportamentale vor scala cu mai multă încredere.

Pe termen lung, avantajul competitiv va favoriza organizațiile care dezvoltă ecosisteme de agenți specializați și conștienți de context. Precizia, mai degrabă decât generalizarea, devine factorul de performanță și reziliență.

Mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe pot vizita Geordie AI.