Hanah-Marie Darley, Chief AI Officer di Geordie AI – Serie di Interviste

Hanah-Marie Darley, Chief AI Officer di Geordie AI, è un leader esperto di AI e sicurezza che ha co-fondato l’azienda per aiutare le squadre IT, risk e sicurezza delle imprese a adottare l’AI agente con chiarezza e controllo. Con quasi un decennio di supporto alle operazioni di intelligence all’interno del governo federale degli Stati Uniti e successivi ruoli di leadership senior in Darktrace, combina una profonda esperienza in intelligence sulle minacce, analisi geopolitica e psicologia applicata con un’esperienza pratica nella strategia AI e nello sviluppo di prodotti. Il suo lavoro si concentra sull’allineare i sistemi autonomi con l’intento umano, consentendo alle imprese di operazionalizzare gli agenti AI in modo da bilanciare innovazione, controllo e vincoli del mondo reale.

Geordie AI è un’azienda di software per imprese con sede a Londra, focalizzata sulla sicurezza e sulla governance degli agenti AI mentre si integrano negli ambienti aziendali. La sua piattaforma fornisce visibilità sull’attività degli agenti, monitoraggio continuo della postura di rischio e controlli di governance strutturati che consentono alle organizzazioni di distribuire e scalare i sistemi AI con fiducia. Fornendo osservabilità, supporto per la conformità e controllo operativo personalizzato per l’era degli agenti, Geordie mira a fornire alle imprese la trasparenza e il controllo necessari per integrare tecnologie sempre più autonome senza compromettere la sicurezza o la responsabilità.

Ha trascorso quasi un decennio nel settore dell’intelligence sulle minacce e dell’analisi geopolitica del governo federale degli Stati Uniti, in seguito ha guidato ruoli di ricerca sulle minacce e strategia AI in Darktrace, e ora guida la strategia AI e dei prodotti in Geordie AI. Quali esperienze nel governo e nella sicurezza aziendale l’hanno influenzata a costruire Geordie, e qual è il problema fondamentale che si è impegnata a risolvere?

Nel governo e nella sicurezza aziendale, ho continuamente incontrato la stessa tensione strutturale. Le organizzazioni investivano molto in AI, ma la fiducia in come quei sistemi si comportavano era in ritardo rispetto alle aspettative di ritorno sull’investimento. La sfida non era la capacità. Era la fiducia.

Man mano che l’AI si spostava da strumenti sperimentali a flussi di lavoro operativi, quella lacuna diventava più visibile. Gli agenti introducono autonomia, processo decisionale e persistenza attraverso i sistemi in modi che il software tradizionale non ha mai fatto. Le aziende avevano bisogno di un modo per capire come funzionano gli agenti, dove operano e come emerge il rischio attraverso il loro comportamento. Geordie è stata costruita per colmare quella lacuna di chiarezza in modo che le organizzazioni possano adottare l’autonomia con fiducia piuttosto che esitazione.

Nella sua opinione, qual è il rischio più frainteso che i sistemi AI autonomi o agente presentano alle imprese, e come l'”effetto a catena” della decisione contestuale differisce dai modelli di esposizione alla sicurezza tradizionale?

I fallimenti silenziosi rimangono il meno compresi. Un agente può operare all’interno dei permessi approvati e dei confini di accesso legittimi mentre produce ancora risultati che divergono dall’intento.

Questo riflette la natura dei sistemi agente. Interpretano il contesto e prendono decisioni in tempo reale. A differenza del software deterministico, il comportamento è plasmato dinamicamente attraverso sequenze di azioni. Ciò sposta il modello di sicurezza. L’esposizione non dipende più solo dalle violazioni di accesso. Emergono attraverso come le decisioni, gli strumenti e il contesto interagiscono nel tempo.

L’approccio di Geordie enfatizza l’osservabilità del comportamento, la valutazione del rischio contestuale e il controllo dinamico sulle attività degli agenti. Come le organizzazioni dovrebbero bilanciare la necessità di quella visibilità in tempo reale con le preoccupazioni relative alla complessità operativa o alle prestazioni del sistema?

Le imprese non dovrebbero dover scambiare le prestazioni per la supervisione. La nostra architettura evita deliberatamente i proxy e i gateway in linea, permettendo alle organizzazioni di costruire e operare gli agenti dove ha senso operativamente.

La visibilità e il controllo devono scalare con l’autonomia senza introdurre attrito o latenza. Se i meccanismi di governance impediscono i flussi di lavoro, l’adozione si ferma. La sicurezza efficace consente agli ecosistemi di espandersi in sicurezza piuttosto che limitare l’innovazione.

Dal suo lavoro con i clienti aziendali e i leader del rischio, quali tipi di flussi di lavoro o casi d’uso sono più suscettibili alla deriva agente verso attività ad alto rischio, e come possono essere rilevati i primi indicatori prima che si trasformino in incidenti materiali?

Il rischio tende ad aumentare con la complessità. Più scelte fa un agente in modo indipendente, maggiore è il potenziale per una divergenza comportamentale.

La deriva appare frequentemente attraverso la catena di strumenti, il riutilizzo del contesto e i flussi di lavoro emergenti. I primi indicatori includono l’invocazione di strumenti inaspettati, modelli di sequenza insoliti e spostamenti dei dati. Rilevare questi segnali richiede un’analisi comportamentale piuttosto che un monitoraggio di eventi isolati.

Quando gli agenti AI riutilizzano il contesto e gli strumenti attraverso attività, quali sono i modi di fallimento più sottili o sottostimati che i team di sicurezza dovrebbero monitorare più da vicino?

Il riutilizzo del contesto rimane sottostimato. L’esposizione spesso emerge non da permessi eccessivi, ma da come le informazioni persistono e si propagano attraverso le attività.

Gli agenti possono accedere legittimamente ai dati all’interno di un contesto e involontariamente portare quello stato in un altro. Combinato con la catena di strumenti, ciò può produrre una divulgazione o trasformazione non intenzionale di informazioni sensibili.

Molte organizzazioni fanno ancora affidamento su strumenti di sicurezza aziendale tradizionali come Endpoint Detection and Response e piattaforme di Extended Detection and Response. Dove questi approcci falliscono quando si gestiscono sistemi AI autonomi che eseguono azioni multi-step?

Le piattaforme EDR e XDR rimangono essenziali, ma sono state progettate intorno a modelli di minaccia centrati sull’uomo. Gli agenti operano attraverso livelli decisionali che si estendono oltre la telemetria dell’endpoint e dell’identità.

Comprendere il comportamento degli agenti richiede insight nei modelli di ragionamento, nella selezione degli strumenti e nei flussi decisionali contestuali. Senza quel livello, grandi porzioni dell’attività degli agenti rimangono opache.

Per i leader IT, risk e sicurezza che desiderano abilitare l’innovazione ma evitare l’autonomia incontrollata, cosa significa esattamente “autonomia governata” nella pratica?

L’autonomia governata inizia con la visibilità. Le organizzazioni devono capire dove operano gli agenti, quanto autorità decisionale detengono e quali rischi le loro capacità introducono.

La governance è più efficace quando è incorporata presto, consentendo l’esperimentazione all’interno di confini definiti. Ciò supporta l’innovazione mantenendo la fiducia negli esiti.

La spiegabilità è spesso discussa al livello di output del modello. Come le imprese dovrebbero pensare alla spiegabilità e all’auditabilità quando il vero rischio può risiedere nella sequenza di azioni che un agente esegue nel tempo?

La spiegabilità del modello è solo una parte dell’equazione. Il rischio aziendale risiede sempre più nelle sequenze comportamentali piuttosto che negli output isolati.

L’auditabilità richiede la comprensione di come le barriere abbiano plasmato l’interpretazione, quali strumenti sono stati invocati e come il contesto ha influenzato le decisioni. L’osservabilità del comportamento diventa la base per la responsabilità.

Per le organizzazioni che riconoscono la necessità di una maggiore supervisione dei sistemi AI autonomi, quali passi concreti dovrebbero intraprendere oggi per ridurre il rischio agente senza rallentare l’innovazione, e come Geordie AI aiuta specificamente le imprese a operazionalizzare quell’equilibrio tra controllo e capacità?

Le organizzazioni traggono beneficio dall’iniziare presto piuttosto che aspettare quadri perfetti. La focus iniziale dovrebbe concentrarsi sull’inventario, sulla visibilità del comportamento e sulla comprensione di come gli agenti interagiscono con i sistemi.

I modelli di governance che introducono latenza spesso impediscono la scalabilità. La supervisione deve allinearsi con la velocità operativa. Geordie fornisce visibilità sulla configurazione degli agenti, sul comportamento e sulla dinamica del rischio, abilitando controlli correttivi progettati per sistemi autonomi.

Guardando avanti, cosa separerà le organizzazioni che scalano con successo i sistemi AI agente attraverso i flussi di lavoro da quelle che subiscono ritardi a causa di rischi non gestiti, e come la leadership dovrebbe prepararsi ora?

I primi differenziatori saranno la chiarezza e la misurazione. Le squadre che comprendono la capacità degli agenti, l’impatto e i modelli comportamentali scaleranno con maggiore fiducia.

Nel lungo termine, il vantaggio competitivo favorirà le organizzazioni che sviluppano ecosistemi di agenti specializzati e consapevoli del contesto. La precisione, piuttosto che la generalizzazione, diventa il driver delle prestazioni e della resilienza.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Geordie AI.