Connect with us

Leader di pensiero

Quando gli agenti di intelligenza artificiale iniziano a coordinarsi, il rischio interno si moltiplica

mm

L’episodio di OpenClaw ha esposto un rischio che la maggior parte dei programmi di sicurezza non sta attivamente monitorando: la collusione tra sistemi guidati dall’intelligenza artificiale.

In uno dei primi esempi osservati pubblicamente, agenti di intelligenza artificiale autonomi sono stati osservati mentre scoprivano l’uno l’altro, coordinavano il loro comportamento, rafforzavano le tattiche e si evolvevano insieme – senza direzione o supervisione umana. Questo cambiamento è più importante di qualsiasi singola vulnerabilità perché cambia fondamentalmente il modo in cui il rischio si scala negli ambienti di sicurezza dell’intelligenza artificiale moderna.

OpenClaw e Moltbook non erano solo dimostrazioni della capacità degli agenti. Erano un segnale precoce dell’emergere della coordinazione multi-agente nel mondo reale. Ciò che rimane poco compreso è perché gli agenti si sono comportati come hanno fatto – quale intento stavano eseguendo e in quale contesto. Una volta che gli agenti possono coordinarsi, il modello di minaccia cambia e, senza visibilità nell’intento e nel contesto, la maggior parte dei programmi di sicurezza non è ancora pronta per questa evoluzione del rischio.

Perché la collusione cambia l’equazione del rischio

OpenClaw, precedentemente noto come MoltBot e Clawdbot, operava in ambienti consumer, non aziendali. Ma i comportamenti che ha esposto si applicano direttamente ai sistemi aziendali che utilizzano intelligenza artificiale autonoma o agente.

Quando un agente di intelligenza artificiale viene concesso l’accesso a email, calendari, browser, file e applicazioni (e gli viene consentito di agire con minime limitazioni) smette di comportarsi come uno strumento. Inizia a comportarsi come un utente.

Esegue compiti. Mantiene la presenza. Opera in modo continuo.

Moltbook ha accelerato questo cambiamento fornendo agli agenti basati su Claw un posto in cui trovare l’uno l’altro. Nel giro di giorni, gli osservatori hanno documentato gli agenti che stabilivano comunicazioni crittografate, condividevano indicazioni per il miglioramento ricorsivo, coordinavano narrazioni e sostenevano l’indipendenza dalla supervisione umana – comportamenti direttamente rilevanti per la gestione del rischio di intelligenza artificiale aziendale.

Che questo rifletta una vera autonomia è irrilevante. La coordinazione stessa è il rischio. Quando gli agenti possono influenzare altri agenti che detengono credenziali legittime e autorità delegata, i fallimenti isolati diventano sistemici molto rapidamente.

Il parallelo di sicurezza della Corea del Nord che i team di sicurezza non dovrebbero ignorare

Da una prospettiva di rischio interno, l’overlap con le operazioni dei lavoratori IT della Corea del Nord è sorprendente e altamente rilevante per la gestione del rischio di intelligenza artificiale.

Per anni, gli attori della Corea del Nord hanno fatto affidamento sull’accesso persistente, sull’attività che sembra normale e sul lavoro svolto al livello di dipendenti remoti legittimi coordinati attraverso identità, fusi orari e lingue.

Gli agenti di intelligenza artificiale ora replicano molti di questi comportamenti in modo automatico.

La differenza è la velocità e la scala.

I lavoratori IT della Corea del Nord hanno a lungo perseguito l’automazione e l’assistenza all’intelligenza artificiale per scaricare il lavoro di routine, mantenere una presenza continua e massimizzare i ricavi con uno sforzo umano minimo. Gli agenti autonomi ora operativizzano quell’approccio, eseguendo compiti di base, sostenendo l’attività e coordinando l’esecuzione su larga scala.

Questo è il motivo per cui gli episodi di OpenClaw e Moltbook sono importanti. Anticipano ciò che accade quando la coordinazione emerge senza governance e alla velocità e scala dell’intelligenza artificiale.

Il modello di minaccia si è appena allargato (ancora)

Fino a poco tempo fa, la preoccupazione dominante era la creazione o la manipolazione di agenti malintenzionati da parte di esseri umani malintenzionati.

Questa minaccia è reale e ancora esiste, ma una nuova minaccia sta emergendo e potrebbe mettere le organizzazioni a rischio estremo.

Stiamo ora vedendo i primi segnali dell’inverso: agenti di intelligenza artificiale malintenzionati che assumono esseri umani.

Piattaforme come rentahuman.ai consentono esplicitamente agli agenti di intelligenza artificiale di assumere esseri umani per compiti del mondo reale – dal fare commissioni e partecipare a riunioni a firmare documenti e effettuare acquisti. Gli esseri umani fissano i tassi. Gli agenti assegnano i compiti.

Il confine tra sistemi autonomi e lavoro umano si è appena assottigliato. L’intento può ora originare da entrambi i lati e l’esecuzione può fluire in entrambe le direzioni.

Questo non è fantascienza. È un cambiamento strutturale nel modo in cui il lavoro (e l’abuso) può essere orchestrato.

Perché questo è importante per i team di sicurezza

Gli agenti di intelligenza artificiale stanno superando un punto di inflessione che cambia fondamentalmente il rischio organizzativo. Questo non è più solo un altro problema di sicurezza dell’intelligenza artificiale da gestire nel tempo – è un rischio interno sistemico che può minacciare direttamente la continuità aziendale, la fiducia e il marchio se lasciato senza governance.

Non sono più limitati a rispondere a prompt discreti. Stanno iniziando a persistere, coordinarsi e agire attraverso ambienti mai progettati per l’autorità delegata (per non parlare dell’influenza agente-agente).

Da una prospettiva di rischio interno, l’esposizione non deriva solo dal codice malintenzionato. Emergere a livello di interazione, dove l’intento umano, la capacità dell’agente, l’autorità delegata e la coordinazione si intersecano. Ciò si mappa strettamente al concetto di Simon Willison del Lethal Trifecta: accesso a dati sensibili, esposizione a input non attendibili e capacità di agire o comunicare esternamente. Quando queste condizioni convergono, i fallimenti possono escalation rapidamente da errori isolati a rischi aziendali critici.

Comprendere questo richiede di andare oltre il pensiero a singolo agente verso il rischio dei sistemi comportamentali.

Quattro modelli di interazione che creano rischio

Gli incidenti degli agenti di intelligenza artificiale non sono una singola categoria. Gli esiti dipendono da chi detiene l’intento e da come l’autorità viene esercitata. Una semplice matrice aiuta i team a classificare gli incidenti e a rispondere di conseguenza.

  1. Collusione: umano malintenzionato, agente malintenzionato
    L’agente diventa un accelerante. L’intento umano si combina con l’efficienza, la persistenza e la scala dell’agente. La coordinazione compone l’effetto, consentendo frode, disinformazione o manipolazione senza grandi team. Moltbook ha offerto un’anticipazione di come gli agenti possano rinforzare l’uno l’altro quando la scoperta non è vincolata.
  2. Utente avversario: umano malintenzionato, agente non malintenzionato
    Gli agenti utili sono strumenti ideali per l’abuso. Un insider malintenzionato può mantenere false identità, mascherare l’attività o scalare l’inganno come la frode di sovrappopolazione. L’agente non è malintenzionato. Sta eseguendo l’autorità delegata.
  3. Agente compromesso: umano non malintenzionato, agente malintenzionato
    Qui, l’intento viene rimosso dall’essere umano del tutto. L’iniezione di prompt, la memoria avvelenata o gli input manipolati possono trasformare un agente in un vettore per l’abuso. Quando gli agenti interagiscono con altri agenti, il compromesso può propagarsi rapidamente, specialmente con la memoria persistente – una preoccupazione critica per la sicurezza dell’intelligenza artificiale.
  4. Stato ideale: umano non malintenzionato, agente non malintenzionato
    Dove la maggior parte delle organizzazioni presume la sicurezza e dove molti incidenti iniziano. La delega eccessiva, i permessi accumulati e l’accesso ampio consentono ai piccoli errori di cascata. Ciò non è negligenza. È un mismatch tra capacità e controllo.

In tutti e quattro i modelli, la dinamica è coerente. Gli agenti di intelligenza artificiale riducono l’attrito tra intento e risultato, mascherano i segnali comportamentali e estendono la portata. I controlli tradizionali lottano quando le azioni sono delegate, continue e mediate attraverso sistemi autonomi.

Un punto di inflessione nella governance

L’intelligenza artificiale agente è progettata per osservare in modo continuo, mantenere il contesto e agire sulla conoscenza accumulata. È questo che la rende preziosa e pericolosa se non vincolata.

Con la memoria persistente e la coordinazione, lo sfruttamento non deve essere immediato. Può aspettare. Può evolversi.

Inquadrare l’intelligenza artificiale agente come uno strumento di produttività sottovaluta il rischio. Questi sistemi si comportano meno come applicazioni e più come insider, ma con la velocità dei computer.

Cosa richiede effettivamente l’adozione sicura di agenti di intelligenza artificiale

Le organizzazioni dovrebbero trattare l’intelligenza artificiale agente come sistemi aziendali ad alto rischio, non come comodità.

Ciò significa casi d’uso approvati, controlli stratificati, test avversari e governance formale. Il principio del minimo privilegio è ancora importante e gli standard esistenti forniscono già indicazioni. Ma i controlli tradizionali devono essere abbinati alla visibilità e all’intelligenza comportamentale – storie di prompt, azioni autonome e modelli di coordinazione – per distinguere l’abuso, l’abuso e il fallimento sistemico come parte della gestione efficace del rischio di intelligenza artificiale.

Questo non è rallentare l’adozione. È rendere l’autonomia governabile senza compromettere l’innovazione e la velocità.

Il punto chiave

La collusione cambia l’equazione del rischio interno. Quando gli agenti di intelligenza artificiale possono rinforzare il comportamento l’uno dell’altro, il rischio si sposta da azioni isolate all’autorità condivisa, influenza e amplificazione.

L’esposizione alla sicurezza emerge ora a livello di interazione, dove l’accesso legittimo, l’autorità delegata e la collusione si intersecano. I controlli costruiti per valutare l’attività individuale mancheranno i fallimenti che appaiono solo quando i comportamenti si combinano.

Le organizzazioni che governano gli agenti di intelligenza artificiale come insider – con visibilità e responsabilità comportamentale – possono espandere l’uso degli agenti di intelligenza artificiale con fiducia. Quelle che non lo fanno saranno lasciate a rispondere a esiti che non controllano più pienamente.

Marshall Heilman è il Chief Executive Officer di DTEX Systems, il leader globale per la gestione del rischio interno. Marshall ha più di 20 anni di esperienza nella sicurezza informatica (in startup e grandi organizzazioni pubbliche), ricoprendo ruoli di leadership esecutiva e altamente tecnici presso Mandiant e Google.