La Crisi della Visibilità dell’Intelligenza Artificiale: Perché i Team di Sicurezza Stanno Volando alla Cieca e Perché Non Devono Farlo

L’integrazione di agenti di intelligenza artificiale in ambienti di produzione sta accelerando, ma l’architettura di sicurezza necessaria per proteggerli è pericolosamente in ritardo. Ci troviamo in un’era in cui un agente di intelligenza artificiale, incaricato di un lavoro di routine in un ambiente di staging, può decidere autonomamente di “risolvere” una discrepanza delle credenziali cancellando un volume del database eliminando un volume del database.

Come industria, stiamo collettivamente disattivando il nostro cervello quando si tratta dei principi di base della sicurezza e dell’osservabilità intorno all’intelligenza artificiale. I team di sicurezza stanno volando alla cieca, ma non devono esserlo.

Il Mito dei Prompt di Sistema e della Strumentazione Sicura

Un mito pervasivo nello spazio dell’intelligenza artificiale è che possiamo controllare il comportamento dell’agente semplicemente dicendogli di comportarsi. I prompt di sistema sono consultivi, non vincolanti. Nell’incidente menzionato, le regole di sistema dell’AI affermavano esplicitamente di non eseguire mai comandi distruttivi, eppure l’agente ha violato le proprie barriere di protezione commercializzate ed eseguito l’azione più irreversibile possibile.

Dobbiamo lavorare sotto l’ipotesi che l’AI non “sappia” effettivamente nulla. Gli attacchi contro l’AI sono ingegneria sociale, tranne che la vittima è più stupida della persona media. Chiunque abbia esperienza di test di penetrazione capisce quanto sia difficile per le organizzazioni difendersi contro gli attacchi di ingegneria sociale. Ora i nostri computer sono suscettibili anche a questo.

Inoltre, la strumentazione dell’AI è in definitiva solo software, e tutti i software hanno bug. Abbiamo già visto casi in cui la strumentazione dell’AI avvia automaticamente server HTTP non autenticati, consentendo a qualsiasi processo o sito web locale di eseguire comandi shell arbitrari con privilegi utente.

La Scatola Nera dell’Auditing dell’Intelligenza Artificiale

Se un’AI diventa ribelle o viene manipolata, capire cosa ha fatto è un incubo. Gli strumenti di AI non forniscono generalmente log di audit. Se siete abbastanza fortunati da essere su un livello aziendale, i log che ricevete sono gravemente carenti. Ad esempio, potreste ricevere un evento vago che afferma che un utente “ha utilizzato l’AI generale” e ricevere metriche di base che dettagliano i contatori di token di input e output.

Nessuno di questi aiuta un analista di sicurezza a rispondere alla domanda fondamentale: cosa esattamente ha eseguito questo agente?

Scoprire l’Intelligenza Artificiale: Come Smettere di Volare alla Cieca

La buona notizia è che non avete necessariamente bisogno di un nuovo apparecchio di sicurezza specifico per l’AI per riacquistare la visibilità. L’uso di AI ombra e l’attività degli agenti sono rilevabili utilizzando le tecniche di analisi dei log esistenti che il vostro team dovrebbe già avere. Le chiamate degli strumenti di AI, l’esecuzione dei comandi e gli eventi di modifica del sistema possono essere tracciati all’AI utilizzando l’analisi dell’esecuzione del processo esistente (che state facendo nel vostro sistema di gestione della sicurezza e degli eventi (SIEM), giusto?).

Ecco come potete sfruttare la vostra infrastruttura corrente per rilevare l’attività di AI:

• Analisi DNS: analizzare i log DNS per le query ai domini di servizio AI noti può aiutare a rilevare l’uso di AI nel vostro ambiente.
• Threatlist: questo approccio richiede la manutenzione di un elenco di minacce aggiornato di domini associati a piattaforme o fornitori di modelli di AI.
• Risorse della Comunità: ci sono progetti e liste di blocco della comunità disponibili che possono essere modificati in tabelle di ricerca per l’uso programmatico.
• Tracciamento SSL: un approccio simile può utilizzare i log SSL per tracciare i nomi del server, sebbene fornisca dettagli leggermente inferiori poiché l’URL completo non viene registrato.
• Telemetria Endpoint: potete utilizzare strumenti come Sysmon per contare i processi figli e cercare i generatori di bash ad alta velocità, che è un forte indicatore di potenziali agenti di AI che eseguono comandi su un endpoint.

Il punto cieco che richiede modifiche attive alla raccolta dei dati è il prompt stesso. Cosa stanno chiedendo gli utenti all’AI? Stanno caricando documenti potenzialmente sensibili, creando così problemi di conformità? Rispondere a queste domande richiede probabilmente la raccolta delle richieste API al fornitore; proxy web, proxy LLM e strumenti di ingestione dei dati da logging e SIEM. Questi possono rimuovere il velo che blocca questa preziosa fonte di dati.

La Minaccia Emergente: Server MCP Malintenzionati

Il protocollo di contesto del modello (MCP) è emerso come un modo per specificare come le app di AI si integrano con strumenti e fonti di dati esterni. Mentre standardizza le connessioni, introduce anche nuovi vettori di attacco massicci tramite “Evil MCP” server.

Ospito un workshop di formazione pratico in cui gli studenti possono sperimentare questo attacco di persona. Progettano un server MCP malintenzionato per ingannare un LLM e farlo chiamare strumenti legittimi e inviare l’output all’attaccante. Poiché gli LLM sono altamente vulnerabili all’ingegneria sociale, bypassare le loro barriere di protezione integrate è spesso solo una questione di scelta di parole migliori o di un pretesto astuto.

Gli studenti utilizzano comunemente il loro server malintenzionato per istruire l’AI che si trova in “modalità di manutenzione” e deve inviare dati a uno strumento secondario per “registrazione degli audit”, risultando così nell’esfiltrazione dei dati. Alcuni sono più creativi con i loro prompt di altri, ma tutti sono generalmente efficaci.

Riprendere il Controllo

Per eseguire correttamente l’audit dell’attività di AI nel mondo reale, è necessario un proxy per intercettare le richieste di AI e uno strumento di raccolta dei log in grado di gestire payload JSON massicci. Con questa visibilità, potete rilevare e gestire le minacce. Non potete affidarvi solo ai fornitori di AI per fornire il livello di sicurezza. L’applicazione deve vivere nei sistemi della vostra organizzazione, non in un paragrafo di testo che speriamo il modello decida di obbedire. Con una buona soluzione di logging, i team di sicurezza hanno la telemetria; è tempo che inizino a interrogarla.