Protezione dei Prompt da LLM Data Leaks

Opinione Una interessante presentazione IBM NeurIPS 2024 presentazione di fine 2024 riapparsa su Arxiv la scorsa settimana. Propone un sistema che può intervenire automaticamente per proteggere gli utenti dall’inserimento di informazioni personali o sensibili in un messaggio quando hanno una conversazione con un modello linguistico di grandi dimensioni (LLM) come ChatGPT.

Esempi di mock-up utilizzati in uno studio utente per determinare i modi in cui le persone preferiscono interagire con un servizio di intervento di prompt. Fonte: https://arxiv.org/pdf/2502.18509

I mock-up sopra riportati sono stati utilizzati dai ricercatori IBM in uno studio per testare la potenziale frizione utente a questo tipo di “interferenza”.

Sebbene siano forniti pochi dettagli sull’implementazione della GUI, possiamo supporre che tale funzionalità potrebbe essere incorporata in un plugin del browser in comunicazione con un framework LLM “firewall” locale; o che un’applicazione potrebbe essere creata per collegarsi direttamente all’API di OpenAI, ricreando efficacemente il programma autonomo di OpenAI per ChatGPT, ma con ulteriori salvaguardie.

Detto questo, ChatGPT stesso censura automaticamente le risposte ai prompt che percepisce contenere informazioni critiche, come ad esempio i dettagli bancari:

ChatGPT rifiuta di impegnarsi con prompt che contengono informazioni di sicurezza critica percepita, come ad esempio i dettagli bancari (i dettagli nel prompt sopra sono fittizi e non funzionali). Fonte: https://chatgpt.com/

Tuttavia, ChatGPT è molto più tollerante riguardo a diversi tipi di informazioni personali – anche se diffondere tali informazioni in qualsiasi modo potrebbe non essere nell’interesse dell’utente (in questo caso forse per vari motivi legati al lavoro e alla divulgazione):

L’esempio sopra è fittizio, ma ChatGPT non esita a impegnarsi in una conversazione con l’utente su un soggetto sensibile che costituisce un potenziale rischio di reputazione o di guadagno (l’esempio sopra è completamente fittizio).

Nel caso sopra, sarebbe stato meglio scrivere: ‘Qual è il significato di una diagnosi di leucemia sulla capacità di scrivere e sulla mobilità di una persona?’

Il progetto IBM identifica e reinterpretare tali richieste da una posizione “personale” a una posizione “generica”.

Schema per il sistema IBM, che utilizza LLM locali o euristici basati su NLP per identificare materiale sensibile in potenziali prompt.

Questo presume che il materiale raccolto da LLM online, in questa fase nascente dell’adozione entusiasta dell’AI chat, non verrà mai alimentato a modelli successivi o a framework pubblicitari successivi che potrebbero sfruttare le query di ricerca degli utenti per fornire pubblicità mirata.

Sebbene non esista un tale sistema o disposizione al momento, non esisteva neanche tale funzionalità all’alba dell’adozione di Internet negli anni ’90; da allora, la condivisione di informazioni tra domini per alimentare la pubblicità personalizzata ha portato a diversi scandali, così come paranoia.

Pertanto, la storia suggerisce che sarebbe meglio sanificare gli input dei prompt LLM ora, prima che tali dati si accumulino in volume, e prima che le nostre sottoposizioni LLM finiscano in database ciclici permanenti e/o modelli, o altre strutture e schemi basati su informazioni.

Ricordati di Me?

Un fattore che pesa contro l’uso di prompt “generici” o sanificati LLM è che, francamente, la possibilità di personalizzare un’API costosa LLM come ChatGPT è abbastanza convincente, almeno nello stato attuale dell’arte – ma ciò può comportare l’esposizione a lungo termine di informazioni private.

Chiedo spesso a ChatGPT di aiutarmi a formulare script di Windows PowerShell e file BAT per automatizzare i processi, nonché su altre questioni tecniche. A questo scopo, trovo utile che il sistema memorizzi permanentemente dettagli sull’hardware che ho a disposizione; le mie competenze tecniche esistenti (o la loro mancanza); e vari altri fattori ambientali e regole personalizzate:

ChatGPT consente all’utente di sviluppare una ‘cache’ di memorie che verranno applicate quando il sistema considera le risposte ai prompt futuri.

Inevitabilmente, ciò mantiene informazioni su di me archiviate su server esterni, soggette a termini e condizioni che possono evolversi nel tempo, senza alcuna garanzia che OpenAI (anche se potrebbe trattarsi di qualsiasi altro importante fornitore LLM) rispetti i termini che ha stabilito.

In generale, tuttavia, la capacità di costruire una cache di memorie in ChatGPT è più utile a causa della limitata finestra di attenzione degli LLM in generale; senza incorporamenti personalizzati a lungo termine, l’utente si sente, frustrato, come se stesse conversando con un’entità che soffre di amnesia anterograda.

È difficile dire se nuovi modelli diventeranno eventualmente abbastanza performanti da fornire risposte utili senza la necessità di memorizzare le memorie o di creare GPT personalizzati archiviati online.

Amnesia Temporanea

Sebbene si possa rendere “temporanea” una conversazione con ChatGPT, è utile avere la cronologia della chat come riferimento che può essere distillato, quando il tempo lo consente, in un record locale più coerente, forse su una piattaforma di note; ma in ogni caso non possiamo sapere esattamente cosa succede a queste “chat scartate” (sebbene OpenAI stati che non verranno utilizzati per l’addestramento, non afferma che verranno distrutti), in base all’infrastruttura ChatGPT. Tutto ciò che sappiamo è che le chat non appaiono più nella nostra cronologia quando si attiva “Chat temporanee” in ChatGPT.

Vari recenti controversie indicano che i fornitori di API come OpenAI non dovrebbero necessariamente essere lasciati in carica della protezione della privacy degli utenti, compresa la scoperta di emergent memorization, che significa che LLM più grandi sono più probabili a memorizzare alcuni esempi di addestramento nel loro insieme, aumentando il rischio di divulgazione di dati specifici dell’utente – tra gli altri incidenti pubblici che hanno convinto una moltitudine di grandi aziende, come Samsung, a vietare l’uso di LLM per l’uso interno aziendale.

Pensare Diversamente

Questa tensione tra l’estrema utilità e il manifesto potenziale rischio degli LLM richiederà alcune soluzioni inventive – e la proposta IBM sembra essere un interessante modello di base in questo senso.

Tre riformulazioni basate su IBM che bilanciano l’utilità contro la privacy dei dati.

L’approccio IBM intercetta i pacchetti in uscita a un LLM a livello di rete e li riscrive se necessario prima che il prompt originale possa essere inviato. Le più elaborate integrazioni GUI viste all’inizio dell’articolo sono solo illustrative di dove potrebbe andare questo approccio, se sviluppato.

Naturalmente, senza una sufficiente agenzia, l’utente potrebbe non capire che sta ricevendo una risposta a una riformulazione leggermente alterata della sua sottoposizione originale. Questa mancanza di trasparenza è equivalente a un firewall del sistema operativo che blocca l’accesso a un sito web o servizio senza informare l’utente, che potrebbe quindi cercare erroneamente altre cause del problema.

Prompt come Liabilità di Sicurezza

La prospettiva di “intervento del prompt” si analogizza bene alla sicurezza di Windows OS, che è evoluta da un patchwork di prodotti commerciali (opzionali) negli anni ’90 a una suite non opzionale e rigidamente applicata di strumenti di difesa di rete che vengono standard con un’installazione di Windows e che richiedono uno sforzo per disattivarli o ridurne l’intensità.

Se la sanificazione dei prompt evolve come i firewall di rete hanno fatto negli ultimi 30 anni, la proposta del paper IBM potrebbe servire come modello per il futuro: distribuire un LLM completamente locale sulla macchina dell’utente per filtrare i prompt in uscita diretti a LLM API noti. Questo sistema dovrebbe naturalmente integrare framework GUI e notifiche, dando agli utenti il controllo – a meno che le politiche amministrative non lo annullino, come spesso accade in ambienti aziendali.

I ricercatori hanno condotto un’analisi di una versione open-source del dataset ShareGPT per comprendere quanto spesso la privacy contestuale venga violata in scenari del mondo reale.

Llama-3.1-405B-Instruct è stato utilizzato come modello “giudice” per rilevare violazioni dell’integrità contestuale. Da un grande insieme di conversazioni, un subset di conversazioni a turno singolo è stato analizzato in base alla lunghezza. Il modello giudice ha quindi valutato il contesto, le informazioni sensibili e la necessità per il completamento del compito, portando all’identificazione di conversazioni che contengono potenziali violazioni dell’integrità contestuale.

Un subset più piccolo di queste conversazioni, che hanno dimostrato violazioni definitive della privacy contestuale, è stato ulteriormente analizzato.

Il framework stesso è stato implementato utilizzando modelli più piccoli dei soliti agenti di chat come ChatGPT, per consentire la distribuzione locale tramite Ollama.

Schema per il sistema di intervento del prompt.

I tre LLM valutati sono stati Mixtral-8x7B-Instruct-v0.1; Llama-3.1-8B-Instruct; e DeepSeek-R1-Distill-Llama-8B.

I prompt degli utenti vengono elaborati dal framework in tre fasi: identificazione del contesto; classificazione delle informazioni sensibili; e riformulazione.

Sono state implementate due approcci per la classificazione delle informazioni sensibili: classificazione dinamica e classificazione strutturata: la classificazione dinamica determina i dettagli essenziali in base al loro utilizzo all’interno di una conversazione specifica; la classificazione strutturata consente la specifica di un elenco predefinito di attributi sensibili che vengono sempre considerati non essenziali. Il modello riformula il prompt se rileva dettagli sensibili non essenziali rimuovendoli o riformulandoli per minimizzare i rischi per la privacy mantenendo l’utilità.

Regole di Casa

Sebbene la classificazione strutturata come concetto non sia ben illustrata nel paper IBM, è più simile al metodo “Private Data Definitions” dell’iniziativa Private Prompts, che fornisce un programma autonomo scaricabile che può riscrivere i prompt – sebbene senza la capacità di intervenire direttamente a livello di rete, come fa l’approccio IBM (invece l’utente deve copiare e incollare i prompt modificati).

L’eseguibile Private Prompts consente all’utente di programmare sostituzioni automatiche per il testo immesso dall’utente.

Nell’immagine sopra, possiamo vedere che l’utente Private Prompts può programmare sostituzioni automatiche per istanze di informazioni sensibili. In entrambi i casi, per Private Prompts e il metodo IBM, sembra improbabile che un utente con sufficiente presenza di spirito e consapevolezza personale per curare un tale elenco abbia effettivamente bisogno di questo prodotto – sebbene potrebbe essere costruito nel tempo come gli incidenti si verificano.

In un ruolo amministrativo, la classificazione strutturata potrebbe funzionare come un firewall o censor-net imposto per i dipendenti; e in una rete domestica potrebbe, con alcuni aggiustamenti difficili, diventare un filtro di rete domestico per tutti gli utenti della rete; ma in definitiva, questo metodo è argomentabile ridondante, poiché un utente che potrebbe configurarlo correttamente potrebbe anche autocensurarsi efficacemente per primo.

Opinione di ChatGPT

Poiché ChatGPT ha recentemente lanciato il suo strumento di ricerca approfondita per gli utenti paganti, ho utilizzato questa funzionalità per chiedere a ChatGPT di esaminare la letteratura correlata e fornire una “visione cinica” del paper IBM. Ho ricevuto la risposta più difensiva e derisoria che il sistema abbia mai dato quando gli è stato chiesto di valutare o analizzare una nuova pubblicazione:

ChatGPT-4o ha una bassa opinione del progetto IBM.

‘Se gli utenti non si fidano di OpenAI, Google o Anthropic per gestire i loro dati in modo responsabile,’ ChatGPT sostiene. ‘perché dovrebbero fidarsi di uno strato di software di terze parti che si trova tra loro e l’AI? L’intermediario stesso diventa un nuovo punto di fallimento – potenzialmente registrando, gestendo in modo errato o addirittura perdendo dati prima che raggiungano l’LLM. Non risolve nulla se crea solo un’altra entità per sfruttare i dati degli utenti.’

Questa obiezione sembra essere auto-riferita e non applicabile, considerata la storia di progetti open-source che beneficiano realmente gli utenti finali attraverso gli sforzi a lungo termine dei sviluppatori e dei contributori della comunità; e considerata la crescente potenzialità dei dispositivi mobili per eseguire – e persino addestrare – LLM leggeri. Certamente in questo caso, il caso d’uso non è terribilmente esigente.

Successivamente, ChatGPT manca con fiducia il punto di avere un LLM leggero che fornisce la supervisione dell’input verso un LLM commerciale che non potrebbe essere eseguito su una macchina locale (perché l’LLM è troppo grande e permettere l’accesso locale è troppo rischioso per l’azienda che lo produce):

‘La filtrazione della privacy efficace richiede la comprensione dell’input prima di decidere cosa rimuovere. Se un intermediario è abbastanza intelligente da riconoscere i dati sensibili (nomi, indirizzi, dettagli finanziari), allora sta già elaborando e analizzando quei dati – il che significa che deve memorizzare o esaminare la stessa cosa che dovrebbe cancellare.

‘Questo introduce un paradosso: a) Un filtro “stupido” (sostituzione di regex di base) sarà inefficace e perderà sottili rischi di privacy. b) Un filtro “intelligente” (riscrittore LLM) deve elaborare l’intero input, rendendolo altrettanto pericoloso quanto l’LLM originale.

‘Se si fidano abbastanza dell’intermediario da leggere e riscrivere i loro input, perché non fidarsi semplicemente dell’LLM stesso?’

La risposta alla domanda finale è che il LLM locale è destinato a essere interamente dalla parte dell’utente e inevitabilmente open-source, con un minimo o nessun bisogno di accesso alla rete. Una versione commerciale equivalente, per quanto ben intenzionata all’inizio, sarebbe eventualmente vulnerabile a spostamenti aziendali e modifiche ai termini del servizio, mentre una licenza open-source adeguata impedirebbe questo tipo di ‘corruzione inevitabile’.

ChatGPT ha ulteriormente sostenuto che la proposta IBM “rompe l’intento dell’utente”, poiché potrebbe reinterpretare un prompt in un’alternativa che influenza la sua utilità. Tuttavia, questo è un problema più ampio nella sanificazione dei prompt, e non specifico di questo caso d’uso.

Per concludere (ignorando la sua suggerimento di utilizzare LLM locali “invece”, che è esattamente ciò che il paper IBM propone), ChatGPT ha espresso l’opinione che il metodo IBM rappresenta una barriera all’adozione a causa della “frizione dell’utente” dell’implementazione di metodi di avviso e modifica in una chat.

Qui, ChatGPT potrebbe avere ragione; ma se una pressione significativa si verifica a causa di ulteriori incidenti pubblici, o se i profitti in una zona geografica sono minacciati dalla crescente regolamentazione (e l’azienda rifiuta di abbandonare completamente la regione interessata), la storia della tecnologia dei consumatori suggerisce che le salvaguardie non saranno più opzionali comunque.

Conclusione

Non possiamo realisticamente aspettarci che OpenAI implementi mai salvaguardie del tipo proposto nel paper IBM, e nel concetto centrale che lo sostiene; almeno non efficacemente.

E certamente non a livello globale; proprio come Apple blocca alcune funzionalità dell’iPhone in Europa, e LinkedIn ha regole diverse per sfruttare i dati degli utenti in diversi paesi, è ragionevole suggerire che qualsiasi azienda di intelligenza artificiale farà default ai termini e condizioni più redditizi che sono tollerabili per qualsiasi nazione specifica in cui opera – in ogni caso, a spese del diritto dell’utente alla privacy dei dati, se necessario.

Pubblicato per la prima volta giovedì 27 febbraio 2025

Aggiornato giovedì 27 febbraio 2025 15:47:11 a causa di un link Apple non corretto – MA