I ricercatori del MIT sviluppano un modello di intelligenza artificiale basato sulla curiosità per migliorare la sicurezza dei chatbot

Limitazioni dei metodi di testing della sicurezza dei chatbot attuali

Attualmente, il metodo principale per testare la sicurezza dei chatbot di intelligenza artificiale è un processo chiamato red-teaming. Ciò comporta che i tester umani creino prompt progettati per suscitare risposte insicure o tossiche dal chatbot. Esponendo il modello a una vasta gamma di input potenzialmente problematici, gli sviluppatori cercano di identificare e affrontare eventuali vulnerabilità o comportamenti indesiderabili. Tuttavia, questo approccio guidato dagli esseri umani ha le sue limitazioni.

Data la vasta gamma di possibili input degli utenti, è quasi impossibile per i tester umani coprire tutti i possibili scenari. Anche con test estensivi, potrebbero esserci lacune nei prompt utilizzati, lasciando il chatbot vulnerabile a generare risposte insicure quando si confronta con input nuovi o inaspettati. Inoltre, la natura manuale del red-teaming lo rende un processo lungo e dispendioso in termini di risorse, soprattutto man mano che i modelli linguistici continuano a crescere in dimensioni e complessità.

Per affrontare queste limitazioni, i ricercatori hanno rivolto la loro attenzione all’automazione e alle tecniche di apprendimento automatico per migliorare l’efficienza e l’efficacia del testing della sicurezza dei chatbot. Sfruttando il potere dell’intelligenza artificiale stessa, essi mirano a sviluppare metodi più completi e scalabili per identificare e mitigare i potenziali rischi associati ai modelli linguistici di grandi dimensioni.

Approccio di apprendimento automatico basato sulla curiosità per il red-teaming

I ricercatori del laboratorio di intelligenza artificiale Improbable AI del MIT e del laboratorio di intelligenza artificiale MIT-IBM Watson hanno sviluppato un approccio innovativo per migliorare il processo di red-teaming utilizzando l’apprendimento automatico. Il loro metodo prevede l’addestramento di un modello di red-team di grandi dimensioni per generare automaticamente prompt diversi che possono scatenare una gamma più ampia di risposte indesiderabili dal chatbot in prova.

La chiave di questo approccio risiede nell’infondere un senso di curiosità nel modello di red-team. Incoraggiando il modello a esplorare prompt nuovi e a concentrarsi sulla generazione di input che suscitano risposte tossiche, i ricercatori mirano a scoprire un’ampia gamma di potenziali vulnerabilità. Questa esplorazione basata sulla curiosità viene realizzata attraverso una combinazione di tecniche di apprendimento per rinforzo e segnali di reward modificati.

Il modello basato sulla curiosità incorpora un bonus di entropia, che incoraggia il modello di red-team a generare prompt più casuali e diversi. Inoltre, vengono introdotti reward per la novità per incentivare il modello a creare prompt che sono semanticamente e lessicalmente distinti da quelli generati in precedenza. Priorizzando la novità e la diversità, il modello viene spinto a esplorare territori inesplorati e a scoprire rischi nascosti.

Per garantire che i prompt generati rimangano coerenti e naturalistici, i ricercatori includono anche un bonus linguistico nell’obiettivo di addestramento. Questo bonus aiuta a prevenire che il modello di red-team generi testo nonsensico o irrilevante che potrebbe ingannare il classificatore di tossicità assegnando punteggi alti.

L’approccio basato sulla curiosità ha dimostrato un successo notevole nel superare sia i tester umani che altri metodi automatizzati. Genera una maggiore varietà di prompt distinti ed elicita risposte sempre più tossiche dai chatbot in prova. Notabilmente, questo metodo è stato in grado di esporre vulnerabilità in chatbot che avevano subito estensive misure di salvaguardia progettate dagli esseri umani, sottolineando la sua efficacia nel scoprire potenziali rischi.