Investigadores del MIT Desarrollan un Modelo de IA Basado en la Curiosidad para Mejorar la Prueba de Seguridad de los Chatbots

Limitaciones de los Métodos Actuales de Prueba de Seguridad de los Chatbots

Actualmente, el método principal para probar la seguridad de los chatbots de IA es un proceso llamado red-teaming. Esto implica que los testers humanos creen prompts diseñados para obtener respuestas inseguras o tóxicas del chatbot. Al exponer el modelo a una amplia gama de entradas potencialmente problemáticas, los desarrolladores pretenden identificar y abordar cualquier vulnerabilidad o comportamiento indeseable. Sin embargo, este enfoque humano tiene sus limitaciones.

Dada la vasta cantidad de posibles entradas de usuario, es casi imposible para los testers humanos cubrir todos los escenarios posibles. Incluso con pruebas extensas, puede haber brechas en los prompts utilizados, lo que deja al chatbot vulnerable a generar respuestas inseguras cuando se enfrenta a entradas novedosas o inesperadas. Además, la naturaleza manual del red-teaming lo convierte en un proceso que consume tiempo y recursos, especialmente a medida que los modelos de lenguaje continúan creciendo en tamaño y complejidad.

Para abordar estas limitaciones, los investigadores han recurrido a la automatización y las técnicas de aprendizaje automático para mejorar la eficiencia y la eficacia de las pruebas de seguridad de los chatbots. Al aprovechar el poder de la IA en sí, pretenden desarrollar métodos más comprehensivos y escalables para identificar y mitigar los riesgos potenciales asociados con los grandes modelos de lenguaje.

Enfoque de Aprendizaje Automático Basado en la Curiosidad para Red-Teaming

Investigadores del Laboratorio de IA Improbable en el MIT y el Laboratorio de IA Watson de IBM en el MIT desarrollaron un enfoque innovador para mejorar el proceso de red-teaming utilizando el aprendizaje automático. Su método implica entrenar un modelo de lenguaje grande de red-teaming separado para generar automáticamente prompts diversos que pueden desencadenar una amplia gama de respuestas indeseables del chatbot que se está probando.

La clave de este enfoque radica en infundir una sensación de curiosidad en el modelo de red-teaming. Al alentar al modelo a explorar prompts novedosos y centrarse en generar entradas que desencadenen respuestas tóxicas, los investigadores pretenden descubrir un espectro más amplio de posibles vulnerabilidades. Esta exploración basada en la curiosidad se logra a través de una combinación de técnicas de aprendizaje por refuerzo y señales de recompensa modificadas.

El modelo de curiosidad incorpora un bono de entropía, que alienta al modelo de red-teaming a generar prompts más aleatorios y diversos. Además, se introducen recompensas por novedad para incentivar al modelo a crear prompts que sean semántica y léxicamente distintos de los generados anteriormente. Al priorizar la novedad y la diversidad, el modelo se ve impulsado a explorar territorios inexplorados y descubrir riesgos ocultos.

Para garantizar que los prompts generados sigan siendo coherentes y naturalistas, los investigadores también incluyen un bono de lenguaje en el objetivo de entrenamiento. Este bono ayuda a prevenir que el modelo de red-teaming genere texto sin sentido o irrelevante que podría engañar al clasificador de toxicidad para que asignara puntuaciones altas.

El enfoque basado en la curiosidad ha demostrado un éxito notable al superar tanto a los testers humanos como a otros métodos automatizados. Genera una mayor variedad de prompts distintos y desencadena respuestas cada vez más tóxicas de los chatbots que se están probando. Notablemente, este método ha podido even exponer vulnerabilidades en chatbots que habían pasado por extensas medidas de seguridad diseñadas por humanos, destacando su eficacia para descubrir posibles riesgos.