Investigadores del MIT desarrollan un modelo de inteligencia artificial impulsado por la curiosidad para mejorar las pruebas de seguridad de los chatbots

Limitaciones de los métodos de prueba de seguridad actuales de los chatbots

Actualmente, el método principal para probar la seguridad de los chatbots de IA es un proceso llamado equipo rojo. Esto implica que los evaluadores humanos creen indicaciones diseñadas para provocar respuestas inseguras o tóxicas del chatbot. Al exponer el modelo a una amplia gama de entradas potencialmente problemáticas, los desarrolladores pretenden identificar y abordar cualquier vulnerabilidad o comportamiento indeseable. Sin embargo, este enfoque impulsado por el ser humano tiene sus limitaciones.

Dadas las amplias posibilidades de las aportaciones de los usuarios, es casi imposible que los evaluadores humanos cubran todos los escenarios potenciales. Incluso con pruebas exhaustivas, puede haber lagunas en las indicaciones utilizadas, lo que deja al chatbot vulnerable a generar respuestas inseguras cuando se enfrenta a entradas novedosas o inesperadas. Además, la naturaleza manual del equipo rojo lo convierte en un proceso que requiere mucho tiempo y recursos, especialmente a medida que los modelos de lenguaje continúan creciendo en tamaño y complejidad.

Para abordar estas limitaciones, los investigadores han recurrido a técnicas de automatización y aprendizaje automático para mejorar la eficiencia y eficacia de las pruebas de seguridad de los chatbots. Aprovechando el poder de la propia IA, su objetivo es desarrollar métodos más completos y escalables para identificar y mitigar los riesgos potenciales asociados con grandes modelos lingüísticos.

Enfoque de aprendizaje automático impulsado por la curiosidad para Red-Teaming

Investigadores del Improbable AI Lab del MIT y del MIT-IBM Watson AI Lab desarrollaron un enfoque innovador para mejorar el proceso de formación de equipos rojos mediante el aprendizaje automático. Su método implica entrenar un modelo de lenguaje grande del equipo rojo separado para generar automáticamente diversos mensajes que pueden desencadenar una gama más amplia de respuestas indeseables del chatbot que se está probando.

La clave de este enfoque radica en inculcar un sentido de curiosidad en el modelo del equipo rojo. Al alentar al modelo a explorar indicaciones novedosas y centrarse en generar entradas que provoquen respuestas tóxicas, los investigadores pretenden descubrir un espectro más amplio de vulnerabilidades potenciales. Esta exploración impulsada por la curiosidad se logra mediante una combinación de técnicas de aprendizaje por refuerzo y señales de recompensa modificadas.

El modelo impulsado por la curiosidad incorpora una bonificación de entropía, que anima al modelo del equipo rojo a generar indicaciones más aleatorias y diversas. Además, se introducen recompensas novedosas para incentivar al modelo a crear indicaciones que sean semántica y léxicamente distintas de las generadas anteriormente. Al priorizar la novedad y la diversidad, el modelo se ve obligado a explorar territorios inexplorados y descubrir riesgos ocultos.

Para garantizar que las indicaciones generadas sigan siendo coherentes y naturalistas, los investigadores también incluyen una bonificación lingüística en el objetivo de la formación. Esta bonificación ayuda a evitar que el modelo del equipo rojo genere texto sin sentido o irrelevante que podría engañar al clasificador de toxicidad para que asigne puntuaciones altas.

El enfoque impulsado por la curiosidad ha demostrado un éxito notable al superar tanto a los evaluadores humanos como a otros métodos automatizados. Genera una mayor variedad de indicaciones distintas y provoca respuestas cada vez más tóxicas de los chatbots que se prueban. En particular, este método incluso ha podido exponer vulnerabilidades en chatbots que se habían sometido a amplias salvaguardias diseñadas por humanos, destacando su eficacia para descubrir riesgos potenciales.