Nuevo estudio muestra que las personas pueden aprender a detectar texto generado por máquina

La creciente sofisticación y accesibilidad de la inteligencia artificial (IA) ha generado preocupaciones de larga data sobre su impacto en la sociedad. La última generación de chatbots ha exacerbado estas preocupaciones, con temores sobre la integridad del mercado laboral y la propagación de noticias falsas y desinformación. Ante estas preocupaciones, un equipo de investigadores de la Escuela de Ingeniería y Ciencia Aplicada de la Universidad de Pensilvania buscó empoderar a los usuarios de tecnología para mitigar estos riesgos.

Entrenándote para reconocer texto de IA

Su artículo revisado por pares, presentado en la reunión de febrero de 2023 de la Asociación para el Avance de la Inteligencia Artificial, proporciona evidencia de que las personas pueden aprender a detectar la diferencia entre texto generado por máquina y texto escrito por humanos.

El estudio, liderado por Chris Callison-Burch, profesor asociado en el Departamento de Ciencia y Tecnología de la Información (CIS), junto con los estudiantes de doctorado Liam Dugan y Daphne Ippolito, demuestra que el texto generado por IA es detectable.

“Hemos demostrado que las personas pueden entrenarse para reconocer textos generados por máquina”, dice Callison-Burch. “Las personas comienzan con un conjunto de suposiciones sobre los errores que cometería una máquina, pero estas suposiciones no son necesariamente correctas. Con el tiempo, dado suficientes ejemplos y instrucción explícita, podemos aprender a detectar los tipos de errores que las máquinas están cometiendo actualmente”.

El estudio utiliza datos recopilados utilizando “¿Texto real o falso?”, un juego de entrenamiento web original. Este juego de entrenamiento transforma el método experimental estándar para estudios de detección en una recreación más precisa de cómo las personas utilizan la IA para generar texto.

En los métodos estándar, se les pide a los participantes que indiquen de manera sí o no si una máquina ha producido un texto determinado. El modelo de Pensilvania refina el estudio de detección estándar en una tarea de entrenamiento efectiva al mostrar ejemplos que comienzan como texto escrito por humanos. Cada ejemplo luego se convierte en texto generado, y se les pide a los participantes que marquen dónde creen que comienza la transición. Los entrenados identifican y describen las características del texto que indican error y reciben una puntuación.

Resultados del estudio

Los resultados del estudio muestran que los participantes obtuvieron puntuaciones significativamente mejores que el azar, lo que proporciona evidencia de que el texto creado por IA es, en cierta medida, detectable. El estudio no solo describe un futuro alentador, incluso emocionante, para nuestra relación con la IA, sino que también proporciona evidencia de que las personas pueden entrenarse para detectar texto generado por máquina.

“La gente está ansiosa por la IA por razones válidas”, dice Callison-Burch. “Nuestro estudio proporciona puntos de evidencia para calmar estas ansiedades. Una vez que podamos aprovechar nuestro optimismo sobre los generadores de texto de IA, podremos dedicar atención a la capacidad de estas herramientas para ayudarnos a escribir textos más imaginativos y interesantes”.

Dugan agrega, “Hay direcciones positivas emocionantes que puedes impulsar con esta tecnología. La gente se enfoca en los ejemplos preocupantes, como el plagio y las noticias falsas, pero ahora sabemos que podemos entrenarnos para ser mejores lectores y escritores”.

El estudio proporciona un paso crucial para mitigar los riesgos asociados con el texto generado por máquina. A medida que la IA continúa evolucionando, también debe evolucionar nuestra capacidad para detectar y navegar su impacto. Al entrenarnos para reconocer la diferencia entre texto escrito por humanos y texto generado por máquina, podemos aprovechar el poder de la IA para apoyar nuestros procesos creativos mientras mitigamos sus riesgos.