Nuevo Estudio Muestra que las Personas Pueden Aprender a Identificar Textos Generados por Máquina

El aumento de la sofisticación y accesibilidad de la inteligencia artificial (AI) ha generado preocupaciones de larga data sobre su impacto en la sociedad. La última generación de chatbots ha exacerbado estas preocupaciones, con temores sobre la integridad del mercado laboral y la propagación de noticias falsas y desinformación. Ante estas preocupaciones, un equipo de investigadores de la Escuela de Ingeniería y Ciencia Aplicada de la Universidad de Pennsylvania buscó empoderar a los usuarios de tecnología para mitigar estos riesgos.

Entrenarse para Reconocer Textos de AI

Su artículo revisado por pares, presentado en la reunión de febrero de 2023 de la Asociación para el Avance de la Inteligencia Artificial, proporciona evidencia de que las personas pueden aprender a distinguir entre textos generados por máquina y textos escritos por humanos.

El estudio, liderado por Chris Callison-Burch, profesor asociado en el Departamento de Ciencia y Tecnología de la Información (CIS), junto con los estudiantes de doctorado Liam Dugan y Daphne Ippolito, demuestra que el texto generado por AI es detectable.

“Hemos demostrado que las personas pueden entrenarse para reconocer textos generados por máquina”, dice Callison-Burch. “Las personas comienzan con un conjunto determinado de suposiciones sobre qué tipo de errores cometería una máquina, pero estas suposiciones no son necesariamente correctas. Con el tiempo, dado un número suficiente de ejemplos y una instrucción explícita, podemos aprender a identificar los tipos de errores que las máquinas están cometiendo actualmente”.

El estudio utiliza datos recopilados utilizando “¿Texto Real o Falso?”, un juego de entrenamiento basado en la web original. Este juego de entrenamiento transforma el método experimental estándar para estudios de detección en una recreación más precisa de cómo las personas utilizan la IA para generar textos.

En los métodos estándar, se les pide a los participantes que indiquen de manera afirmativa o negativa si una máquina ha producido un texto determinado. El modelo de Penn refina el estudio de detección estándar en una tarea de entrenamiento efectiva al mostrar ejemplos que comienzan como textos escritos por humanos. Cada ejemplo luego se convierte en texto generado, y se les pide a los participantes que marquen dónde creen que comienza la transición. Los entrenados identifican y describen las características del texto que indican error y reciben una puntuación.

Resultados del Estudio

Los resultados del estudio muestran que los participantes obtuvieron puntuaciones significativamente mejores que la casualidad, lo que proporciona evidencia de que el texto creado por AI es, en cierta medida, detectable. El estudio no solo describe un futuro alentador, incluso emocionante, para nuestra relación con la IA, sino que también proporciona evidencia de que las personas pueden entrenarse para detectar textos generados por máquina.

“La gente está ansiosa por la IA por razones válidas”, dice Callison-Burch. “Nuestro estudio proporciona puntos de evidencia para aliviar estas ansiedades. Una vez que podamos aprovechar nuestro optimismo sobre los generadores de texto de IA, podremos dedicar atención a la capacidad de estas herramientas para ayudarnos a escribir textos más imaginativos y más interesantes”.

Dugan agrega, “Hay direcciones positivas emocionantes en las que se puede impulsar esta tecnología. La gente se fija en los ejemplos preocupantes, como el plagio y las noticias falsas, pero ahora sabemos que podemos entrenarnos para ser mejores lectores y escritores”.

El estudio proporciona un paso crucial para mitigar los riesgos asociados con el texto generado por máquina. A medida que la IA continúa evolucionando, también debe evolucionar nuestra capacidad para detectar y navegar su impacto. Al entrenarnos para reconocer la diferencia entre textos escritos por humanos y textos generados por máquina, podemos aprovechar el poder de la IA para respaldar nuestros procesos creativos mientras mitigamos sus riesgos.