Detectando ideas de IA, no texto de IA

¿Y si existiera un detector de texto de IA que pudiera reconocer que escribiste algo basado en una idea que la IA te dio, incluso si toda la escritura real (es decir, el texto) era tu propio trabajo original?

Todos conocemos los detectores de texto de IA que avergüenzan a celebridades y a políticos, entre otros, — algoritmos que han estudiado las características del texto creado por IA y pueden discernir esos patrones cuando aparecen.

Estos casos representan una simple delegación de una tarea de comunicación, en la que modelos de lenguaje como ChatGPT y Google Gemini predicen el siguiente token probable en una respuesta al mensaje de un usuario, no retrocediendo para observar el amplio panorama del problema o la proposición primero, sino simplemente adivinando la siguiente palabra más probable.

No obstante, este mosaico de predicciones finalmente produce una estructura subyacente, según investigaciones recientes: la necesidad de que las secciones de texto adyacentes sean coherentes y relevantes entre sí hace que se desarrolle una firma única en el ‘esquema’ o dimensionalidad superior del trabajo — uno que pueda discernir la mano de la IA incluso cuando el texto se reescribe extensamente para ‘humanizarlo’:

La ‘forma’ de mayor dimensionalidad distintiva de la escritura bajo varios LLM, y – a la izquierda – escritura puramente humana. Fuente

Ideación de IA dirigida

Una nueva colaboración académica liderada por la University of Maryland avanza un paso más, al ofrecer una metodología que puede detectar si las ideas mismas se originaron con IA, sin importar quién escribió finalmente las palabras.

El enfoque, denominado IdeaLens y entrenado con un millón de esquemas extraídos de documentos web, se centra en reducir cada documento a un esquema que preserve sus ideas mientras elimina la redacción, y viene con una demostración en línea:

A la izquierda, uno de mis propios artículos pasa como humano en la demostración en línea, mientras que otro artículo que envié (escrito por otro autor) parece haber tenido una considerable aportación de IA. Fuente

Como se ve en los resultados de la demostración de muestra arriba, los métodos de detección utilizados pueden distinguir entre ideas humanas y prosa humana, y entre ideas de IA y prosa de IA, y evaluarlos de manera granular y distinta — aunque los dos detectores fueron entrenados con los mismos documentos, etiquetas y arquitectura subyacente del modelo, mientras fueron diseñados para detectar esencialmente cosas opuestas: la procedencia de las ideas y la procedencia de la prosa.

Se sospecha que este tipo de alcance de detección podría poner nerviosos a varios tipos de escritores, desde redactores de discursos políticos hasta novelistas y columnistas, además de otros que, hasta la fecha, han valorado su propio estilo de escritura, pero han permitido que la IA alimente sus temas.

Una razón por la que es probable que los LLM produzcan ideas reconocibles (y por lo tanto rastreables) no es solo que ciertos conceptos y textos hayan dominado estadísticamente los datos de entrenamiento poco curados del modelo, haciéndolos más propensos a aparecer en una amplia gama de solicitudes; sino también porque los LLM tienen obsesiones misteriosas y repetitivas que ni siquiera parecen relacionarse con datos de entrenamiento específicos, y sin embargo a menudo aparecen sin ser solicitados.

Los autores afirman*:

‘Mientras los detectores modernos de IA identifican quién escribió las palabras, las políticas emergentes sobre el uso de IA dependen cada vez más de una pregunta diferente: quién ideó las ideas? Presentamos IdeaLens, un detector que identifica si las ideas de un documento provienen de un humano o de IA (procedencia de ideas), sin importar quién escribió sus palabras.’

‘Para enfocar IdeaLens en ideas más que en prosa, representamos los documentos como esquemas: listas de elementos que cada uno empareja un rol discursivo con una breve descripción parafraseada del contenido, minimizando la superposición a nivel de palabras con el texto original.’

Datos y Métodos

El artículo afirma que el nuevo método puede identificar ideas humanas en documentos generados por IA (es decir, alguien le dijo a una IA ‘Escríbeme un ensayo sobre este tema‘); y también puede identificar ideas de IA en escritura humana (es decir, alguien le dijo a una IA Sugiere algo sobre lo que pueda escribir).

Resultados de pruebas en cuatro combinaciones de ideas y prosa humanas y de IA. Los cuatro detectores funcionan con fuerza cuando ideas y prosa comparten el mismo origen, pero divergen marcadamente cuando la procedencia es mixta: IdeaLens reconoce correctamente el 94.7% de los documentos escritos por IA basados en ideas humanas como de origen humano, e identifica ideas de IA en el 68% de las historias escritas por humanos, en comparación con solo el 8% para Pangram 4 y 0% para ProseLens y EditLens-3B. Fuente

La detección es más fácil cuando la procedencia es más clara, por ejemplo, cuando una pieza escrita por humanos se basa en ideas generadas por IA, o cuando una salida generada por IA se origina a partir de una idea humana. Cuando estas fortalezas de procedencia varían, la detección se vuelve más difícil.

Los investigadores probaron esta distinción modificando gradualmente cuánto del plan subyacente de un documento proviene de una persona. En un experimento, a los modelos de IA se les dieron planes humanos cada vez más detallados, que iban desde poco más que un tema hasta un esquema completo.

A medida que aumentó la contribución humana, la tasa de señalamiento de IA de IdeaLens cayó del 94.9% al 6.8%; y los detectores de prosa convencionales continuaron identificando abrumadoramente el texto resultante como IA:

Resultados de pruebas que muestran lo que ocurre a medida que progresivamente más del plan subyacente de un documento escrito por IA es suministrado por un humano. IdeaLens reconoce cada vez más el origen humano de las ideas, con su tasa de señalamiento de IA disminuyendo del 94.9% para una indicación solo de tema a 6.8% para un esquema humano completo; los detectores de texto convencionales ProseLens y Pangram siguen clasificando la mayor parte de la escritura resultante como IA.

Como las ideas deben separarse del lenguaje usado para expresarlas, y no existe un gran conjunto de datos que registre quién originó realmente las ideas en un documento, los investigadores entrenaron IdeaLens en etiquetas de escritura de IA existentes etiquetas —pero eliminaron la mayor parte del texto mismo:

Cómo IdeaLens separa ideas de prosa durante el entrenamiento y la prueba, en comparación con el detector de texto convencional ProseLens. Un artículo de opinión de muestra de 1.321 palabras se reduce a un esquema etiquetado por roles, con puntos categorizados según su función, como un relato de evento o una evaluación. Durante el entrenamiento, estos esquemas fueron además parafraseados para eliminar la redacción heredada de los documentos fuente antes de que IdeaLens aprendiera de las etiquetas de IA de Pangram existentes. Para documentos nuevos, el esquema extraído puede entonces pasarse directamente a IdeaLens para estimar la probabilidad de que las ideas sean derivadas de IA. La parte inferior de la figura muestra un segundo detector — ‘ProseLens’ — usado por los investigadores para comparación, que en su lugar recibe el texto completo y estima si la prosa misma es generada por IA.

Como se mostró arriba, cada documento se redujo a un esquema que describe lo que se dice y el papel que cada punto desempeña en el documento. Durante el entrenamiento, esos esquemas fueron parafraseados para eliminar aún más rastros de la redacción original de los autores. IdeaLens puede, por lo tanto, basar sus predicciones mayormente en las ideas que permanecen, en lugar de en características reveladoras de la prosa.

Tres conjuntos de datos fueron creados para el proyecto: IdeaShift; IdeaShift-X; y TwiceTold. IdeaShift se creó a partir de 500 documentos semilla escritos por humanos y generados por IA, muestreados del corpus de pruebas existente de los investigadores. GPT-5.6 Sol se utilizó para convertir cada uno en indicaciones progresivamente más detalladas, desde ‘solo tema’ hasta un esquema completo. GPT-5.6 se empleó luego para generar nuevos documentos.

IdeaShift-X, en cambio, utilizó 10.000 documentos redactados por humanos FineWeb2 en 24 idiomas, aplicando el protocolo IdeaShift mencionado anteriormente para generar versiones de IA en cada idioma.

El tercer conjunto de datos, TwiceTold, fue escrito por estudiantes académicos bajo la supervisión de los autores, para evitar el posible uso de IA inherente en la obtención colectiva de dichos datos. Cincuenta historias fueron redactadas desde cero, pero usando un esquema de 500 palabras proporcionado por ChatGPT-5.6 Sol.

Pruebas

Los propios detectores de los investigadores comprendían IdeaLens en forma de esquema y documento; el ya mencionado ProseLens; versiones ModernBERT-L de ambos sistemas; versiones Qwen3.5-9B de IdeaLens; y una variante de IdeaLens logistic-classifier.

Estos se compararon con Pangram 4; EditLens-Llama-3B; Binoculars; EditLens-RoBERTa; MELD; Desklib-academic; Desklib; Entropy; Fast-DetectGPT; Likelihood; Log-rank; LRR; MAGE; OpenAI-RoBERTa-base; OpenAI-RoBERTa-large; RADAR; y Rank.

Para las pruebas, la precisión se midió según si la etiqueta predicha de IA o humana coincidía con la fuente de las ideas. IdeaLens, ProseLens y EditLens emplearon un umbral global de 1 % de FPR; las etiquetas de IA, IA asistida y humana de Pangram 4 se binarizaron; y Fast-DetectGPT, Binoculars, MELD y Desklib usaron sus umbrales predeterminados.

La evaluación más amplia utilizó 19 referencias externas, incluidas 14 que cubrían material totalmente humano o totalmente de IA, y 10 que contenían textos humanos editados posteriormente por IA. Se probaron otros 50 000 documentos del dominio, mientras que 10 000 documentos pre‑ChatGPT C4 se usaron para evaluar falsos positivos:

Resultados de pruebas que comparan la precisión del detector cuando las ideas y el texto provienen de la misma o de diferentes fuentes. IdeaLens mantiene una alta precisión en ambos casos, con 95,3 % para procedencia compartida y 81,3 % para procedencia mixta; los detectores competidores rinden sustancialmente peor cuando la fuente de las ideas difiere de la fuente del texto.

En 51 pruebas extraídas de 22 referencias, IdeaLens fue el único detector que rindió con fuerza cuando las ideas y el texto provenían de la misma o de diferentes fuentes, obteniendo 95,3 % y 81,3 % respectivamente.

En comparación, ProseLens y Pangram 4 obtuvieron más del 98 % cuando las ideas y el texto compartían una fuente, pero descendieron a alrededor del 25 % cuando no lo hacían.

Los autores afirman sobre estos resultados*:

‘Dado que ProseLens tiene la misma arquitectura, documentos de entrenamiento y etiquetas de entrenamiento que IdeaLens, esto destaca el impacto de nuestra representación de esquema, que un ModernBERT-based pair replica con una arquitectura diferente.

‘IdeaLens también se transfiere inesperadamente bien a entradas de texto sin procesar en tiempo de prueba, mostrando una alta precisión de procedencia compartida y una precisión de procedencia mixta sustancialmente mayor que la de ProseLens.’

Los tres detectores identificaron con éxito casi todas las historias originales escritas por IA. En TwiceTold, IdeaLens identificó ideas de origen IA en el 68 % de las historias escritas por humanos, frente al 0 % de ProseLens y al 8 % de Pangram 4:

IdeaLens asigna probabilidades de IA similares a las historias originales escritas por IA y a las versiones de TwiceTold escritas por humanos basándose en los mismos esquemas generados por IA, mientras que las probabilidades de IA de ProseLens caen drásticamente una vez que el texto es reescrito por humanos.

A pesar de haber sido entrenado en inglés, IdeaLens se generalizó a las 24 lenguas de IdeaShift‑X, señalando el 95,3 % de los documentos basados en ideas de IA, pero solo el 0,7 % cuando un plan humano detallado proporcionó las ideas. En 10 000 documentos humanos pre‑ChatGPT en esas mismas lenguas, la tasa de falsos positivos fue apenas del 0,1 %.

Los autores admiten que sería deseable contar con un conjunto de datos más amplio en trabajos futuros, y que el ruido en las etiquetas del conjunto de datos podría requerir atención. No obstante, quienes deseen ampliar este interesante comienzo pueden recurrir al GitHub repository que los autores del artículo han puesto a disposición; y los simplemente curiosos pueden pegar pruebas ‘sospechosas’ en el demo site del proyecto, y evaluar por sí mismos si el método concuerda con sus propias estimaciones, o con las de otros enfoques.

Conclusión

Si un método de detección de este tipo importa o no depende de cómo se desarrollen la aceptación, integración o rechazo de la IA (sin duda de manera distinta en distintos sectores y circunstancias) durante los próximos 6‑12 meses.

Puede que el público de un político sea más indulgente con su uso de IA para pulir y presentar sus propias ideas originales, que con una presentación superficial de ideas generadas por un LLM (después de todo, estadísticamente, la audiencia tiende a ser comprensiva con el uso de la IA como mera ayuda de presentación).

Sin embargo, al mismo tiempo, ¿qué esperamos de la IA si no que produzca enfoques, ideas y alternativas que nosotros mismos pasaríamos por alto o nunca consideraríamos; y desde ese punto de vista, ¿es tan mala idea darle a la inteligencia de máquina el control del volante?

Bueno, en términos de percepción, y dada la famosa y creciente propensión de la IA a los errores y, últimamente, comportamiento errante, quizá aún sea demasiado pronto para permitir que los LLMs originen propuestas de política, o en general se conviertan en una fuerza impulsora en la generación de ideas.

*Énfasis de los autores, no míos, pero mi conversión de las citas en línea de los autores a hipervínculos, cuando sea necesario.

Publicado por primera vez el martes, 6 de octubre de 2026