La escritura generada por IA nunca se “cansa” y así se revela

El estilo de IA de ChatGPT se delata por aumentar en consistencia, mientras que la escritura humana sigue siendo errática a lo largo.

La ventana de contexto limitada de la mayoría de los modelos de lenguaje grande (LLM) que enfrentan al consumidor es uno de los factores que puede hacer que olviden o recuerden incorrectamente partes anteriores de las conversaciones de los usuarios, errores de recuerdo que pueden convertirse gradualmente en tonterías o, peor aún, en texto coherente que contiene errores sutiles.

Dado que estas circunstancias llevan a alucinaciones, y dado que las alucinaciones siguen siendo el mayor obstáculo para el avance total del mercado de la IA, se ha invertido mucho esfuerzo de investigación en la creación de sistemas de IA generativos que puedan crear tramos de texto más largos pero mucho más coherentes.

En efecto, se está haciendo tanto progreso que reconocer el contenido de IA de larga forma (es decir, contenido generado puramente por IA, con –presumiblemente– mínimo o cero cuidado humano posterior) se considera un problema creciente.

Desenmascarar un filibusterismo de IA

No obstante, estudios empíricos recientes sostienen que cuanto más salida produce un generador de texto de IA en una sola explosión, más fácil es determinar si ese texto fue escrito por un humano; pero la sabiduría aceptada con respecto a este ancla de detección ha asumido que la IA se puede discernir porque lo que está haciendo de manera diferente a los humanos, tiene la oportunidad de hacer más a menudo en tramos más largos.

No se hacen suposiciones sobre la distribución de estos ‘indicios’ en el texto en sí.

Para desafiar esto y ampliar el problema, un interesante estudio de investigación reciente de China ofrece un método novedoso para distinguir a la nueva generación de generadores de contenido de IA de larga forma de los autores humanos reales. Los investigadores detrás del trabajo afirman que la naturaleza token a token por la que se genera el texto de IA se vuelve más coherente con mayor longitud, mientras que las excentricidades de las personas no disminuyen con la longitud.

De esta manera, los autores sugieren que su idea ofrece una posible nueva métrica para los sistemas de detección de texto de IA*:

‘Los tokens generados por IA en la parte posterior del texto exhiben fluctuaciones de probabilidad más pequeñas y más estables a medida que las predicciones del modelo se vuelven cada vez más coherentes a medida que se acumula el contexto.

‘Llamamos a este patrón Decaimiento de Volatilidad en Etapa Tardía. Este fenómeno refleja el comportamiento inherente de la generación autoregresiva: a medida que se vuelve disponible más contexto, la distribución de predicción del modelo se afina, lo que lleva a una reducción de la variabilidad en las estadísticas a nivel de token.

‘La escritura humana, por el contrario, sigue introduciendo elecciones léxicas inesperadas y mantiene una mayor volatilidad en todo momento.’

Para capturar esta extraña ‘suavidad’ que se acumula en el texto de IA hacia el final, los investigadores definen dos características simples: la primera mide cuánto ‘salta’ el comportamiento estadístico de la escritura entre tokens; la segunda verifica cuánto se mantienen las cosas en tramos cortos de texto.

Ambas se calculan solo a partir de la segunda mitad de la salida, donde la IA se vuelve notablemente más regular y la escritura humana no. Los autores observan que mientras estos señalesales funcionan bien por sí solos, son aún más efectivos cuando se combinan con métodos de detección más antiguos que escanean patrones más amplios. También observan que este enfoque funciona mejor en textos más largos, donde el contraste puede volverse más evidente.

El nuevo documento ofrece una metodología para probar la ‘esencia de IA’ a través del análisis de características temporales de la segunda mitad, sin requerir capacitación o ajuste adicionales, o acceso privilegiado al modelo.

El nuevo trabajo se titula Cuando la IA se asienta: Estabilidad en etapa tardía como una firma de la detección de texto generado por IA, y proviene de cuatro autores de la Universidad de Westlake en Hangzhou.

Método

Para capturar la creciente suavidad en el texto generado por IA, los investigadores diseñaron dos mediciones que se centran solo en la segunda mitad de un pasaje. Estas dependen de puntuaciones de probabilidad logarítmica de un modelo de lenguaje estándar y no requieren ajuste, capacitación o muestras adicionales:

Del nuevo documento – cada fila muestra el comportamiento de una métrica base de EvoBench a lo largo de la secuencia de tokens: valor bruto (izquierda), derivada absoluta (centro) y desviación estándar local (derecha). Las líneas humanas y de IA se muestran en azul y rojo. La mayoría de la divergencia aparece en la segunda mitad del texto, especialmente para la probabilidad logarítmica y la discrepancia de muestreo, que muestran una separación creciente y una salida de IA más suave. La entropía y la concentración Top-K muestran poco cambio con el tiempo. Fuente

La primera medición, llamada Dispersión de Derivada (DD), rastrea cómo cambia bruscamente la confianza del modelo de una palabra a la siguiente. El texto de IA tiende a establecerse en un ritmo, por lo que estos cambios se vuelven más pequeños y predecibles en la segunda mitad. Por el contrario, la escritura humana se mantiene ‘desigual’.

La segunda medición, Volatilidad Local (LV), examina cuánto ‘salta’ la confianza del modelo dentro de una ventana pequeña de texto. Nuevamente, la IA tiende a volverse más estable con el tiempo, mientras que las elecciones humanas siguen siendo más sorprendentes y menos coherentes:

El texto de IA se vuelve más suave a medida que avanza, mientras que la escritura humana sigue siendo desigual. Estos gráficos rastrean cómo cambia la confianza del modelo a lo largo de un pasaje, reflejando tanto la brusquedad del cambio entre palabras sucesivas como la cantidad de variación dentro de tramos locales de texto. En ambos aspectos, la disminución es mucho más pronunciada en la salida generada por máquina, con el contraste volviéndose especialmente claro después del punto medio. Las cajas amarillas resaltan esta brecha creciente en la segunda mitad, donde la escritura de IA alcanza hasta un 32% más de estabilidad que la escritura humana.

Nuevamente, ambas métricas se calculan solo a partir de la parte posterior del texto, donde la diferencia entre la escritura humana y la de máquina es más evidente. Estas se incorporan luego en un valor único llamado Puntuación de Detección de Estabilidad Temporal (TSD) – que tiende a aumentar a medida que la escritura se vuelve ‘más suave’ (y por lo tanto más probable que sea generado por IA). Un umbral simple se utiliza luego para decidir si un pasaje determinado probablemente fue escrito por una máquina.

Dado que estas características se centran en cómo emerge un patrón, en lugar de solo en cómo se ve ese patrón, se complementan con métodos más antiguos que buscan rarezas estadísticas en todo el pasaje. Agregar la puntuación TSD a la salida de la oferta de finales de 2024 Fast‑DetectGPT (también en colaboración con Westlake) ofrece una mejora adicional en los resultados (especialmente para contenido de larga forma donde el efecto de suavizado en etapa tardía es más fuerte).

Datos y pruebas

Los autores realizaron pruebas en dos conjuntos de datos de referencia relacionados: EvoBench contiene 32,000 pares de texto humano/IA generados en siete familias de modelos, incluyendo GPT-4; GPT-4o; Claude; Google Gemini; LLaMA-3; y Qwen, con un total de 29 versiones de modelos presentadas.

El otro marco de referencia fue MAGE, que ofrece 30,000 pares de prueba en ocho familias de modelos, incluyendo (pero no limitado a) la serie GPT de OpenAI, y las familias LLaMA, OPT y FLAN-T5.

Competidores

El nuevo método se probó contra una serie de detectores de disparo cero utilizando el mismo modelo sustituto. Probabilidad, Entropía, Clasificación y Clasificación logarítmica (DetectGPT) midieron estadísticas a nivel de token en todo el pasaje; LLR (DetectLLM) aplicó normalización para permitir la comparación directa entre modelos; y Fast-Detect estimó la curvatura local a través de perturbaciones basadas en muestreo.

Lastde analizó subsecuencias discriminatorias en la señal de probabilidad, mientras que FourierGPT operó en el dominio de frecuencia. Diveye capturó cambios en la diversidad de ‘sorpresas’ a lo largo de la secuencia.

Finalmente, UCE evaluó el perfil de incertidumbre de las predicciones de tokens, para identificar patrones de confianza no naturales.

Implementación y resultados

Todos los métodos de detección se ejecutaron utilizando Llama-3-8B-Instruct como modelo sustituto compartido, con secuencias de entrada limitadas a 512 tokens. Las características temporales se extrajeron solo de la segunda mitad de cada pasaje, utilizando una ventana deslizante de 20 tokens para medir la volatilidad. Una versión fusionada del método, llamada TSD+, combinó la señal propuesta con Fast-DetectGPT.

El área bajo la curva de la característica de operación del receptor (AUROC) fue la métrica de evaluación principal^†:

Rendimiento diverso entre los métodos de detección probados contra el texto generado por IA. La precisión de detección se muestra en dos conjuntos de datos de referencia: EvoBench, que cubre varios LLM de alto perfil, y MAGE, un conjunto de datos complementario. Las métricas se agrupan por tipo de método: estadísticas globales, características temporales y variantes propuestas. Las puntuaciones de AUROC promedio se muestran en las columnas finales. Los resultados de las variantes del método de los autores superan consistentemente los resultados de los métodos anteriores, con TSD+ que produce las puntuaciones más altas en casi todos los ajustes de modelo.

De estos resultados iniciales, los autores afirman:

‘Nuestras características temporales simples logran un rendimiento de vanguardia entre los métodos independientes, con TSD que alcanza el 83,36% en EvoBench y el 71,56% en MAGE, superando a todos los métodos anteriores, incluido Fast-DetectGPT.

‘Esto es notable dado la simplicidad de nuestro método: solo calculamos estadísticas de segundo orden de la segunda mitad de las secuencias, sin muestreo de perturbación ni transformaciones de dominio de frecuencia.’

El nuevo método funcionó especialmente bien en nuevos modelos de IA como GPT-4 y GPT-4o, identificando texto escrito por IA con más precisión que el detector líder más cercano, con una brecha de rendimiento de hasta el 9,66%. Aunque los modelos avanzados más nuevos producen texto menos obviamente ‘coherente’, que oculta algunos signos de automatización, ciertos patrones de temporización sutiles siguen siendo evidentes cerca del final.

Los enfoques competitivos que se centran en características estructurales amplias no lograron capturar estos patrones de etapa tardía. Al integrar un detector global, el sistema híbrido aparentemente recupera estas señales perdidas y mejora el rendimiento, particularmente en los conjuntos de datos donde las salidas de IA más cortas pueden debilitar las señales temporales.

Conclusión

Un aspecto que no se aborda directamente en el nuevo trabajo es la tendencia de los escritores humanos a iterar su trabajo a través de borradores y varias capas de supervisión – a veces incluyendo la entrada de editores y correctores de pruebas, así como posibles cambios sugeridos por departamentos legales, dependiendo del contexto.

Los múltiples interesados involucrados en documentos tan simples como un artículo de periódico enterrado pueden hacer que las excentricidades que el nuevo sistema propuesto se centra desaparezcan, y en efecto equivalen a una especie de ‘versión analógica’ de un proceso de redacción asistido por IA.

Además, los sistemas bajo estudio se han entrenado en tales obras, y – a medida que los datos de entrenamiento se clasifican en autoridad en el momento del entrenamiento – las fuentes más ‘ponderadas’ o respetadas pueden ser las menos ‘naturales’; al menos, en comparación con alguien que compone rápidamente un correo electrónico casual a un colega, en lugar de ensamblar un informe anual para una AGM.

Una consideración adicional y contrastante es que el contenido de texto al que han contribuido varias personas también puede ser entre los fragmentos más fragmentados, defectuosos y repetitivos que ingresan a un conjunto de datos, ya que a menudo no habrán tenido el beneficio de una voz unificadora final, dejando la naturaleza fragmentada de su desarrollo evidente en la prosa.

* Estilo de texto original de los autores reproducido del documento; no son énfasis míos.

^† Los autores afirman ‘primario’, mientras enumeran keine otras métricas de evaluación.

Publicado por primera vez el lunes, 26 de enero de 2026