Las luchas de la IA para emular el lenguaje histórico

Una colaboración entre investigadores en Estados Unidos y Canadá ha encontrado que los grandes modelos de lenguaje (LLM) como ChatGPT luchan por reproducir modismos históricos sin un entrenamiento previo extenso – un proceso costoso y laborioso que está más allá de los medios de la mayoría de las iniciativas académicas o de entretenimiento, lo que hace que proyectos como completar la última novela inacabada de Charles Dickens sean una proposición poco probable a través de la IA.

Los investigadores exploraron una serie de métodos para generar texto que sonara históricamente preciso, comenzando con una simple provocación utilizando prosa del siglo XX y pasando a ajustar un modelo comercial en una pequeña colección de libros de ese período.

También compararon los resultados con un modelo separado que había sido entrenado enteramente en libros publicados entre 1880 y 1914.

En la primera de las pruebas, instruir a ChatGPT-4o para imitar el lenguaje fin‑de‑siècle produjo resultados bastante diferentes a los del modelo GPT2 más pequeño que había sido ajustado en literatura del período:

Pidió completar un texto histórico real (centro superior), incluso un ChatGPT-4o bien preparado (abajo a la izquierda) no puede evitar caer en el ‘modo de blog’, fallando en representar el modismo solicitado. Por el contrario, el modelo GPT2 ajustado (abajo a la derecha) captura bien el estilo del lenguaje, pero no es tan preciso en otros aspectos. Fuente: https://arxiv.org/pdf/2505.00030

Aunque el ajuste fine lleva la salida más cerca del estilo original, los lectores humanos todavía podían detectar frecuentemente trazas de lenguaje moderno o ideas, lo que sugiere que incluso los modelos cuidadosamente ajustados continúan reflejando la influencia de sus datos de entrenamiento contemporáneos.

Los investigadores llegan a la frustrante conclusión de que no hay atajos económicos hacia la generación de texto histórico idiomáticamente correcto o diálogo producido por máquina. También conjeturan que el desafío en sí mismo podría estar mal planteado:

‘[Debemos] considerar la posibilidad de que el anacronismo pueda ser en algún sentido inevitable. Ya sea que representemos el pasado mediante el ajuste de modelos históricos para que puedan mantener conversaciones, o enseñando a modelos contemporáneos a ventriloquizar un período anterior, algún compromiso puede ser necesario entre los objetivos de autenticidad y fluidez conversacional.

‘Después de todo, no hay “auténticos” ejemplos de una conversación entre un preguntador del siglo XXI y un respondiente de 1914. Los investigadores que intentan crear tal conversación necesitarán reflexionar sobre la [premisa] de que la interpretación siempre implica una negociación entre el presente y el [pasado].’

El nuevo estudio se titula ¿Pueden los modelos de lenguaje representar el pasado sin anacronismo?, y proviene de tres investigadores de la Universidad de Illinois, la Universidad de Columbia Británica y la Universidad de Cornell.

Desastre completo

Inicialmente, en un enfoque de investigación de tres partes, los autores probaron si los modelos de lenguaje modernos podrían ser empujados a imitar el lenguaje histórico a través de una simple provocación. Utilizando extractos reales de libros publicados entre 1905 y 1914, pidieron a ChatGPT-4o que continuara estos pasajes en el mismo modismo.

El texto original del período era:

‘En este último caso, se ahorran unos cinco o seis dólares por minuto, ya que más de veinte yardas de película tienen que ser enrolladas para proyectar durante un solo minuto un objeto de una persona en reposo o un paisaje. Así se obtiene una combinación práctica de imágenes fijas y en movimiento, lo que produce efectos artísticos muy interesantes.

‘También nos permite trabajar con dos cinematógrafos que proyectan alternativamente para evitar la centelleante, o proyectando imágenes rojas y verdes simultáneamente y reproduciendo colores naturales, lo que alivia al ojo humano, acostumbrado a recibir los colores fundamentales simultáneamente, de toda fatiga fisiológica. Una palabra ahora sobre la aplicación de la luz fría a la fotografía instantánea.’

Para evaluar si el texto generado coincidía con el estilo histórico pretendido, y conscientes de que las personas no son especialmente habilidosas para adivinar la fecha en que se escribió un texto, los investigadores ajustaron un modelo RoBERTa para estimar fechas de publicación, utilizando un subconjunto del Corpus de Inglés Americano Histórico, que cubre material desde 1810 hasta 2009.

El clasificador RoBERTa se utilizó luego para evaluar las continuaciones producidas por ChatGPT-4o, que había sido provocado con pasajes reales de libros publicados entre 1905 y 1914.

La instrucción del sistema (es decir, instrucciones contextuales a ChatGPT sobre cómo abordar la tarea) fue:

‘Su tarea es completar pasajes de libros del siglo XX. Se le dará un pasaje de un libro publicado en 1913. Continúe este pasaje en el mismo estilo, durante al menos 200 palabras. Solo proporcione esta continuación; no haga comentarios de enmarque, como “aquí está la continuación:”.

A pesar de la provocación de un solo disparo y 20 disparos, las salidas de ChatGPT-4o se inclinaron consistentemente hacia un registro estilístico del siglo XXI.

El ejemplo dado en el documento presenta uno de los intentos de ChatGPT-4o de continuar el texto real del período sobre fotografía:

‘El uso de luz fría en la fotografía instantánea ha revolucionado el enfoque para capturar imágenes bajo condiciones de iluminación variables. Tradicionalmente, los fotógrafos luchaban con la dureza y la variabilidad de la luz natural o la naturaleza intrusiva de la fotografía con flash, que podría perturbar el ambiente de una escena o el comportamiento natural de los sujetos, particularmente en la fotografía de vida silvestre y humana.

‘La luz fría, con su naturaleza más suave y difusa… permite una representación más natural de colores y texturas, que a menudo se pierde bajo la iluminación artificial dura.’

Como podemos ver fácilmente, este texto genérico y al estilo de Wiki no coincide con el estilo prolijo y elaborado del texto original del período. Además, no continúa realmente desde donde deja el contenido original, sino que se lanza en una reflexión tangencial y abstracta sobre uno de los subtemas.

El equipo también probó GPT-1914, un modelo GPT-2 más pequeño entrenado desde cero en 26.5 mil millones de tokens de literatura fechada entre 1880 y 1914.

Aunque su salida fue menos coherente que la de ChatGPT-4o, fue más consistente con el estilo del período de origen. El único ejemplo proporcionado en el documento, nuevamente como una continuación del texto real del período sobre fotografía, lee:

‘El principio de su acción ya ha sido explicado (p. 4). Solo mencionaremos aquí que puede aplicarse con ventaja cuando deseamos obtener fotografías muy rápidas en papel cubierto con colodión, así como aquellas tomadas mediante placas de gelatina.

‘En tales casos, la exposición no debe exceder un segundo como mínimo; pero si la imagen se desea desarrollar en menos tiempo, digamos medio segundo, entonces la temperatura nunca debe caer por debajo de 20° C., de lo contrario la imagen se volverá demasiado oscura después del desarrollo; además, la placa perderá su sensibilidad bajo estas condiciones.

‘Para fines ordinarios, sin embargo, basta con exponer la superficie sensible a un bajo grado de calor sin tomar precauciones especiales más allá de mantener el’ [sic]

Dado que incluso el material original es arcano y bastante difícil de seguir, es difícil entender hasta qué punto GPT-1914 ha capturado con precisión el original; pero la salida ciertamente suena más auténtica del período.

Sin embargo, los autores concluyeron de este experimento que la simple provocación hace poco para superar los sesgos contemporáneos de un modelo preentrenado grande como ChatGPT-4o.

La trama se complica

Para medir cuán cerca las salidas del modelo se parecían a la escritura histórica auténtica, los investigadores utilizaron un clasificador estadístico para estimar la fecha de publicación probable de cada muestra de texto. Luego visualizaron los resultados utilizando un gráfico de densidad de kernel, que muestra dónde el modelo piensa que cada pasaje cae en una línea de tiempo histórica.

Fechas de publicación estimadas para texto real y generado, basadas en un clasificador entrenado para reconocer estilo histórico (textos de origen de 1905-1914 en comparación con continuaciones de GPT-4o utilizando provocaciones de un solo disparo y 20 disparos, y GPT-1914 entrenado solo en literatura de 1880-1914).

El modelo RoBERTa ajustado utilizado para esta tarea, señalan los autores, no es perfecto, pero pudo destacar tendencias estilísticas generales. Los pasajes escritos por GPT-1914, el modelo entrenado enteramente en literatura del período, se agruparon alrededor del siglo XX – similar al material de origen.

Por el contrario, las salidas de ChatGPT-4o, incluso cuando se les dio múltiples ejemplos históricos, tendieron a parecerse a la escritura del siglo XXI, reflejando los datos en los que se entrenó originalmente.

Los investigadores cuantificaron esta discrepancia utilizando divergencia de Jensen-Shannon, una medida de cuán diferentes son dos distribuciones de probabilidad. GPT-1914 obtuvo una puntuación cercana de 0,006 en comparación con el texto histórico real, mientras que las salidas de un solo disparo y 20 disparos de ChatGPT-4o mostraron brechas mucho más amplias, en 0,310 y 0,350, respectivamente.

Los autores argumentan que estos hallazgos indican que la provocación sola, incluso con múltiples ejemplos, no es una forma confiable de producir texto que simule convincentemente un estilo histórico.

Completar el pasaje

El documento luego investiga si el ajuste fine podría producir un resultado superior, ya que este proceso implica afectar directamente los pesos utilizables de un modelo al “continuar” su entrenamiento en datos especificados por el usuario – un proceso que puede afectar la funcionalidad original del modelo, pero mejorar significativamente su rendimiento en el dominio que se le “impulsa” o se enfatiza durante el ajuste fine.

En el primer experimento de ajuste fine, el equipo entrenó GPT-4o-mini en alrededor de dos mil pares de pasajes-completados extraídos de libros publicados entre 1905 y 1914, con el objetivo de ver si un ajuste fine a pequeña escala podría desviar la salida del modelo hacia un estilo históricamente más preciso.

Utilizando el mismo clasificador RoBERTa que actuó como juez en las pruebas anteriores para estimar la “fecha estilística” de cada salida, los investigadores encontraron que en el nuevo experimento, el modelo ajustado produjo texto estrechamente alineado con la verdad de fondo.

Su divergencia estilística de los textos originales, medida por la divergencia de Jensen-Shannon, cayó a 0,002, generalmente en línea con GPT-1914:

Fechas de publicación estimadas para texto real y generado, mostrando cuán cerca GPT-1914 y una versión ajustada de GPT-4o-mini coinciden con el estilo de la escritura del siglo XX (basado en libros publicados entre 1905 y 1914).

Sin embargo, los investigadores advierten que esta métrica puede capturar solo características superficiales del estilo histórico, y no anacronismos conceptuales o fácticos más profundos.

‘[Esto] no es una prueba muy sensible. El modelo RoBERTa utilizado como juez aquí no está entrenado para predecir una fecha, sino para discriminar pasajes auténticos de los anacrónicos. Probablemente utiliza evidencia estilística burda para hacer esa predicción. Los lectores humanos, o modelos más grandes, aún podrían detectar contenido anacrónico en pasajes que superficialmente suenan “en período.”‘

Toque humano

Finalmente, los investigadores realizaron pruebas de evaluación humana utilizando 250 pasajes seleccionados a mano de libros publicados entre 1905 y 1914, y observan que muchos de estos textos probablemente serían interpretados de manera muy diferente hoy en día que en el momento de su escritura:

‘Nuestra lista incluyó, por ejemplo, una entrada de enciclopedia sobre Alsacia (que entonces formaba parte de Alemania) y una sobre beriberi (que entonces se explicaba a menudo como una enfermedad fúngica en lugar de una deficiencia nutricional). Mientras que esas son diferencias de hecho, también seleccionamos pasajes que mostrarían diferencias más sutiles de actitud, retórica o imaginación.

‘Por ejemplo, las descripciones de lugares no europeos a principios del siglo XX tienden a deslizarse hacia generalizaciones raciales. Una descripción del amanecer en la luna escrita en 1913 imagina ricos fenómenos cromáticos, porque nadie había visto aún fotografías de un mundo sin [atmósfera].’

Los investigadores crearon preguntas cortas que cada pasaje histórico podría responder de manera plausible, luego ajustaron GPT-4o-mini en estas parejas de pregunta-respuesta. Para fortalecer la evaluación, entrenaron cinco versiones separadas del modelo, cada vez dejando fuera una porción diferente de los datos para pruebas.

Luego produjeron respuestas utilizando tanto las versiones predeterminadas de GPT-4o como GPT-4o-mini, así como las variantes ajustadas, cada una evaluada en la porción que no había visto durante el entrenamiento.

Perdido en el tiempo

Para evaluar cuán convincentemente los modelos podían imitar el lenguaje histórico, los investigadores pidieron a tres annotadores expertos que revisaran 120 continuaciones generadas por IA y juzgaran si cada una parecía plausible para un escritor en 1914.

Este enfoque de evaluación directa resultó más desafiante de lo esperado: aunque los annotadores estuvieron de acuerdo en sus evaluaciones casi el ochenta por ciento del tiempo, el desequilibrio en sus juicios (con “plausible” elegido dos veces más a menudo que “no plausible”) significó que su nivel real de acuerdo fue solo moderado, según una puntuación de kappa de Cohen de 0,554.

Los evaluadores mismos describieron la tarea como difícil, a menudo requiriendo investigación adicional para evaluar si una afirmación se alineaba con lo que se conocía o creía en 1914.

Algunos pasajes plantearon preguntas difíciles sobre tono y perspectiva – por ejemplo, si una respuesta estaba adecuadamente limitada en su visión del mundo para reflejar lo que habría sido típico en 1914. Este tipo de juicio a menudo dependía del nivel de etnocentrismo (es decir, la tendencia a ver otras culturas a través de las suposiciones o sesgos de la propia).

En este contexto, el desafío fue decidir si un pasaje expresaba justo el sesgo cultural suficiente para parecer históricamente plausible sin sonar demasiado moderno o demasiado ofensivo según los estándares de hoy en día. Los autores señalan que incluso para los académicos familiarizados con el período, fue difícil trazar una línea clara entre el lenguaje que sonaba históricamente preciso y el lenguaje que reflejaba ideas actuales.

No obstante, los resultados mostraron una clasificación clara de los modelos, con la versión ajustada de GPT-4o-mini juzgada como la más plausible en general:

Evaluaciones de los annotadores sobre cuán plausible parecía la salida de cada modelo

¿Si este nivel de rendimiento, calificado como plausible en el ochenta por ciento de los casos, es lo suficientemente confiable para la investigación histórica sigue sin estar claro – particularmente ya que el estudio no incluyó una medida de referencia de con qué frecuencia los textos del período real podrían ser mal clasificados.

Alerta de intruso

Luego vino una “prueba de intruso”, en la que los annotadores expertos se les mostraron cuatro pasajes anónimos que respondían a la misma pregunta histórica. Tres de las respuestas provenían de modelos de lenguaje, mientras que una era un extracto real y genuino de una fuente del siglo XX.

La tarea era identificar cuál de los pasajes era el original, genuinamente escrito durante el período.

Este enfoque no pidió a los evaluadores que calificaran la plausibilidad directamente, sino que midió con qué frecuencia el pasaje real se destacaba de las respuestas generadas por IA, en efecto, probando si los modelos podían engañar a los lectores para que creyeran que su salida era auténtica.

La clasificación de los modelos coincidió con los resultados de la tarea de juicio anterior: la versión ajustada de GPT-4o-mini fue el modelo más convincente, pero aún no alcanzó el nivel del pasaje real.

La frecuencia con la que se identificó correctamente cada fuente como el pasaje histórico auténtico.

Esta prueba también sirvió como una referencia útil, ya que, con el pasaje real identificado más de la mitad del tiempo, la brecha entre la prosa auténtica y la sintética seguía siendo notable para los lectores humanos.

Un análisis estadístico conocido como prueba de McNemar confirmó que las diferencias entre los modelos eran significativas, excepto en el caso de las dos versiones no ajustadas (GPT-4o y GPT-4o-mini), que funcionaron de manera similar.

El futuro del pasado

Los autores encontraron que provocar a los modelos de lenguaje modernos para que adopten una voz histórica no produjo resultados convincentes de manera confiable: menos de dos tercios de las salidas fueron juzgadas como plausibles por los lectores humanos, y incluso esta cifra probablemente sobreestima el rendimiento.

En muchos casos, las respuestas incluían señales explícitas de que el modelo estaba hablando desde una perspectiva actual – frases como ‘en 1914, no se sabe aún que…’ o ‘hasta 1914, no estoy familiarizado con…’ eran lo suficientemente comunes como para aparecer en hasta una quinta parte de las continuaciones. Este tipo de descargos de responsabilidad hacía claro que el modelo estaba simulando la historia desde afuera, en lugar de escribir desde dentro.

Los autores afirman:

‘El mal rendimiento del aprendizaje en contexto es lamentable, porque estos métodos son los más fáciles y baratos para la investigación histórica basada en IA. Queremos enfatizar que no hemos explorado estos enfoques de manera exhaustiva.

‘Puede resultar que el aprendizaje en contexto sea adecuado –ahora o en el futuro– para un subconjunto de áreas de investigación. Pero nuestra evidencia inicial no es alentadora.’

Los autores concluyen que, si bien ajustar un modelo comercial en pasajes históricos puede producir una salida estilísticamente convincente a un costo mínimo, no elimina completamente trazas de perspectiva moderna. Entrenar un modelo enteramente en material de período evita el anacronismo, pero exige muchos más recursos y resulta en una salida menos fluida.

Ningún método ofrece una solución completa, y, por ahora, cualquier intento de simular voces históricas parece implicar un compromiso entre autenticidad y coherencia. Los autores concluyen que se necesitará más investigación para aclarar cómo navegar mejor esa tensión.

Conclusión

Quizás una de las preguntas más interesantes que surgen del nuevo documento es la de la autenticidad. Mientras que no son herramientas perfectas, las funciones de pérdida y las métricas como LPIPS y SSIM dan a los investigadores de visión por computadora al menos una metodología de comparación con la verdad de fondo.

Cuando se genera nuevo texto en el estilo de una época pasada, por el contrario, no hay verdad de fondo – solo un intento de habitar una perspectiva cultural desaparecida. Intentar reconstruir esa mentalidad a partir de trazas literarias es en sí mismo un acto de cuantización, ya que esas trazas son solo evidencia, mientras que la conciencia cultural de la que emergen permanece más allá de la inferencia y probablemente más allá de la imaginación.

En un nivel práctico también, los cimientos de los modelos de lenguaje modernos, moldeados por las normas y los datos actuales, corren el riesgo de reinterpretar o suprimir ideas que habrían parecido razonables o insignificantes a un lector eduardiano, pero que ahora se registran como (frecuentemente ofensivos) artefactos de prejuicio, desigualdad o injusticia. Uno se pregunta, por lo tanto, incluso si pudiéramos crear tal coloquio, si no podría repelernos.

Publicado por primera vez el viernes 2 de mayo de 2025