El Problema de Memoria de la IA: Por Qué la Eficiencia del Contexto Largo Cambia Todo y Qué Se Necesita para Hacerlo Bien

Un colega que olvidara cada conversación anterior en el momento en que terminara no duraría mucho en la mayoría de los trabajos. Sin embargo, mucha inteligencia artificial empresarial funciona exactamente de esa manera. La sesión se cierra y el contexto desaparece con ella. Un consumidor que lanza preguntas de una sola vez puede apenas notar, pero una empresa que ejecuta un proceso que dura más que una sola sesión alcanza el límite casi de inmediato.

El trabajo real se lleva adelante de una sesión a la siguiente, y una decisión tomada el jueves suele basarse en una tomada el lunes, con el razonamiento detrás de ella necesitando sobrevivir en el medio. Una IA que se limpia cuando una sesión termina puede funcionar bien dentro de esa sesión y aún así no contribuir en absoluto a una tarea que se ejecuta durante una semana.

La inteligencia artificial empresarial ha cambiado silenciosamente lo que exige de un modelo. Durante años, los modelos se juzgaron en gran medida por la cantidad de conocimiento que habían absorbido. Las empresas ahora necesitan que conserven la información correcta a la vista mientras el trabajo se desarrolla, una capacidad que requiere un tipo diferente de ingeniería eficiente. Hasta la fecha, la capacidad de mantener este nivel de conocimiento persistente no se ha logrado debido a la gran cantidad de memoria (GPU), computación y costo necesarios para escalar dicha capacidad. Mantener una latencia aceptable y un nivel de alucinación del modelo se convierte en un desafío con el uso concurrente cuando se utiliza un contexto grande. Hay una creciente demanda de dichas capacidades de conocimiento y no hay suficiente memoria y computación para satisfacerla. Entonces, esto plantea la pregunta: ¿cómo se logra una inteligencia más precisa a escala con menos infraestructura y huella?

El Escritorio y el Archivador

Dos cosas se combinan bajo el título de memoria, y se comportan lo suficientemente diferente como para que el resto de esto dependa de mantenerlas separadas.

Comencemos con la ventana de contexto, que es cuánto puede tomar un modelo y razonar en una sola pasada. Funciona como la superficie de un escritorio. Un pequeño escritorio toma unas pocas páginas a la vez, así que todo lo demás espera en un cajón y se busca y se limpia a medida que avanzas, mientras que un escritorio grande permite que el caso completo esté abierto al mismo tiempo mientras trabajas en él. Lo que el escritorio mantiene se barre al final del día, todos los días.

La memoria persistente es el archivador junto al escritorio. El sistema elige qué almacenar y lo vuelve a sacar cuando se vuelve relevante, así que algo que sucedió esta semana puede informar lo que hace la próxima semana. Ese almacén se lleva a través de sesiones y necesita sus propias decisiones sobre qué guardar, cómo organizarlo y cuándo devolverlo.

Muchísima de la carrera de ingeniería visible ha ido hacia el escritorio. Las ventanas que antes mantenían unos pocos miles de tokens ahora llegan a cientos de miles, y los modelos más grandes de OpenAI y Anthropic alcanzan alrededor de un millón.

El término para este trabajo, ‘ingeniería de contexto’, provino de Tobi Lutke de Shopify y fue popularizado por Andrej Karpathy a mediados de 2025. La habilidad principal en cualquier aplicación de IA seria es llenar la ventana con la información correcta para el próximo paso. Su analogía fue hardware – el modelo como procesador, la ventana como su memoria de trabajo. Los practicantes adoptaron el término rápidamente, porque habían estado circundando la idea sin una etiqueta para ello.

Tener un Escritorio Más Grande No Resuelve el Problema de la Memoria

Aquí es donde el movimiento obvio – simplemente seguir ampliando el escritorio – se encuentra con problemas.

Investigadores de Stanford demostraron en 2024 que cuando la información que un modelo necesita se encuentra en el medio de una entrada larga, su precisión disminuye bruscamente contra el mismo hecho colocado al principio o al final. Lo llamaron ‘perdido en el medio’, y se mantuvo incluso para modelos diseñados específicamente para contexto largo. Poner más información frente a un modelo resulta que no es lo mismo que el modelo hacer un uso confiable de ella.

El efecto se ha mantenido a medida que otros equipos han ido en busca de él, y un estudio de 2025 que ejecutó 18 modelos de vanguardia contra entradas cada vez más largas encontró un rendimiento que se degradaba mucho antes de que la ventana estuviera siquiera llena, un patrón que sus autores llamaron podredumbre de contexto. Ampliar el escritorio y hacer que un modelo razone limpiamente a través de todo lo que hay en él son dos problemas separados, y el primero no hace nada para resolver el segundo.

La Curación Gana Más que la Capacidad

La ingeniería de contexto ha crecido como una disciplina sobre la base de esto, con una encuesta de 2025 que se basó en más de 1.400 documentos que estableció sus métodos y Gartner aconsejó a los clientes en julio de 2025 que priorizaran el contexto sobre las solicitudes. El oficio se movió de redactar una instrucción más aguda a ensamblar un conjunto más agudo de entradas para que el modelo trabajara a partir de ellas.

Un escritorio más grande aumenta las apuestas sobre qué poner en él. Volcar toda una tienda de documentos sobre la superficie y las pocas páginas que importan terminan perdidas entre ruido, contradicciones y versiones superadas, donde una selección más ajustada de lo que realmente afecta la tarea permite que el mismo modelo funcione marcadamente mejor. El juicio radica en qué pertenece frente al modelo, cómo se enmarca, cuándo aparece y qué permanece en el archivador.

Esto es para lo que se construyó RAG (generación aumentada de recuperación): cortar documentos en fragmentos y recuperar los que parecen relevantes, para trabajar alrededor de una ventana demasiado pequeña para contener todo. Digamos que una disputa contractual gira en torno a una cláusula en la página 200. El enfoque habitual corta el contrato en fragmentos y deja que un sistema de recuperación recupere los que parecen relevantes. Calificar la página 200 como irrelevante y el modelo nunca ve la cláusula.

Una ventana del tamaño del contrato entero salta el paso de recuperación por completo y le da al modelo la cláusula junto con todo lo que la rodea. Si el modelo lee una entrada larga bien es el problema de confiabilidad de la sección anterior, y es un mejor problema que tener un sistema de recuperación que decide silenciosamente que la cláusula no vale la pena pasar.

Dentro de una Sesión y Después de Ella

El contexto largo es lo que permite que un agente de IA trabaje a través de un trabajo largo en lugar de un solo intercambio. Un agente que maneja una revisión de cumplimiento de varios días o un proveedor de incorporación mantiene todo el trabajo en la ventana mientras se ejecuta, así que cada paso se basa en el estado completo del trabajo. Una ventana lo suficientemente larga puede sustituir la memoria dentro de una sesión.

Eso también es donde se detiene la similitud. Cualquiera que sea lo que el sistema deba recordar la próxima semana, una vez que esta sesión haya cerrado, tiene que vivir en algún lugar donde la ventana no esté.

Construir ese tipo de memoria trae un conjunto diferente de problemas, muchos de los cuales la industria apenas ha comenzado a abordar. Mi formación en psicología y neurociencia hace que la comparación con la memoria humana sea difícil de perder. No recuperamos una grabación perfecta de un evento. Cada vez que lo recordamos, lo reconstruimos, y pequeños errores pueden gradualmente convertirse en parte de la versión aceptada. Una memoria de máquina puede desarrollar un problema similar cuando la información almacenada se resume, se fusiona o se reescribe repetidamente. Con el tiempo, el registro puede alejarse del evento original a menos que alguien lo verifique, corrija errores y elimine información que se ha vuelto poco confiable.

Muchas empresas que despliegan estos sistemas aún no han encontrado estos problemas, y pocas están cerca de resolverlos. Lo que observaría en un proveedor no es el tamaño de la ventana que anuncian. Un modelo que mantiene 10 millones de tokens vale poco si la mayoría de lo que mantiene es obsoleto, irrelevante o incorrecto. Sus respuestas pueden parecer bien fundamentadas mientras se basan en material que la empresa nunca debería haber confiado. Lo que gana dinero es el juicio sobre qué conservar y la capacidad de razonar con precisión sobre toda la información, con una fracción del costo de infraestructura y huella. Eso es hacer más con menos, y no todas las ventanas más grandes vienen con esta capacidad real.