O Problema de Memória do AI: Por que o Contexto Longo Eficiente Muda Tudo e o que é Necessário para Fazê-lo Corretamente

Um colega de trabalho que esquecesse todas as conversas anteriores no momento em que elas terminassem não duraria muito tempo na maioria dos empregos. No entanto, muitos negócios de IA funcionam exatamente dessa maneira. A sessão é fechada e o contexto some com ela. Um consumidor que faz perguntas isoladas pode não notar, mas uma empresa que executa um processo que dura mais do que uma sessão única atinge o limite quase imediatamente.

O trabalho real avança de uma sessão para a próxima, e uma decisão tomada na quinta-feira geralmente se baseia em uma decisão tomada na segunda-feira, com o pensamento por trás dela precisando sobreviver no meio. Um IA que se limpa quando a sessão termina pode se sair bem dentro daquela sessão e ainda assim contribuir nada para uma tarefa que dura mais de uma semana.

A IA empresarial mudou silenciosamente o que exige de um modelo. Durante anos, os modelos foram julgados principalmente por quanto conhecimento haviam absorvido. As empresas agora precisam que eles mantenham as informações certas em vista à medida que o trabalho se desenrola, uma capacidade que exige um tipo diferente de engenharia eficiente. Até o momento, a capacidade de manter esse nível de conhecimento persistente não foi alcançada devido à grande quantidade de memória (GPU), computação e custo necessários para dimensionar essa capacidade. Manter uma latência aceitável e um nível de alucinação do modelo se torna um desafio com uso concorrente quando um contexto longo está sendo utilizado. Há uma demanda crescente por essas capacidades de conhecimento e não há memória e computação suficientes para atendê-la. Isso levanta a pergunta: como alcançar inteligência mais precisa em escala com menos infraestrutura e custo?

A Mesa e o Arquivo

Duas coisas são reunidas sob o título de memória, e elas se comportam de forma suficientemente diferente para que o resto dependa de mantê-las separadas.

Vamos começar com a janela de contexto, que é quanto um modelo pode absorver e raciocinar em uma única passagem. Ela funciona como a superfície de uma mesa. Uma mesa pequena aceita algumas páginas de cada vez, então tudo o mais espera em uma gaveta e é buscado e limpo à medida que você vai, enquanto uma mesa grande deixa o caso inteiro aberto ao mesmo tempo em que você trabalha nele. O que a mesa contém é varrido no final do dia, todos os dias.

A memória persistente é o arquivo ao lado da mesa. O sistema escolhe o que armazenar e o recupera quando se torna relevante, então algo que aconteceu esta semana pode informar o que ele faz na semana seguinte. Esse armazenamento é transportado entre sessões e precisa de suas próprias decisões sobre o que salvar, como organizá-lo e quando recuperá-lo.

Muito da corrida de engenharia visível foi para a mesa. Janelas que antes seguravam alguns milhares de tokens agora chegam a centenas de milhares, e os maiores modelos da OpenAI e da Anthropic atingem cerca de um milhão.

O termo para esse trabalho, ‘engenharia de contexto’, veio de Tobi Lutke, da Shopify, e foi popularizado por Andrej Karpathy em meados de 2025. A habilidade principal em qualquer aplicação de IA séria, segundo Karpathy, é preencher a janela com as informações certas para o próximo passo. Sua analogia foi hardware – o modelo como processador, a janela como sua memória de trabalho. Os praticantes adotaram o termo rapidamente, pois haviam estado circulando a ideia sem um rótulo para ela.

Ter uma Mesa Maior Não Resolve o Problema de Memória

Aqui é onde a jogada óbvia – apenas continuar aumentando a mesa – encontra problemas.

Pesquisadores de Stanford mostraram em 2024 que, quando as informações que um modelo precisa estão no meio de uma entrada longa, sua precisão cai acentuadamente em relação ao mesmo fato colocado no início ou no final. Eles o chamaram de ‘perdido no meio’, e isso se manteve mesmo para modelos projetados para contexto longo. Colocar mais informações diante de um modelo, descobriu-se, não é o mesmo que o modelo fazer uso confiável delas.

O efeito se manteve à medida que outras equipes foram procurar por ele, e um estudo de 2025 que executou 18 modelos de fronteira contra entradas progressivamente mais longas encontrou o desempenho se deteriorando bem antes de a janela estar mesmo cheia, um padrão que seus autores nomearam de ‘poda de contexto’. Aumentar a mesa e fazer com que um modelo raciocine limpa e claramente sobre tudo o que está nela são dois problemas separados, e o primeiro não resolve o segundo.

Curação Ganha Mais do que Capacidade

A engenharia de contexto cresceu como uma disciplina com base nisso, com um estudo de 2025 que reuniu mais de 1.400 artigos estabelecendo seus métodos e a Gartner aconselhando os clientes a priorizar o contexto em relação às prompts em julho de 2025. A habilidade evoluiu de redigir uma instrução mais afiada para montar um conjunto mais afiado de entradas para o modelo trabalhar.

Uma mesa maior aumenta as apostas sobre o que você coloca nela. Despejar uma loja de documentos inteira na superfície e as poucas páginas que importam acabam se perdendo entre ruídos, contradições e versões superadas, enquanto uma seleção mais apertada do que realmente afeta a tarefa permite que o mesmo modelo se saia muito melhor. O julgamento está em o que pertence diante do modelo, como ele é enquadrado, quando ele aparece e o que permanece no arquivo.

É para isso que o RAG (retrieval-Augmented Generation) foi construído: dividir documentos em fragmentos e recuperar os que parecem relevantes, para contornar uma janela pequena demais para segurar o todo. Digamos que uma disputa contratual gire em torno de uma cláusula na página 200. A abordagem usual divide o contrato em fragmentos e deixa que um sistema de recuperação busque os que parecem relevantes. Se a página 200 for considerada irrelevante, o modelo nunca vê a cláusula.

Uma janela dimensionada para o contrato inteiro pula a etapa de busca e fornece ao modelo a cláusula junto com tudo ao seu redor. Se o modelo então lê uma entrada longa bem é o problema de confiabilidade da seção anterior, e é um problema melhor do que um sistema de recuperação decidindo silenciosamente que a cláusula não vale a pena passar adiante.

Dentro de uma Sessão e Depois Dela

O contexto longo é o que permite que um agente de IA trabalhe em um trabalho longo em vez de uma única troca. Um agente que lida com uma revisão de conformidade de vários dias ou um fornecedor de integração mantém o trabalho inteiro na janela à medida que ele é executado, então cada etapa se baseia no estado completo do trabalho. Uma janela longa o suficiente pode substituir a memória dentro de uma sessão.

É também onde a semelhança para. O que o sistema deve lembrar na semana seguinte, uma vez que essa sessão tenha sido fechada, precisa viver em algum lugar onde a janela não está.

Construir esse tipo de memória traz um conjunto diferente de problemas, muitos dos quais a indústria apenas começou a enfrentar. Meu treinamento em psicologia e neurociência torna a comparação com a memória humana difícil de perder. Não recuperamos uma gravação perfeita de um evento. Cada vez que nos lembramos dele, o reconstruímos, e pequenos erros podem gradualmente se tornar parte da versão aceita. Uma memória de máquina pode desenvolver um problema semelhante quando as informações armazenadas são resumidas, mescladas ou reescritas repetidamente. Com o tempo, o registro pode se afastar do evento original, a menos que alguém verifique, corrija erros e remova informações que se tornaram pouco confiáveis.

Muitas empresas que implantam esses sistemas ainda não encontraram esses problemas, e poucas estão perto de resolvê-los. O que eu observaria em um fornecedor não é o tamanho da janela que ele anuncia. Um modelo que segura 10 milhões de tokens vale pouco se a maior parte do que ele mantém é desatualizada, irrelevante ou errada. Suas respostas podem parecer bem fundamentadas enquanto se baseiam em material que o negócio nunca deveria ter confiado. O que ganha dinheiro é o julgamento sobre o que manter e a capacidade de raciocinar com precisão sobre todas as informações, com uma fração do custo de infraestrutura e custo. Isso é fazer mais com menos, e nem todas as janelas maiores vêm com essa capacidade real.