Ensinar AI Esquecida a ‘Manter esse Pensamento’ por Mais Tempo

Modelos de linguagem frequentemente não conseguem lembrar o início de uma conversa. Um novo método de compressão de texto pode mudar isso e tornar as sessões de bate-papo de IA muito menos irritantes.

Sistemas de IA conversacional, como o ChatGPT, frequentemente perdem o controle de partes anteriores de uma conversa, repetindo-se ou dando respostas que ignoram regras previamente acordadas.

Isso ocorre porque os Grandes Modelos de Linguagem (LLMs) têm uma capacidade limitada de foco, definida como uma ‘janela de contexto’ de atenção – como uma lanterna que pode iluminar apenas o que está diretamente apontado para ela e alguns objetos adjacentes.

Corrigir essas tendências ‘amnésicas’, que são devidas a essas restrições de atenção, é uma das direções de pesquisa mais importantes em modelos de IA baseados em linguagem – não menos porque essa síndrome limita severamente a possibilidade de conversas úteis e consistentes em várias voltas, e limita a utilidade dos LLMs em uma variedade de contextos críticos, como medicina e direito.

Crushing It

Nova pesquisa da China^† está propondo um método novo de fazer com que uma quantidade significativamente maior de texto caiba nos recursos limitados de uma GPU que executa um modelo de IA – com resultados que alcançam uma melhoria de compressão de 20x enquanto retêm 98% de precisão:

Compressão de Contexto em Cascata (C3) reconstrói documentos longos com mais precisão do que métodos de compressão óptica, como o DeepSeek-OCR, mesmo quando a entrada é reduzida em até quarenta vezes. Em uma variedade de comprimentos de documento e configurações de compressão, o novo método mantém a fidelidade quase perfeita, enquanto a abordagem óptica se degrada fortemente sob compressão mais alta. Fonte

Com uma precisão de 93% – que está dentro dos parâmetros trabalháveis – a compressão de texto pode até alcançar uma relação de compressão de 40x:

Três abordagens para a compressão de texto longo para entrada de modelo de linguagem: o método de base (esquerda) tokeniza o texto diretamente, resultando em uma grande contagem de tokens; a rota óptica (centro) converte o texto em uma imagem e extrai embeddings visuais usando um Vision Transformer, alcançando uma compressão de 10x; e o novo método C3 (direita) usa um modelo de linguagem pequeno para comprimir o texto em apenas 32 tokens latentes, obtendo uma compressão de 40x sem depender de codificações visuais.

Isso significa que a totalidade de uma conversa longa pode ser comprimida e reinjetada (atualizada) em intervalos como informações de contexto de fundo, mais tarde na conversa – quando o LLM normalmente estaria esquecendo fatos anteriores e escorregando para um comportamento ‘amnésico’.

Embora isso seja um método de compressão perdido, até a forma como a perda ocorre é útil: sob o novo método, a memória se degrada no fim de uma sentença, e não uniformemente em toda a sentença, como no arquiteto DeepSeek-OCR que inspirou a nova abordagem; de fato, os pesquisadores por trás do novo artigo sugerem que seu método se degrada da mesma forma que a memória humana real, em vez de aleatoriamente:

Topo, a memória humana se degrada no final do fluxo de dados; meio: o DeepSeek-OCR se degrada aleatoriamente, deixando nenhum ancoradouro que possa ajudar a corrigir o problema; fundo: o novo método se degrada da mesma forma que a memória humana, em direção ao término do fluxo de dados, oferecendo marcadores que podem ajudar a melhorar a precisão por meio de processamento pós-fato.

Isso significa que é possível prever onde os dados memorizados podem ser menos confiáveis e usar esse conhecimento para abordar o problema – potencialmente oferecendo uma melhoria massiva na recordação conversacional e coerência, com 100% de precisão após remediação.

O novo método é chamado de Compressão de Contexto em Cascata (C3) e é inspirado na forma como o DeepSeek-OCR comprime texto como imagens, alcançando níveis de compressão significativos. No entanto, usando dois modelos de linguagem (médio e grande) para processar texto longo diretamente em embeddings latentes, a nova abordagem elimina o arrasto causado pelo uso de imagens rasterizadas, alcançando assim um desempenho melhorado.

O artigo afirma:

‘O desempenho superior do C3 pode ser atribuído ao seu design arquitetônico fundamental. A análise do DeepSeek-OCR hipotetiza que sua queda de desempenho é devida a fatores como “layout complexo” e “borramento de imagem em resoluções mais baixas” – limitações inerentes à via óptica.

‘Nosso paradigma C3, operando diretamente no domínio textual, é completamente imune a esses artefatos do domínio visual. Ele evita a perda de informação associada à renderização de texto para pixels e, em seguida, codificando esses pixels. Em vez disso, ele aproveita a compreensão semântica poderosa de um LLM pré-treinado para destilar informações textuais diretamente em uma representação latente eficiente.’

O novo artigo é intitulado Compressão de Contexto em Cascata: Explorando os Limites Superiores da Compressão de Texto e vem de dois autores^†, que também parecem estar oferecendo o C3 como um repositório de código aberto no GitHub.

Método

Para entender a nova abordagem, é útil saber o que é reconhecimento óptico de caracteres (OCR), pois é daí que toda a ideia vem.

O OCR é um método algorítmico que remonta à década de 1920, embora tenha sido popularizado na década de 1990, onde a detecção de padrões permite que um programa de computador transforme texto raster (ou seja, texto dentro de imagens, que não pode ser selecionado e que existe apenas como conteúdo fotográfico) em texto editável.

Os criadores do DeepSeek-OCR descobriram que o texto poderia ser comprimido muito mais do que as pipelines padrão usando o OCR como uma etapa intermediária. Em outras palavras, em vez de comprimir o texto em si, era possível alcançar uma densidade maior de embeddings latentes (ou seja, mais informações salvas) comprimindo uma versão rasterizada do texto:

A partir do artigo de lançamento do DeepSeek-OCR, um esquema para o pipeline de compressão, incluindo patches rasterizados de 16×16 como o componente OCR. Fonte

O novo artigo sugere que as abordagens ópticas, como o DeepSeek-OCR, podem estar atribuindo erroneamente a fonte de seus ganhos de compressão. Em vez de a mudança de texto para imagem ser o fator principal, os autores defendem que o benefício-chave vem da conversão de tokens de texto verbosos em representações latentes mais eficientes.

Para testar isso, eles criaram um pipeline que aproveita dois modelos de linguagem: o menor Qwen2.5 1.5B, que funciona como o codificador, comprimindo passagens longas em um conjunto pequeno de tokens latentes; e o maior Qwen2.5 3B, que funciona como o decodificador, reconstruindo o texto original a partir desses tokens:

No novo sistema C3, o modelo Qwen2.5 1.5B menor comprime uma entrada longa em um conjunto fixo de tokens latentes, usando embeddings de consulta treináveis. Esses tokens, juntamente com um prompt, são passados para o modelo Qwen2.5 3B maior, que reconstrói o texto original. Essa arquitetura permite a lembrança de alta fidelidade de sequências longas usando apenas uma fração da contagem original de tokens.

Para lidar com a etapa de compressão, os pesquisadores adaptaram o modelo Qwen2.5 1.5B pré-treinado introduzindo embeddings de consulta treináveis: prompts abstratos que guiam o modelo na destilação do contexto de entrada longo em uma representação latente muito menor.

Ao invés de modificar a arquitetura, o método simplesmente alimenta o texto longo e os embeddings de consulta juntos como uma entrada única. O mecanismo de atenção própria do modelo trata esses elementos de forma idêntica, permitindo que ele produza um contexto latente de comprimento fixo sem precisar de novas camadas ou alterações de design; e essa saída é então passada para o modelo maior para reconstrução.

Para avaliar quanto de informação sobreviveu à compressão, os pesquisadores instruíram o decodificador Qwen2.5 3B a reconstruir a entrada original usando apenas os tokens latentes e o prompt ‘repita o texto’. Como a tarefa envolvia a reprodução exata, e não resumo ou paráfrase, qualquer desvio do original poderia ser diretamente atribuído à perda de informação durante a compressão, oferecendo um teste limpo e objetivo da fidelidade ao longo do pipeline de codificação-decodificação.

Dados e Testes

O artigo afirma que os autores compilaram um conjunto de dados original de material OCR, totalizando um milhão de páginas obtidas da internet. Nenhum detalhe adicional é aparente sobre essa fonte, e os autores parecem ser deliberadamente vagos sobre esse ponto.

No entanto, eles observam que a engenharia de dados e a curadoria não foram necessárias para seus propósitos, e que eles conseguiram treinar seu modelo de forma eficaz em amostras de ‘comprimento diverso’; e eles afirmam que isso indica que sua arquitetura é resiliente (e, por inferência, bem generalizada, dependendo das configurações de treinamento).

O modelo foi treinado em um cluster de alto desempenho composto por oito GPUs NVIDIA H800, cada uma equipada com 80GB de VRAM, para um total de recursos de VRAM de 640GB. Cada GPU acomodou um tamanho de lote de 2, obtendo um tamanho de lote global de 256, considerando os 16 passos de acumulação agendados. O otimizador foi AdamW, ao longo de um total de 40.000 passos.

Para testar a eficácia da arquitetura C3, os pesquisadores seguiram a mesma configuração de avaliação usada no artigo original do DeepSeek-OCR, usando o benchmark Fox para medir a compressão e a precisão de reconstrução em uma variedade de comprimentos de documento.

Textos em inglês foram selecionados, com passagens variando de 600 a 1300 tokens, com tokenização realizada usando o tokenizador Qwen.

Para permitir uma comparação justa, níveis de compressão equivalentes da linha de base óptica (DeepSeek-OCR) foram usados, com 64 e 100 tokens latentes. Para explorar os limites do método, testes adicionais foram realizados usando apenas 32 tokens latentes. Em todos os casos, a reconstrução foi iniciada com a instrução ‘repita o texto:’:

Resultados do teste inicial. A precisão de reconstrução e as relações de compressão foram medidas em sete faixas de tokens usando 64 e 100 tokens latentes, mostrando uma superação consistente do C3 em relação ao DeepSeek-OCR, especialmente em níveis de compressão mais altos.

Discutindo os resultados iniciais visualizados acima, o artigo afirma:

‘Os dados demonstram inequivocamente que o paradigma de compressão direta de texto para latente do C3 supera significativamente a abordagem de compressão óptica em todas as condições testadas, estabelecendo um novo estado da arte na compressão de contexto de alta fidelidade.’

Quando ambos os sistemas foram testados em documentos mais longos, o DeepSeek-OCR começou a perder precisão à medida que a compressão aumentava, caindo abaixo de 60% no caso mais extremo. O C3 lidou com o mesmo nível de compressão com muito menos perda, mantendo-se próximo de 98%, mesmo quando a entrada foi reduzida para um vigésimo do seu tamanho original.

No teste mais desafiador, os textos completos foram reduzidos a apenas 32 tokens. Mesmo assim, o modelo conseguiu recuperar quase todo o conteúdo original, mantendo a precisão próxima de 99% em muitos casos:

Precisão de reconstrução e relações de compressão em 32 tokens latentes, mostrando que mesmo em reduções extremas (até quase 40x) a precisão permanece acima de 93%.

Na configuração mais extrema, onde a entrada foi comprimida para quase um quarentavo do seu tamanho, ainda assim se lembrava de mais de 93%. Em comparação, os métodos ópticos anteriores caíram para cerca de 60% de precisão em metade desse nível de compressão.

Os autores afirmam^††:

‘Esses achados demonstram conclusivamente a vantagem da arquitetura C3. Ao evitar os gargalos de informação e os artefatos potenciais inerentes à modalidade visual (por exemplo, limitações de resolução de imagem, complexidade de layout), nosso método lida com a compressão extrema com perda de informação mínima.

‘Os resultados desse caso de teste agressivo solidificam nossa afirmação de que a compressão direta de texto para latente é um paradigma fundamentalmente mais eficiente e poderoso do que seus contrapartes ópticos.’

Eles também concluem que o C3 pode ‘desbloquear novas capacidades no processamento de livros inteiros, documentos legais extensos ou grandes bases de código para tarefas como resposta a perguntas, resumo e análise’.

Conclusão

Este é um dos artigos mais claros e acessíveis que eu encontrei recentemente, com uma ideia central comandável que pode provar ser pelo menos uma linha adicional de ataque contra o ‘problema da janela de contexto’.

Muitos usuários de LLMs aprenderam agora a ‘atualizar’ informações cruciais ou diretrizes periodicamente ao longo de uma troca longa, tendo descoberto por experiência própria que os likes do ChatGPT não podem reter essa informação por muito tempo. Seguindo esse instinto de solução rápida, a ideia em questão no novo artigo é que uma versão altamente comprimida de uma conversa longa poderia ser reinjetada (atualizada) automaticamente em intervalos na janela de contexto do atual LLM, essencialmente ‘lembrando por procuração’.

Em um clima em que a escassez de GPUs está levando a um aumento de preços mesmo na memória tradicional de computador (como a DRAM, onde muitas cargas de trabalho de GPU estão sendo agora descarregadas para suportar modelos maiores), parece improvável que o hardware hospedeiro da IA se torne significativamente mais capaz no futuro próximo; portanto, abordagens inovadoras como essa, que são quase uma rerun nostálgica da evolução da compressão de arquivos na década de 1990, podem provar ser necessárias para impulsionar o desempenho para a frente.

Mais importante ainda, seria simplesmente ótimo se os LLMs pudessem manter uma conversa coerente por uma hora ou mais e realmente se lembrar do que a conversa era sobre, para começar.

* As instruções de instalação do CLI são fornecidas, mas não tenho tempo para tentar uma instalação e não tenho certeza de que o repositório está completo.

^† Os dois autores são citados como Fanfan Liu e Haibo Qiu. Até onde a pesquisa casual indica, Qiu é atualmente um pesquisador na empresa de tecnologia chinesa Meituan, e Liu é um estudante de mestrado na Academia de Ciências da China. Nenhum deles tem o artigo em questão listado em suas histórias. Se alguma dessas atribuições estiver incorreta, por favor, entre em contato comigo por meio do meu perfil.

^††  Embora os autores sigam a fórmula fornecendo testes qualitativos adicionais, esses são pouco esclarecedores em comparação com a rodada anterior de testes de compressão, e não os abordei aqui.

Publicado pela primeira vez na sexta-feira, 21 de novembro de 2025