Le problème de mémoire de l’IA : Pourquoi l’efficacité du contexte long fait toute la différence, et ce qu’il faut pour le faire correctement

Un collègue qui oublie chaque conversation précédente dès que celle-ci se termine ne durerait pas longtemps dans la plupart des emplois. Pourtant, beaucoup d’IA d’entreprise fonctionnent exactement de cette façon. La session se termine et le contexte disparaît avec elle. Un consommateur qui pose des questions à la volée peut à peine remarquer, mais une entreprise qui exécute un processus qui dure plus longtemps qu’une seule séance atteint la limite presque immédiatement.

Le travail réel se poursuit d’une session à l’autre, et une décision prise le jeudi repose généralement sur une décision prise le lundi, avec la réflexion qui la sous-tend nécessitant de survivre entre-temps. Un IA qui s’efface lorsqu’une session se termine peut performer bien à l’intérieur de cette session et contribuer encore rien à une tâche qui s’étend sur une semaine.

L’IA d’entreprise a discrètement changé ce qu’elle exige d’un modèle. Pendant des années, les modèles étaient jugés principalement sur la quantité de connaissances qu’ils avaient absorbées. Les entreprises ont maintenant besoin qu’ils gardent les bonnes informations en vue à mesure que le travail se déroule, une capacité qui nécessite un type d’ingénierie efficace différent. À ce jour, la capacité de conserver ce niveau de connaissance persistante n’a pas été atteinte en raison de la grande quantité de mémoire (GPU), de calcul et de coût nécessaires pour mettre à l’échelle une telle capacité. Maintenir une latence acceptable et un niveau de hallucination de modèle devient un défi avec une utilisation concurrente lorsque le contexte long est utilisé. Il y a une demande croissante pour de telles capacités de connaissance et pas assez de mémoire et de calcul pour aller autour. Cela soulève donc la question : comment atteindre une intelligence plus précise à grande échelle avec moins d’infrastructure et d’empreinte ?

Le Bureau et le Classeur

Deux choses sont regroupées sous le titre de mémoire, et elles se comportent suffisamment différemment pour que le reste de cela dépende de les garder séparées.

Commençons par la fenêtre de contexte, qui est la quantité que peut prendre en compte et raisonner un modèle en une seule passe. Cela fonctionne comme la surface d’un bureau. Un petit bureau prend quelques pages à la fois, donc tout le reste attend dans un tiroir et est récupéré et effacé à mesure que vous allez, tandis qu’un grand bureau laisse l’ensemble du dossier ouvert à mesure que vous travaillez dessus. Ce que le bureau contient est balayé à la fin de la journée, chaque jour.

La mémoire persistante est le classeur à côté du bureau. Le système choisit ce qu’il stocke et le récupère lorsqu’il devient pertinent, donc quelque chose qui s’est passé cette semaine peut éclairer ce qu’il fait la semaine prochaine. Ce stock s’étend sur les sessions et nécessite ses propres décisions sur ce qu’il faut conserver, comment l’organiser et quand le récupérer.

Une grande partie de la course d’ingénierie visible est allée dans le bureau. Les fenêtres qui contenaient autrefois quelques milliers de jetons s’étendent maintenant à des centaines de milliers, et les plus grands modèles d’OpenAI et d’Anthropic culminent à environ un million.

Le terme pour ce travail, « ingénierie de contexte », vient de Tobi Lutke de Shopify et a été popularisé par Andrej Karpathy en milieu 2025. La compétence principale dans toute application d’IA sérieuse, a écrit Karpathy, est de remplir la fenêtre avec les bonnes informations pour l’étape suivante. Son analogie était le matériel – le modèle en tant que processeur, la fenêtre en tant que mémoire de travail. Les praticiens ont adopté le terme rapidement, car ils avaient tourné autour de l’idée sans étiquette pour cela.

Avoir un Bureau Plus Grand Ne Résout Pas le Problème de Mémoire

Voici où la démarche évidente – simplement agrandir le bureau – rencontre des problèmes.

Les chercheurs de Stanford ont montré en 2024 que lorsque les informations dont un modèle a besoin se trouvent au milieu d’une longue entrée, sa précision chute fortement par rapport au même fait placé au début ou à la fin. Ils l’ont appelé « perdu dans le milieu », et cela a tenu même pour les modèles conçus spécifiquement pour le contexte long. Ajouter plus de choses à un modèle, il s’avère, n’est pas la même chose que le modèle faisant un usage fiable de celles-ci.

L’effet a tenu même lorsque d’autres équipes sont allées à la recherche, et une étude de 2025 qui a fait fonctionner 18 modèles de pointe contre des entrées de plus en plus longues a constaté que les performances se dégradent bien avant que la fenêtre ne soit même pleine, un modèle que ses auteurs ont appelé « pourriture de contexte ». Agrandir le bureau et faire en sorte qu’un modèle raisonne proprement sur tout ce qui se trouve dessus sont deux problèmes distincts, et le premier ne fait rien pour résoudre le second.

La Curation Gagne Plus que la Capacité

L’ingénierie de contexte est devenue une discipline sur le dos de cela, avec une étude de 2025 basée sur plus de 1 400 documents qui établit ses méthodes et Gartner conseille à ses clients en juillet 2025 de donner la priorité au contexte plutôt qu’aux invites. L’artisanat est passé de la rédaction d’une instruction plus aiguisée à l’assemblage d’un ensemble plus aigu d’entrées pour que le modèle puisse travailler à partir de celles-ci.

Un bureau plus grand augmente les enjeux sur ce que vous choisissez de mettre dessus. Verser un ensemble de documents entier sur la surface et les quelques pages qui comptent se retrouvent perdues parmi le bruit, les contradictions et les versions obsolètes, tandis qu’une sélection plus étroite de ce qui porte réellement sur la tâche permet au même modèle de performer nettement mieux. Le jugement réside dans ce qui appartient devant le modèle, comment il est encadré, quand il apparaît, et ce qui reste dans le classeur.

C’est pour cela que RAG (retrieval-Augmented Generation) a été construit : couper les documents en fragments et récupérer ceux qui semblent pertinents, pour contourner une fenêtre trop petite pour contenir l’ensemble. Disons qu’un litige contractuel tourne autour d’une clause à la page 200. L’approche habituelle coupe le contrat en fragments et laisse un système de récupération récupérer ceux qui semblent pertinents. Noter la page 200 comme non pertinente et le modèle ne voit jamais la clause.

Une fenêtre de la taille du contrat entier saute complètement l’étape de récupération et donne au modèle la clause ainsi que tout ce qui l’entoure. Que le modèle lise ensuite une longue entrée bien est le problème de fiabilité de la section précédente, et c’est un meilleur problème à avoir que d’un système de récupération qui décide tranquillement que la clause n’était pas digne d’être transmise.

À l’Intérieur d’une Session, et Après

Le contexte long est ce qui permet à un agent d’IA de travailler sur un travail long plutôt que sur un seul échange. Un agent qui gère une révision de conformité sur plusieurs jours ou un fournisseur qui effectue une intégration conserve l’ensemble de la tâche dans la fenêtre à mesure qu’il s’exécute, donc chaque étape tire parti de l’état complet de la tâche. Une fenêtre suffisamment longue peut se substituer à la mémoire à l’intérieur d’une session.

C’est également là que la ressemblance s’arrête. Ce que le système devrait rappeler la semaine prochaine, une fois cette session terminée, doit vivre quelque part où la fenêtre ne l’est pas.

Construire ce type de mémoire amène un ensemble différent de problèmes, dont l’industrie n’a commencé à affronter que récemment. Ma formation en psychologie et en neurosciences rend la comparaison avec la mémoire humaine difficile à manquer. Nous ne récupérons pas un enregistrement parfait d’un événement. Chaque fois que nous nous souvenons de celui-ci, nous le reconstruisons, et de petites erreurs peuvent progressivement devenir partie de la version acceptée. Une mémoire de machine peut développer un problème similaire lorsque les informations stockées sont résumées, fusionnées ou réécrites à plusieurs reprises. Au fil du temps, l’enregistrement peut s’éloigner de l’événement d’origine à moins que quelqu’un ne le vérifie, ne corrige les erreurs et ne supprime les informations qui sont devenues peu fiables.

De nombreuses entreprises qui déployaient ces systèmes n’ont pas encore rencontré ces problèmes, et peu sont proches d’être résolus. Ce que je regarderais chez un fournisseur, ce n’est pas la taille de la fenêtre qu’il annonce. Un modèle qui contient 10 millions de jetons vaut peu si la plupart de ce qu’il garde est obsolète, non pertinent ou incorrect. Ses réponses peuvent sembler bien documentées tout en reposant sur des matériaux que l’entreprise n’aurait jamais dû faire confiance. Ce qui gagne de l’argent, c’est le jugement sur ce qu’il faut conserver et la capacité de raisonner avec précision sur toutes les informations, sur une fraction du coût et de l’empreinte d’infrastructure. C’est faire plus avec moins, et tous les plus grands bureaux ne disposent pas de cette véritable capacité.