Il MemPalace di Milla Jovovich si propone di risolvere il problema della memoria dell’IA

Milioni di persone aprono ogni giorno una finestra di chat e iniziano a spiegarsi all’intelligenza artificiale (IA). Questa ascolta attentamente, genera immediatamente una risposta che sembra intelligente e poi, quando la sessione termina, dimentica ogni dettaglio dell’interazione.

La portata di questo rituale è sbalorditiva. ChatGPT solo gestisce oltre un miliardo di query al giorno, con oltre 800 milioni di utenti attivi settimanali alla fine del 2025. L’adozione di IA generativa ha raggiunto oltre il 16% della popolazione mondiale, un numero che non esisteva significativamente tre anni fa.

Un’enorme infrastruttura con un prezzo ambientale crescente sostiene questo modello: i data center statunitensi hanno consumato 183 terawatt-ore di elettricità nel 2024, più del 4% del consumo totale del paese, o circa pari alla domanda di elettricità annuale del Pakistan.

A causa della mancanza di memoria dei sistemi di IA, una grande percentuale di quell’energia viene spesa per ristabilire il contesto. Spiegazioni ripetute, reintroduzioni di progetti e scarichi di contesto all’inizio di ogni sessione sono calcoli sprecati.

La memoria è ciò che trasforma uno strumento in un collaboratore

Gli assistenti di IA non hanno una memoria persistente di default. Ciò non avrebbe importanza se utilizzassimo l’IA come una calcolatrice: inserisci un numero, ottieni un risultato, vai avanti.

Ma la maggior parte delle persone non la utilizza più in questo modo. Hanno lunghe conversazioni iterative e profondamente contestualizzate con l’IA, costruiscono cose nel corso di settimane o mesi, sviluppano un linguaggio condiviso, decisioni e storia. La quantità di contesto che l’IA può tenere presente in ogni momento può variare a seconda del livello di abbonamento.

Finora, l’IA si è rivelata uno strumento meraviglioso, ma sin dalle prime fasi di sviluppo ha mirato a essere considerata un compagno. Quell’ambizione richiede memoria. Senza di essa, il progresso continuerà a resettarsi.

La memoria persistente cambia ciò che l’IA può fare nella pratica. Uno sviluppatore ottiene un’IA che mantiene le decisioni architettoniche e il ragionamento alla loro base. Un team ottiene un’IA che conosce la storia del progetto senza dover essere ri-brevettata. Uno scrittore ottiene un’IA che ha accumulato conoscenze sul suo lavoro nel tempo. La capacità del modello è meno importante del fatto che possa effettivamente accumulare conoscenze sulla persona che lo utilizza.

Perché questo è stato difficile da risolvere

La sfida non è solo lo stoccaggio, ma il recupero. In teoria, puoi alimentare ogni conversazione passata in una nuova sessione. Ma questo diventa rapidamente assurdo dal punto di vista computazionale. Le finestre di contesto, sebbene in espansione, non sono infinite. Scaricare mesi di chat non strutturati in un prompt non è solo inefficace, ma anche dispendioso in termini di tempo e energia.

Paras Pandey, un ingegnere dei dati, pone la difficoltà fondamentale in modo chiaro: “La memoria dell’IA è in realtà un problema di fedeltà di recupero mascherato da un problema di stoccaggio. Puoi persistere qualsiasi cosa, la parte difficile è recuperare il pezzo giusto di esso al momento dell’inferenza senza immaginare i gap. È una versione più difficile di ciò che abbiamo risolto nei sistemi di dati per anni e il settore è ancora ai primi passi.”

Le attuali approcci alla memoria dell’IA coinvolgono il fatto che i sistemi decidono cosa vale la pena ricordare. Ma lasciare che l’IA decida cosa è importante spesso getta via esattamente il tipo di contesto sfumato che ha reso l’exchange originale prezioso. Mantieni l’idea generale, ma perdi l’intera conversazione in cui hai spiegato le tue preoccupazioni specifiche e le alternative che hai considerato e rifiutato.

Lo scenario ideale sarebbe quello di rendere le informazioni giuste reperibili al momento giusto.

Entra MemPalace

Questo è esattamente il problema che MemPalace, un progetto open-source di recente pubblicazione, si propone di risolvere. Invece di riassumere o scartare, memorizza le conversazioni nella loro interezza e costruisce una struttura navigabile intorno ad esse, prendendo in prestito dalla tecnica antica greca del palazzo della memoria, dove gli oratori collocavano mentalmente le idee in stanze specifiche di un edificio immaginato per ricordarle in seguito.

Ciò che rende MemPalace degno di nota non è solo l’eleganza dell’approccio. Sono i risultati. Negli standard accademici per il recupero della memoria dell’IA, MemPalace ha pubblicato i punteggi più alti mai pubblicati per un sistema gratuito e lo fa mentre funziona interamente sulla tua macchina, senza abbonamento, senza dipendenza dal cloud e senza API esterna richiesta.

I servizi commerciali in concorrenza addebitano da 20 a 250 dollari al mese per funzionalità comparabili e spesso con prestazioni peggiori.

Questa combinazione di prestazioni di classe mondiale, completamente locali e completamente gratuite è abbastanza insolita da meritare attenzione. E poiché funziona sul tuo hardware invece che su server remoti, ogni query che instradi attraverso MemPalace è una query che non aggiunge al registro energetico gonfiato dell’industria dei data center.

Il quadro più ampio

MemPalace è un progetto, ma punta a qualcosa di più grande: il riconoscimento che la memoria persistente non è un’aggiunta premium ai sistemi di IA, ma una caratteristica fondamentale per i nuovi casi d’uso dell’IA.

Il progetto è stato costruito da un piccolo team, Milla Jovovich (sì, l’attrice di Resident Evil), Ben Sigman, e Claude, e è elencato come avente solo sette commit.

Il fatto che un sistema che supera i prodotti commerciali con team di ingegneria dedicati sia emerso da uno sforzo così magro dice qualcosa su dove si trova la vera difficoltà.

Il problema non erano i computer o le risorse. Era un modello più chiaro di ciò che la memoria deve effettivamente fare.