Proiectul MemPalace al lui Milla Jovovich își propune să rezolve problema memoriei în inteligența artificială

Milione de oameni deschid zilnic o fereastră de chat și încep să se explică inteligenței artificiale (IA). Aceasta ascultă atent, generează instantaneu un răspuns care sună inteligent și, apoi, atunci când sesiunea se încheie, uită absolut toate detaliile despre interacțiune.

Scara acestui ritual este uluitoare. ChatGPT singură gestionează peste un miliard de întrebări pe zi, cu peste 800 de milioane de utilizatori activi săptămânal, până la sfârșitul anului 2025. Adoptarea inteligenței artificiale generative a atins peste 16% din populația lumii, un număr care nu exista semnificativ cu trei ani în urmă.

O infrastructură enormă, cu un preț ecologic din ce în ce mai mare, susține acest model: centrele de date din Statele Unite au consumat 183 de terawatt-ore de electricitate în 2024, mai mult de 4% din consumul total al țării, sau aproximativ egal cu cererea anuală de electricitate a Pakistanului.

Din cauza lipsei de memorie a sistemelor de inteligență artificială, o mare parte din această energie este cheltuită pentru a restabili contextul. Explicațiile repetitive, reintroducerile de proiecte și descărcările de context la începutul fiecărei sesiuni sunt calcule inutile.

Memoria este ceea ce transformă un instrument într-un colaborator

Asistenții inteligenți artificiali nu au, prin definiție, o memorie persistentă. Acest lucru nu ar fi o problemă dacă am folosi inteligența artificială ca pe o calculatoare: introduci un număr, obții un rezultat, treci mai departe.

Însă majoritatea oamenilor nu o folosesc în acest mod. Ei au conversații lungi, iterative, profund contextualizate cu inteligența artificială – construiesc lucruri de-a lungul săptămânilor sau lunilor, dezvoltă un limbaj comun, decizii și istoric. Cantitatea de context pe care inteligența artificială o poate păstra activ în orice moment dat poate varia în funcție de nivelul de abonament.

Până acum, inteligența artificială s-a dovedit a fi un instrument minunat, dar din primele etape de dezvoltare a încercat să fie considerată un companion. Această ambiție necesită memorie. Fără ea, progresul va continua să se reseteze.

Memoria persistentă schimbă ceea ce poate face inteligența artificială în practică. Un dezvoltator primește o inteligență artificială care păstrează deciziile arhitecturale și raționamentul din spatele lor. O echipă primește una care cunoaște istoricul proiectului fără a fi re-informată. Un scriitor primește una care a acumulat cunoștințe despre lucrarea sa de-a lungul timpului. Capacitatea modelului contează mai puțin decât dacă poate acumula într-adevăr cunoștințe despre persoana care o folosește.

De ce a fost greu de rezolvat

Provocarea nu este doar una de stocare, ci și de recuperare. În teorie, poți introduce toate conversațiile trecute într-o nouă sesiune. Dar acest lucru devine rapid absurd din punct de vedere computațional. Ferestrele de context, deși se extind, nu sunt infinite. Descărcarea unor luni de conversații nestructurate într-un prompt nu este doar ineficientă, ci și consumatoare de timp și energie.

Paras Pandey, un inginer de date, pune dificultatea în mod direct: “Memoria inteligenței artificiale este, de fapt, o problemă de fidelitate a recuperării, deghizată într-o problemă de stocare. Poți păstra orice, partea grea este să recuperezi exact fragmentul potrivit la momentul inferenței, fără a umple golurile. Acesta este un caz mai dificil al ceea ce am rezolvat în sistemele de date de-a lungul anilor, și domeniul este încă în stadii incipiente.”

Abordările actuale ale memoriei inteligenței artificiale implică lăsarea sistemelor să decidă ce este de valorificat. Însă, lăsând inteligența artificială să decidă ce contează, adesea se aruncă exact contextul nuanțat care a făcut schimbul inițial valoros. Păstrezi ideea generală, dar pierzi întreaga conversație în care ai explicat preocupările specifice și alternativele pe care le-ai considerat și respins.

Scenariul ideal ar fi să faci informația potrivită accesibilă la momentul potrivit.

Intră MemPalace

Acesta este exact problema pe care MemPalace, un proiect open-source recent lansat, își propune să o rezolve. În loc să rezume sau să arunce, acesta stochează conversațiile în întregime și construiește o structură navigabilă în jurul lor, împrumutând din tehnica antică a palatului memoriei, unde oratorii își plasau mental idei în încăperi specifice ale unei clădiri imaginate pentru a le reaminti mai târziu.

Ceea ce face MemPalace notabil nu este doar eleganța abordării. Este rezultatele. În benchmark-urile academice standard pentru recuperarea memoriei inteligenței artificiale, MemPalace a obținut cele mai bune scoruri publicate vreodată pentru un sistem gratuit și face acest lucru în timp ce rulează complet pe mașina dvs., fără abonament, fără dependență de cloud și fără API extern necesar.

Serviciile comerciale concurente taxează între 20 și 250 de dolari pe lună pentru funcționalități comparabile și, adesea, cu performanțe mai slabe.

Combinația de performanță de clasă mondială, complet locală și complet gratuită este suficient de neobișnuită pentru a merita atenție. Și, deoarece rulează pe hardware-ul dvs., în loc de servere remote, fiecare întrebare pe care o direcționați prin MemPalace este una care nu adaugă la registrele energetice înfloritoare ale industriei centrelor de date.

Imaginea de ansamblu

MemPalace este un proiect, dar indică ceva mai mare: recunoașterea faptului că memoria persistentă nu este un adaos premium la sistemele de inteligență artificială, ci o realizare fundamentală pentru noile cazuri de utilizare ale inteligenței artificiale.

Proiectul a fost construit de o echipă mică, Milla Jovovich (da, actrița din Resident Evil), Ben Sigman, și Claude, și este listat ca având doar șapte commit-uri.

Faptul că un sistem care depășește produsele comerciale cu echipe de ingineri dedicate a provenit dintr-un efort atât de mic spune ceva despre unde se află, de fapt, dificultatea reală.

Problema nu a fost computerele sau resursele. A fost o înțelegere mai clară a ceea ce memoria trebuie, de fapt, să facă.