MemPalace-ul lui Milla Jovovich își propune să rezolve problema de memorie a inteligenței artificiale

Milioane de oameni deschid zilnic o fereastră de chat și încep să se explice inteligenței artificiale (AI). Aceasta ascultă atent, generează instantaneu un răspuns care sună inteligent și apoi, când sesiunea se încheie, uită absolut toate detaliile despre interacțiune.

Scara acestui ritual este uluitoare. ChatGPT singură gestionează peste un miliard de întrebări pe zi, cu peste 800 de milioane de utilizatori activi săptămânal, până la sfârșitul anului 2025. Adoptarea inteligenței artificiale generative a atins peste 16% din populația lumii, un număr care nu exista în mod semnificativ cu trei ani în urmă.

O infrastructură enormă, cu un preț ambiental în creștere, susține acest model: centrele de date din Statele Unite au consumat 183 de terawatt-ore de electricitate în 2024, mai mult de 4% din consumul total al țării, sau aproximativ egal cu cererea anuală de electricitate a Pakistanului.

Din cauza lipsei de memorie a sistemelor de inteligență artificială, o parte semnificativă a acestei energii este cheltuită pentru a reface contextul. Explicațiile repetitive, reintroducerile de proiecte și dump-urile de context la începutul fiecărei sesiuni sunt calcule inutile.

Memoria este ceea ce transformă un instrument într-un colaborator

Asistenții inteligenței artificiale nu au memorie persistentă în mod implicit. Acest lucru nu ar fi o problemă dacă am folosi inteligența artificială ca pe o calculatoare: introduci un număr, obții un rezultat, treci mai departe.

Dar majoritatea oamenilor nu o folosesc în acest mod. Ei au conversații lungi, iterative, profund contextualizate cu inteligența artificială – construiesc lucruri de-a lungul săptămânilor sau lunilor, dezvoltă un limbaj comun, decizii și istoric. Cantitatea de context pe care inteligența artificială o poate păstra activ în minte la un moment dat poate varia în funcție de nivelul de abonament.

Până acum, inteligența artificială s-a dovedit a fi un instrument minunat, dar din fazele incipiente de dezvoltare a urmărit să fie considerată un companion. Această ambiție necesită memorie. Fără ea, progresul va continua să se reseteze.

Memoria persistentă schimbă ceea ce poate face inteligența artificială în practică. Un dezvoltator primește o inteligență artificială care păstrează deciziile arhitecturale și raționamentul din spatele lor. O echipă primește una care cunoaște istoricul proiectului fără a fi re-informată. Un scriitor primește una care a acumulat cunoștințe despre lucrarea sa de-a lungul timpului. Capabilitatea modelului contează mai puțin decât posibilitatea de a acumula cunoștințe despre persoana care o utilizează.

De ce această problemă a fost greu de rezolvat

Provocarea nu este doar una de stocare, ci și de recuperare. În teorie, puteți introduce toate conversațiile trecute într-o nouă sesiune. Dar acest lucru devine rapid absurd din punct de vedere computațional. Ferestrele de context, deși în expansiune, nu sunt infinite. Dump-ul de luni de conversații nestructurate într-un prompt nu este doar ineficient, ci și consumator de timp și energie.

Paras Pandey, un inginer de date, pune dificultatea în mod simplu: “Memoria inteligenței artificiale este de fapt o problemă de fidelitate a recuperării, deghizată într-o problemă de stocare. Puteți persista orice, partea grea este recuperarea feliei potrivite la momentul inferenței, fără a umple golurile. Acesta este un caz mai greu decât ceea ce am rezolvat în sistemele de date de-a lungul anilor, și domeniul este încă în faza incipientă.”

Abordările actuale de memorie a inteligenței artificiale implică lăsarea sistemelor să decidă ce este de remarcat. Dar lăsarea inteligenței artificiale să decidă ce contează adesea aruncă exact contextul nuanțat care a făcut schimbul inițial valoros. Păstrați ideea generală, dar pierdeți întreaga conversație în care ați explicat preocupările dvs. specifice și alternativele pe care le-ați considerat și respins.

Scenariul ideal ar fi să faceți informațiile potrivite accesibile la momentul potrivit.

Intră MemPalace

Acesta este exact problema la care MemPalace, un proiect open-source recent lansat, își propune să rezolve. În loc să rezume sau să arunce, acesta stochează conversațiile în întregime și construiește o structură navigabilă în jurul lor, împrumutând din tehnica antică a palatului memoriei, în care oratorii își plasau ideile în încăperi specifice ale unei clădiri imaginate pentru a le reaminti mai târziu.

Ceea ce face MemPalace remarcabil nu este doar eleganța abordării. Este rezultatul. În benchmark-urile academice standard pentru recuperarea memoriei inteligenței artificiale, MemPalace a obținut cele mai bune scoruri publicate vreodată pentru un sistem gratuit și face acest lucru în timp ce rulează în întregime pe mașina dvs., fără abonament, fără dependență de cloud și fără API extern necesar.

Serviciile comerciale concurente taxează între 20 și 250 de dolari pe lună pentru funcționalități comparabile și adesea mai slab performante.

Combinația de performanță de clasă mondială, complet locală și complet gratuită este suficient de neobișnuită pentru a merita atenție. Și pentru că rulează pe hardware-ul dvs., și nu pe servere remote, fiecare întrebare pe care o rutați prin MemPalace este una care nu adaugă la registrele energetice în creștere ale industriei centrelor de date.

Imaginea de ansamblu

MemPalace este un proiect, dar indică ceva mai mare: recunoașterea că memoria persistentă nu este un adaos premium la sistemele de inteligență artificială, ci o realizare fundamentală pentru noile cazuri de utilizare ale inteligenței artificiale.

Proiectul a fost construit de o echipă mică, Milla Jovovich (da, actrița din Resident Evil), Ben Sigman și Claude și este listat ca având doar șapte commit-uri.

Faptul că un sistem care depășește produsele comerciale cu echipe de ingineri dedicate a provenit dintr-un efort atât de mic spune ceva despre unde se află cu adevărat dificultatea.

Problema nu a fost reprezentată de computere sau resurse. A fost o imagine mai clară a ceea ce memoria trebuie să facă în realitate.