Ograničenje memorije ChatGPT-a je frustrirajuće - mozak pokazuje bolji način

Ako ste napredni korisnik ChatGPT-a, možda ste nedavno naišli na strašni zaslon „Memorija je puna“. Ova se poruka pojavljuje kada dosegnete ograničenje spremljenih memorija ChatGPT-a i može biti značajna prepreka tijekom dugoročnih projekata. Memorija bi trebala biti ključna značajka za složene, tekuće zadatke – želite da vaša umjetna inteligencija prenese znanje iz prethodnih sesija u buduće rezultate. Vidjeti upozorenje o punoj memoriji usred vremenski osjetljivog projekta (na primjer, dok sam rješavao probleme s trajnim pogreškama HTTP 502 poslužitelja na jednoj od naših sestrinskih web stranica) može biti izuzetno frustrirajuće i ometajuće.

Frustracija zbog ograničenja memorije ChatGPT-a

Ključni problem nije u postojanju ograničenja memorije – čak i korisnici ChatGPT Plusa koji plaćaju mogu razumjeti da mogu postojati praktična ograničenja količine pohranjene memorije. Pravi problem je kako Morate upravljati starim uspomenama nakon što se dosegne ograničenje. Trenutno sučelje za upravljanje memorijom je zamorno i oduzima puno vremena. Kada vas ChatGPT obavijesti da je vaša memorija 100% puna, imate dvije mogućnosti: mukotrpno brisati uspomene jednu po jednu ili ih sve odjednom obrisati. Ne postoji alat za među-brisanje ili skupni odabir za učinkovito uklanjanje pohranjenih informacija.

Brisanje jednog sjećanja odjednom, posebno ako to morate raditi svakih nekoliko dana, čini se kao obaveza koja nije pogodna za dugoročnu upotrebu. Uostalom, većina spremljenih sjećanja čuva se s razlogom - sadrže vrijedan kontekst koji ste dali ChatGPT-u o svojim potrebama ili svom poslovanju. Naravno, radije biste izbrisali minimalan broj stavki potrebnih za oslobađanje prostora, kako ne biste onemogućili umjetnoj inteligenciji da razumije vašu povijest. Ipak, dizajn upravljanja memorijom prisiljava pristup "sve ili ništa" ili sporo ručno upravljanje. Osobno sam primijetio da svako izbrisano sjećanje oslobađa samo otprilike 1% memorijskog prostora, što sugerira da sustav dopušta samo oko Ukupno 100 sjećanja prije nego što se napuni (100% iskorištenosti). Ovo čvrsto ograničenje djeluje proizvoljno s obzirom na opseg modernih AI sustava i potkopava obećanje da će ChatGPT postati stručni asistent koji raste s vama tijekom vremena.

Što bi se trebalo događati

S obzirom na to da ChatGPT i infrastruktura koja stoji iza njega imaju pristup gotovo neograničenim računalnim resursima, iznenađujuće je da je rješenje za dugoročno pamćenje tako rudimentarno. Idealno, Dugoročna AI sjećanja trebala bi bolje replicirati način na koji ljudski mozak funkcionira i obrađuje informacije tijekom vremena. Ljudski mozgovi razvili su učinkovite strategije za upravljanje sjećanjima – ne bilježimo jednostavno svaki događaj riječ po riječ i pohranjujemo ga neograničeno. Umjesto toga, mozak je dizajniran za učinkovitost: detaljne informacije pohranjujemo kratkoročno, a zatim postupno učvrstiti i oblog te detalje u dugoročno pamćenje.

U neuroznanosti, konsolidacija memorije odnosi se na proces kojim se nestabilna kratkoročna sjećanja transformiraju u stabilna, dugotrajna. Prema standardnom modelu konsolidacije, nova iskustva se u početku kodiraju od strane morski konj, područje mozga ključno za formiranje epizodnih sjećanja, a s vremenom se znanje „istrenirano“ u korteks za trajnu pohranu. Ovaj se proces ne događa trenutno – zahtijeva protok vremena i često se događa tijekom razdoblja odmora ili sna. Hipokampus u biti djeluje kao međuspremnik za brzo učenje, dok korteks postupno integrira informacije u trajniji oblik putem raširenih neuronskih mreža. Drugim riječima, „kratkoročno pamćenje“ mozga (radno pamćenje i nedavna iskustva) sustavno se prenosi i reorganizira u distribuirano dugoročno pamćenje. Ovaj višestepeni prijenos čini pamćenje otpornijim na smetnje ili zaboravljanje, slično stabilizaciji snimke kako se ne bi lako prebrisala.

Ključno je da ljudski mozak ne rasipa resurse doslovnim pohranjivanjem svakog detalja. Umjesto toga, sklon je filtriranju trivijalnih detalja i zadržavanju onoga što je najznačajnije iz naših iskustava. Psiholozi su odavno primijetili da kada se prisjećamo prošlog događaja ili naučenih informacija, obično zapamtite bit toga a ne savršen, doslovni prikaz. Na primjer, nakon čitanja knjige ili gledanja filma, sjetit ćete se glavnih točaka radnje i tema, ali ne svake rečenice dijaloga. S vremenom, točan rječnik i sitni detalji iskustva blijede, ostavljajući za sobom apstraktniji sažetak onoga što se dogodilo. Zapravo, istraživanja pokazuju da naše doslovno pamćenje (precizni detalji) blijedi brže od našeg pamćenja suštine (općeg značenja) kako vrijeme prolazi. Ovo je učinkovit način pohranjivanja znanja: odbacivanjem nebitnih specifičnosti, mozak „komprimira“ informacije, zadržavajući bitne dijelove koji će vjerojatno biti korisni u budućnosti.

Ova neuralna kompresija može se usporediti s načinom na koji računala komprimiraju datoteke, a znanstvenici su doista primijetili analogne procese u mozgu. Kada mentalno ponovno proživimo sjećanje ili zamislimo budući scenarij, neuronska reprezentacija se učinkovito ubrzava i lišava nekih detalja - to je komprimirana verzija stvarnog iskustva. Neuroznanstvenici na Sveučilištu Teksasa u Austinu otkrio je mehanizam moždanih valova koji nam omogućuje da se prisjetimo cijelog niza događaja (recimo, popodneva provedenog u trgovini) u samo nekoliko sekundi koristeći brži moždani ritam koji kodira manje detaljne informacije visoke razine. U biti, naš mozak može ubrzati sjećanja, zadržavajući obris i kritične točke, a izostavljajući bogate detalje, koji bi bili nepotrebni ili preglomazni za potpuno ponovno prikazivanje. Posljedica je da se zamišljeni planovi i zapamćena iskustva pohranjuju u sažetom obliku - još uvijek korisnom i razumljivom, ali puno prostorno i vremenski učinkovitijem od izvornog iskustva.

Drugi važan aspekt upravljanja ljudskim pamćenjem je prioritetaNe sve što uđe u kratkoročno pamćenje ostaje ovjekovječeno u dugoročnom pohranjivanju. Naš mozak podsvjesno odlučuje što vrijedi pamtiti, a što ne, na temelju značaja ili emocionalne istaknutosti. nedavna studija na Sveučilištu Rockefeller demonstrirali su ovaj princip koristeći miševe: miševi su bili izloženi nekoliko ishoda u labirintu (neki vrlo nagrađujući, neki blago nagrađujući, neki negativni). U početku su miševi naučili sve asocijacije, ali kada su testirani mjesec dana kasnije, samo su najistaknutiji Pamćenje s visokom nagradom je zadržano, dok su manje važni detalji nestali.

Drugim riječima, mozak je filtrirao buku i zadržao sjećanje koje je bilo najvažnije za ciljeve životinje. Istraživači su čak identificirali područje mozga, prednji talamus, koji djeluje kao svojevrsni moderator između hipokampusa i korteksa tijekom konsolidacije, signalizirajući koja su sjećanja dovoljno važna za dugoročno "sačuvanje". Čini se da talamus šalje kontinuirano pojačanje za vrijedna sjećanja - u biti govoreći korteksu "zadrži ovo" dok se sjećanje u potpunosti ne kodira - dok istovremeno dopušta manje važnim sjećanjima da izblijede. Ovo otkriće naglašava da Zaboravljanje nije samo nedostatak pamćenja, već aktivna značajka sustavaOtpuštanjem trivijalnih ili suvišnih informacija, mozak sprječava zatrpavanje memorije i osigurava lak pristup najkorisnijem znanju.

Preispitivanje pamćenja umjetne inteligencije s ljudskim principima

Način na koji ljudski mozak obrađuje memoriju nudi jasan nacrt za to kako bi ChatGPT i slični AI sustavi trebali upravljati dugoročnim informacijama. Umjesto da se svako spremljeno sjećanje tretira kao izolirana podatkovna točka koja se mora ili zauvijek čuvati ili ručno izbrisati, AI bi mogao konsolidirati i sažeti starija sjećanja u pozadini. Na primjer, ako imate deset povezanih razgovora ili pohranjenih činjenica o svom tekućem projektu, umjetna inteligencija bi ih mogla automatski spojiti u sažet sažetak ili skup ključnih zaključaka – učinkovito komprimirajući pamćenje uz očuvanje njegove biti, slično kao što mozak sažima detalje u bit. To bi oslobodilo prostor za nove informacije bez stvarnog „zaboravljanja“ onoga što je bilo važno u vezi sa starim interakcijama. Doista, OpenAI-jeva dokumentacija savjeti da ChatGPT-ovi modeli već mogu automatski ažurirati i kombinirati spremljene podatke, ali trenutno korisničko iskustvo sugerira da to još nije besprijekorno ili dovoljno.

Još jedno poboljšanje inspirirano ljudskim djelovanjem bilo bi prioritiziranje zadržavanja pamćenja. Umjesto krutog ograničenja od 100 stavki, umjetna inteligencija mogla bi procijeniti koja su sjećanja najčešće bila relevantna ili najkritičnija za potrebe korisnika i odbaciti (ili smanjiti uzorkovanje) samo ona koja se čine najmanje važnima. U praksi bi to moglo značiti da ChatGPT identificira određene činjenice (npr. temeljni ciljevi vaše tvrtke, specifikacije tekućih projekata, osobne preferencije) kao vrlo važne i treba ih uvijek čuvati, dok bi se jednokratni zanimljivi podaci od prije nekoliko mjeseci mogli arhivirati ili prvo odbaciti. Ovaj dinamičan pristup paralelan je načinu na koji mozak kontinuirano uklanja nekorištene veze i pojačava često korištene kako bi optimizirao kognitivnu učinkovitost.

Zaključak je da bi sustav dugoročnog pamćenja za umjetnu inteligenciju trebao evoluirati, a ne samo da se napuni i zaustavi. Ljudsko pamćenje je izvanredno prilagodljivo – s vremenom se transformira i reorganizira te ne očekuje da vanjski korisnik mikroupravlja svakim memorijskim utorom. Kad bi ChatGPT-ova memorija radila više poput naše, korisnici se ne bi suočili s naglim zidom na 100 unosa, niti s bolnim izborom između brisanja svega ili klikanja kroz stotinu stavki jednu po jednu. Umjesto toga, starija sjećanja na chat postupno bi se pretvorila u destiliranu bazu znanja na koju se umjetna inteligencija može oslanjati, a nestali bi samo doista zastarjeli ili nebitni dijelovi. Zajednica umjetne inteligencije, koja je ovdje ciljana publika, može cijeniti da implementacija takvog sustava može uključivati ​​tehnike poput sažimanja konteksta, vektorske baze podataka za pronalaženje znanja, ili hijerarhijski memorijski slojevi u neuronskim mrežama – sva aktivna područja istraživanja. Zapravo, davanje umjetnoj inteligenciji oblika „epizodične memorije“ koja se s vremenom komprimira poznati je izazov, a njegovo rješavanje bio bi skok prema umjetnoj inteligenciji koja kontinuirano uči i održivo skalira svoju bazu znanja.

Zaključak

Trenutno ograničenje memorije ChatGPT-a djeluje kao privremeno rješenje koje ne iskorištava punu snagu umjetne inteligencije. Promatrajući ljudsku spoznaju, vidimo da učinkovito dugoročno pamćenje nije pohranjivanje neograničenih sirovih podataka - već inteligentna kompresija, konsolidacija i zaboravljanje pravih stvari. Sposobnost ljudskog mozga da zadrži ono što je važno dok istovremeno štedi na pohrani upravo je ono što čini naše dugoročno pamćenje tako ogromnim i korisnim. Da bi umjetna inteligencija postala pravi dugoročni partner, trebala bi usvojiti sličnu strategiju: automatski destilirati prošle interakcije u trajne uvide, umjesto da taj teret prebaci na korisnika. Frustraciju zbog udaranja u zid "pune memorije" mogao bi zamijeniti sustav koji graciozno raste s korištenjem, učenjem i pamćenjem na fleksibilan, ljudski način. Usvajanje ovih principa ne samo da bi riješilo problem UX-a, već bi i otključalo snažnije i personaliziranije AI iskustvo za cijelu zajednicu korisnika i programera koji se oslanjaju na ove alate.