Aktiivinen ja pysyvä muisti tekoälyssä: miten tekoäly muistaa, hakee tietoa ja unohtaa

Aktiivinen muisti tarkoittaa tietoa, joka tekoälyjärjestelmällä on käytettävissään sen käsitellessä parhaillaan tiettyä tehtävää. Pysyvä muisti tarkoittaa tietoa, jonka ympäröivä sovellus säilyttää myöhempää käyttöä varten. Näiden välinen suhde ratkaisee, pystyykö avustaja jatkamaan projektia, ottamaan mieltymyksen huomioon, korjaamaan vanhentuneen oletuksen tai lakkaamaan tuomasta uudelleen esiin jotakin, joka sen olisi pitänyt unohtaa.

Kuvitellaan, että avustaja auttaa sinua tutkimusraportin valmistelussa. Saman keskustelun aikana se voi hyödyntää luonnosta, viimeisimpiä muokkauksiasi ja juuri toimittamiasi lähteitä. Jos avaat erillisen keskustelun viikon kuluttua, jatkuvuus riippuu eri mekanismista: siitä, tallensiko sovellus olennaiset tiedot, pystyykö se löytämään ne ja toimittamaan ne uudelleen mallille.

Siksi tekoäly voi näyttää muistavan yhden yksityiskohdan mutta unohtavan toisen samasta keskustelusta. Muistaminen on toimintaketju. Virhe voi tapahtua tiedon tallentamisessa, säilyttämisessä, etsimisessä, valinnassa, tulkinnassa tai päivittämisessä.

Tässä oppaassa tarkastelemme tätä ketjua yksityiskohtaisesti. Episodisen, semanttisen ja proseduraalisen muistin laajempaa luokittelua käsittelemme johdannossamme aiheeseen tekoälyagenttien muistityypit. Tässä keskitymme siihen, mikä on aktiivista juuri nyt ja mikä voi säilyä nykyisen tehtävän päätyttyä.

Mitä aktiivinen ja pysyvä muisti oikeastaan tarkoittavat?

Nämä käsitteet kuvaavat hyödyllisiä arkkitehtuurisia eroja, mutta ne eivät muodosta yleisesti standardoitua käsiteparia. Tuotteiden käyttöliittymissä ja tutkimusartikkeleissa termejä ”työmuisti”, ”lyhytkestoinen muisti”, ”konteksti”, ”tila” ja ”pitkäkestoinen muisti” käytetään osittain päällekkäin. Siksi täsmällinen selitys edellyttää käsitteiden määrittelyä.

Tässä artikkelissa aktiivisella kontekstilla tarkoitetaan tietoa, joka annetaan mallille sen nykyistä vastausta varten: ohjeita, viestejä, valittujen työkalujen tulosteita, haettua aineistoa ja muita syötteitä, joita malli pystyy käsittelemään. Aktiivinen tehtävätila on laajempi käsite. Siihen voi sisältyä suunnitelma, tarkistuslista tai muuttujia, joita sovellus ylläpitää mutta joita ei ole vielä lisätty mallin kontekstiin. Käytämme aktiivista muistia kattoterminä tälle nykyiselle työskentelykokonaisuudelle ja erotamme nämä kaksi toisistaan aina, kun sillä on merkitystä.

Pysyvä muisti tarkoittaa säilytettyä tietoa, joka pysyy tallessa vastauksen tai istunnon päättymisen jälkeen ja on edelleen käytettävissä myöhempää käyttöä varten. Se voi olla tallennettu mieltymys, projektia koskeva muistiinpano, tapahtumatietue, tietokannan rakenteinen kenttä tai tarkistuspiste, jonka avulla keskeneräistä tehtävää voidaan jatkaa. Pysyvyys kuvaa tiedon säilymistä, mutta ei takaa, että tieto jaetaan jokaisessa keskustelussa.

Tästä seuraa kaksi erillistä kysymystä: Onko tieto edelleen olemassa? ja Saako malli sen käyttöönsä silloin, kun sitä tarvitsee? Tallennettu keskusteluhistoria voi vastata ensimmäiseen kysymykseen ratkaisematta toista.

Tärkeä poikkeus: lyhytkestoinen tila voidaan tallentaa

”Lyhytkestoinen” ei aina tarkoita sitä, että tieto tallennetaan vain haihtuvaan RAM-muistiin. Keskustelun työskentelytila voidaan tallentaa tarkistuspisteenä tietokantaan ja palauttaa keskeytyksen jälkeen. Esimerkiksi LangChainin muistia koskevissa dokumenteissa erotetaan ketjuun rajattu tila, joka säilytetään tarkistuspisteiden avulla, erillisiin nimiavaruuksiin järjestetystä pitkäkestoisesta muistista.

Kuvitellaan tukipalvelun asiakaspalvelija, joka keskeyttää työnsä odottaessaan asiakkaan kuittia. Tallennettu tarkistuspiste kuuluu kyseiseen tukitapaukseen. Tarkistuspiste säilyy, mutta siitä ei pidä automaattisesti tulla yleistä asiakasta koskevaa tietoa eikä sitä pidä tuoda esiin asiaan liittymättömissä pyynnöissä.

Hyödyllinen tapa arvioida mitä tahansa muistitoimintoa on tarkastella kolmea ulottuvuutta: sen käyttöikää, sen laajuutta ja sen saatavuutta nykyiselle mallikutsulle. Esimerkiksi nimitys ”pitkäkestoinen” ei vastaa täysin yhteenkään näistä kysymyksistä.

Aktiivinen ja pysyvä muisti lyhyesti

Sama tieto voi esiintyä molemmissa sarakkeissa. Tallennettu projektikohtainen mieltymys on pysyvä, kun taas tämän päivän kehotteeseen lisätty kopio on aktiivinen. Kopion poistaminen kehotteesta ei välttämättä poista tallennettua alkuperäistä tietoa.

Mitä yhden tekoälyn vastauksen aikana tapahtuu?

Tyypillisessä kielimallisovelluksessa taustalla toimiva ohjelmisto kokoaa syötteen, malli tuottaa vastauksen ja ohjelmisto päättää, mitä seuraavaksi tapahtuu. Syöte voi sisältää näkyvän keskustelun, mutta siihen voi sisältyä myös järjestelmäohjeita, työkalujen kuvauksia, haettuja muistiinpanoja ja tietoja, joita käyttäjä ei näe keskustelussa.

Tämä koottu konteksti on mallin välitön tietopohja. Jos aiempaa viestiä ei enää sisällytetä siihen, malli ei voi luotettavasti palauttaa viestin tarkkaa sisältöä vain siksi, että sovellus on joskus näyttänyt sen. Malli voi päätellä ympäröivien vihjeiden perusteella uskottavan vastauksen, mutta päättely ei ole sama asia kuin muistaminen.

Työkalu laajentaa sitä, mihin järjestelmä pääsee käsiksi. Malli voi pyytää projektitiedoston, saada sen sisällön ja hyödyntää sitä seuraavassa vastauksessaan. Tiedosto oli sovelluksen käytettävissä jo ennen kuin siitä tuli aktiivista tietopohjaa. Tämä ero selittää, miksi agentti voi päästä käsiksi laajaan arkistoon lukematta koko arkistoa jokaisella vuorolla.

Transformer-mallien toteutukset ylläpitävät sisäisesti myös laskennallista tilaa, kuten välimuisteja, joiden avulla vältetään saman työn toistaminen. Nämä mekanismit tehostavat päättelyä, mutta niitä ei pidä sekoittaa muokattavaan, käyttöoikeudet huomioivaan tietueeseen käyttäjän mieltymyksistä tai projektin historiasta. Nopeampi vastaus ei osoita, että henkilökohtainen muisti olisi luotu.

Miksi suurempi konteksti-ikkuna ei ratkaise muistiongelmaa?

Suurempi konteksti-ikkuna antaa sovellukselle mahdollisuuden tarjota kerralla enemmän aineistoa. Tästä voi olla hyötyä, kun vastaus riippuu pitkässä asiakirjassa tai useissa toisiinsa liittyvissä lähteissä olevista yhteyksistä. Se ei kuitenkaan ratkaise, mitkä tiedot kannattaa säilyttää, mikä versio on auktoritatiivinen tai saako käyttäjä käyttää tietoja.

Tietojen mahtuminen konteksti-ikkunaan ei myöskään takaa, että malli käyttää niitä oikein. Keskelle katoamisen tutkimuksessa havaittiin, että testattujen mallien suorituskyky saattoi vaihdella sen mukaan, missä kohtaa pitkiä syötteitä olennainen tieto esiintyi. Tulos varoittaa arvioimaan kontekstin tosiasiallista hyödyntämistä sen sijaan, että mainostettua kapasiteettia pidettäisiin muistamisen takeena; se ei ole kiinteä suorituskykyennuste kaikille uudemmille malleille.

Oletetaan, että projektiarkistossa on neljäkymmentä keskustelua julkaisupäivästä. Niistä kolmessakymmenessäyhdeksässä mainitaan alkuperäinen päivämäärä, ja viimeisin hyväksytty muutos siirtää sitä. Kaikkien neljänkymmenen keskustelun tarjoaminen aiheuttaa ongelman sekä lukemisen että tiedon auktoritatiivisuuden kannalta. Huolellisesti ylläpidetty, ajantasaisen tilanteen kuvaava tietue, johon hyväksytty muutos on linkitetty, helpottaa olennaisen vastauksen selvittämistä.

Pitkä konteksti ja valikoiva tiedonhaku voivat siis täydentää toisiaan. Tiedonhaku löytää hyödyllisen aineiston, ja riittävän suuri konteksti antaa mallille mahdollisuuden tarkastella aineistoa kokonaisuutena. Sopiva ratkaisu riippuu tehtävästä, lähdeaineiston laajuudesta ja siitä, mitä seurauksia jonkin rajoituksen huomaamatta jäämisellä on.

Miten tiedosta tulee pysyvää muistia?

Pysyvän muistin muodostaminen alkaa tallennuspäätöksestä. Sovellus voi tallentaa käyttäjän nimenomaisen ohjeen, päätellä keskustelusta mahdollisen tiedon, säilyttää tapahtumatiedon tai laatia yhteenvedon. Kukin tapa tuottaa erilaista tietopohjaa.

”Käytä Project Cedarissa metrijärjestelmän yksiköitä” on nimenomainen projektikohtainen mieltymys. ”Käyttäjä näyttää suosivan metrijärjestelmän yksiköitä” on päätelmä. ”Kolmessa viimeisimmässä Cedar-raportissa käytettiin metrijärjestelmän yksiköitä” on havainto. Hyödyllinen tietue säilyttää nämä erot sen sijaan, että ne yhdistettäisiin ehdottomaksi väitteeksi, joka koskee jokaista tulevaa tehtävää.

Mitä hyödyllinen tietue sisältää?

Kuvitteellisen projektiavustajan muistimerkintä voisi sisältää väitteen, projektitunnisteen, käyttäjän tai organisaation, johon se liittyy, lähteenä olevan vuorovaikutuksen, aikaleiman, voimassaolotiedon ja mahdollisen poikkeuksen. Näiden kenttien avulla voidaan selvittää, mistä tieto on peräisin ja onko se yhä voimassa.

{
  "scope": "project:cedar",
  "statement": "Use metric units in project reports",
  "source_type": "explicit_user_instruction",
  "source_ref": "conversation_17/message_8",
  "status": "current",
  "exception": "Client edition may require dual units"
}

Tämä on havainnollistava tietomalli, ei yleispätevä standardi. Sen tarkoituksena on osoittaa, miksi muistiin kannattaa tallentaa muutakin kuin pelkkä lause. Lähdeviite helpottaa tietojen varmentamista, soveltamisala ehkäisee yleistämistä liian pitkälle ja tilakenttä mahdollistaa korjaamisen.

Välitön tallennus ja taustakäsittely

Välitön tallennus voi tuoda nimenomaisen korjauksen saataville jo seuraavaa pyyntöä varten. Taustakäsittelyssä voidaan tarkastella päättynyttä vuorovaikutusta, yhdistää päällekkäisiä tietoja tai laatia harkitumpi yhteenveto. LangChainin dokumentaatiossa kuvataan molemmat lähestymistavat ja niiden kompromissit, mukaan lukien välittömään vastauspolkuun lisätyöstä aiheutuva kuormitus.

Käytännöllisessä ratkaisussa vahvistettu asetus voitaisiin tallentaa heti ja pitkä tutkimusistunto käsitellä myöhemmin. Järjestelmän on silti hallittava näiden vaiheiden välinen aika. Jos järjestelmä ilmoittaa käyttäjälle tallentaneensa asetuksen ennen kuin tallennus on onnistunut, jatkuvuuden katkeaminen voi tulla ilmi seuraavassa keskustelussa.

Muistin tallennuksille tarvitaan myös toimintatapa virhetilanteita varten. Jos tallennustila ei ole tilapäisesti käytettävissä, sovellus voi ilmoittaa, ettei tallennus valmistunut, tai pitää toiminnon odottavana ja merkitä sen selvästi. Tallennusyrityksen käsitteleminen onnistuneena muistimerkintänä johtaa harhaan käyttäjää.

Miten pysyvä muisti palautetaan aktiiviseen kontekstiin

Tietojen haku edellyttää päätöksiä niiden käyttökelpoisuudesta, merkityksellisyydestä ja näytöstä. Järjestelmän on ensin tunnistettava käyttäjä, tenantti, projekti tai tehtävä, jonka tietueita se voi tarkastella. Sen jälkeen se etsii sopivia tietueita ja valitsee, mitkä niistä sisällytetään vastauksen kontekstiin.

Hakumenetelmän tulee sopia kysymykseen. Kysymykseen ”Mikä on Cedarin hyväksytty määräaika?” voi olla parasta vastata hakemalla täsmällinen projektikenttä. Kysymykseen ”Olemmeko nähneet tämän käyttöönottovirheen aiemmin?” voidaan puolestaan vastata hyödyntämällä avainsanahakua ja aiempien tapausten semanttista samankaltaisuutta. Vektoritietokanta on yksi vaihtoehto tässä prosessissa, ei kaikkien muistiratkaisujen vaatimus.

Semanttisesta hausta on erityisesti hyötyä, kun sanamuoto muuttuu. Haku ”pidä raportit tiiviinä” voi osua tallennettuun asetukseen ”lyhyet johdon yhteenvedot”. Samankaltainen lausuma saattaa kuitenkin koskea eri asiakasta tai hylättyä projektiversiota. Samankaltaisuus auttaa löytämään mahdollisia osumia, mutta se ei osoita tietoa oikeaksi eikä anna lupaa sen käyttöön.

Haussa tarvitaan myös ”ei löydy” -tulos

Pohdi kysymystä: ”Minkä kulutusrajan hyväksyin viime kuussa?” Jos hyväksyttyä summaa ei löydy, hyödyllinen vastaus kertoo, mitä näyttöä puuttuu, ja pyytää täsmennystä. Uskottavalta kuulostavan luvun keksiminen muuttaa muistissa olevan tiedon puuttumisen tekaistuksi valtuutukseksi.

Muistirajapinnan pitäisi siksi erottaa toisistaan vahvistettu osuma, epävarma osuma, ristiriita ja tilanne, jossa asiaa tukevaa tietoa ei löydy. Nämä tilanteet voivat johtaa erilaiseen toimintaan: vastataan suoraan, ilmaistaan vastauksen epävarmuus, pyydetään täsmennystä tai kieltäydytään toimimasta oletuksen varassa ilman sitä tukevaa näyttöä.

Tiedon tulkinnalla on merkitystä myös sen hakemisen jälkeen. Tietueesta, jossa lukee ”ehdotettu enimmäisbudjetti: 5 000 $; hyväksyntä odottaa”, ei saa tulla ”hyväksytty budjetti: 5 000 $”. Varausten säilyttäminen tallennetussa esitysmuodossa ja mukaan toimitetussa kontekstissa on yhtä tärkeää kuin oikean asiakirjan löytäminen.

Käytännön esimerkki: projektin muistaminen ajan kuluessa

Kuvitellaan, että avustaja auttaa tiimiä laatimaan Cedar-tutkimusraporttia. Seuraava esimerkki on hypoteettinen, mutta tuo esiin useita yleisiä muistin suunnitteluun liittyviä valintoja.

Ensimmäinen istunto: projektin määrittely

Käyttäjä pyytää raporttia, määrittää mittayksiköiksi metriset yksiköt, toimittaa kolme lähdettä ja kertoo, että luonnoksen määräaika on perjantaina. Aktiivinen konteksti sisältää nämä ohjeet ja lähdeotteet. Aktiivisen tehtävän tila kertoo, mitkä osiot on jo tehty ja mitkä väitteet on vielä tarkistettava.

Mahdollisilla pysyvillä muistitiedoilla on erilaisia tarkoituksia. Metrisiä yksiköitä koskeva valinta liittyy projektiin. Luonnoksen määräaika liittyy meneillään olevaan välitavoitteeseen. Toimitetut lähteet kuuluvat projektin lähdearkistoon. Varmistamattomat väitteet kuuluvat jatkotutkimusta odottavien asioiden luetteloon, jossa niiden epävarmuus säilytetään.

Toinen istunto: työn jatkaminen oikeiden lähteiden pohjalta

Kolme päivää myöhemmin käyttäjä pyytää viimeistelemään menetelmäosion. Avustaja tarvitsee uusimman rungon, asiaankuuluvat lähteet, tehtävän nykyisen tilan ja sovellettavan muotoilusäännön. Sen ei välttämättä tarvitse käydä läpi kaikkia aiemman ideointikierroksen hylättyjä lauseita.

Jos välitietojen mukaan kirjallisuuskatsaus on valmis, avustajan pitäisi silti avata tallennettu tiedosto ennen kuin se tekee muutoksia sen pohjalta. ”Valmis” on edistymistä koskeva väite; varsinainen asiakirja osoittaa, mitä on tehty. Tiedostoihin johtavista pysyvistä viittauksista voi olla enemmän hyötyä kuin yhteenvedosta, joka yrittää toistaa niiden koko sisällön.

Kolmas istunto: poikkeuksen soveltaminen kaikkea uudelleenkirjoittamatta

Käyttäjä pyytää asiakasversiota, jossa käytetään sekä metrisiä että brittiläisiä mittayksiköitä. Tässä tehtävässä on käytettävä molempia yksikköjärjestelmiä. Se, muuttuuko projektin yleinen sääntö, riippuu käyttäjän sanamuodosta ja pyynnön laajuudesta: ”tässä versiossa” on rajatumpi ilmaus kuin ”käytä tästä lähtien molempia”.

Huolellinen avustaja tallentaa versiokohtaisen poikkeuksen. Liiallisia yleistyksiä tekevä avustaja muuttaa yleisen valinnan ja aiheuttaa virheitä myöhemmissä raporteissa. Kyse on muistin toimintahäiriöstä, vaikka kaikki tietokantaan kirjoittaminen ja hakupyynnöt onnistuisivat.

Neljäs istunto: työn viimeistely ja väliaikaisen tilan tyhjentäminen

Toimituksen jälkeen välitavoite pitäisi merkitä valmiiksi. Ohjeen ”jatka raporttia” pitäisi ohjata avustaja toimitetun version pariin ja saada se kysymään, mitä pitää muuttaa, eikä jatkamaan vanhentunutta tarkistuslistaa. Väliaikaiset muistiinpanot voivat vanhentua projektin käytäntöjen mukaisesti, kun taas lopullinen raportti ja tärkeät päätökset säilyvät saatavilla.

Pysyvän muistin hyödyt näkyvät tässä: samoja asioita ei tarvitse selittää toistuvasti, ja työ jatkuu sujuvammin. Myös sen kustannukset ovat selvät: sovelluksen on ylläpidettävä yhteyksiä valintojen, poikkeusten, tiedostojen ja muuttuvan tehtävätilanteen välillä.

Yhteenveto, tiivistäminen ja poikkeuksen katoamisen riski

Pitkissä vuorovaikutuksissa voi kertyä enemmän aineistoa kuin seuraavaa vastausta varten on hyödyllistä. Tiivistämisessä osa historiasta korvataan suppeammalla esityksellä. Yhteenvetoon voidaan säilyttää tavoite, päätökset, avoimet kysymykset ja viittaukset alkuperäiseen työhön.

Anthropicin ohjeistus kontekstin hallinnasta käsittelee tiivistämistä ja konteksti-ikkunan ulkopuolelle tallennettavia muistiinpanoja keinoina ylläpitää jatkuvuutta pitkien työskentelyjaksojen aikana. Molemmat menetelmät muuttavat tuleville vastauksille käytettävissä olevaa aineistoa, joten niiden laadulla on merkitystä.

Tiivistäminen on valikoivaa. Yhteenveto ”Käytä metrisiä yksiköitä” on lyhyempi kuin ”Käytä metrisiä yksiköitä paitsi asiakasversiossa, jossa on käytettävä molempia yksikköjärjestelmiä.” Se on kuitenkin väärä projektin yhden tärkeän käyttötapauksen kannalta. Pois jäänyt poikkeus voi kulkeutua huomaamatta myöhempiin yhteenvetoihin, jolloin sen jäljittäminen vaikeutuu.

Cedar-avustajamme voisi siirtää työtä eteenpäin paremmin säilyttämällä yleisen säännön ja sen poikkeuksen, valmiit osiot, jäljellä olevat tarkistustehtävät sekä viittaukset uusimpiin tiedostoihin. Tarkat tiedot, kuten hyväksytyt summat tai tunnisteet, pitäisi säilyttää rakenteisissa tietueissa tai lähdeasiakirjoissa, jos likiarvot voisivat aiheuttaa haittaa.

Yhteenvetojen pitäisi säilyttää myös epävarmuus. Ilmausta ”harkitsimme kyselyn B käyttöä” ei saa muuttaa muotoon ”kysely B valittiin”. Jos tiivistetty historia saa alustavat päätökset näyttämään lopullisilta, järjestelmä on luonut virheellisen muiston yrittäessään säästää kontekstia.

Miten tekoälyn muistin pitäisi käsitellä korjauksia ja ristiriitoja

Pysyvästä muistista on vähemmän hyötyä, jos sitä ei voi muuttaa. Projektit muuttuvat, mieltymykset kehittyvät, ja aiemmat tiedot osoittautuvat joskus virheellisiksi. Jos korjaus lisätään toiseksi, ilman lisämääreitä tallennetuksi tiedoksi, hakujärjestelmä saattaa joutua valitsemaan kahden keskenään ristiriitaisen väitteen välillä.

Hyödyllisemmässä päivityksessä kerrotaan, minkä uusi näyttö korvaa. Jos projektin omistaja siirtää julkaisupäivää 15. marraskuuta 29. marraskuuta, vanha merkintä voidaan merkitä korvatuksi ja linkittää uuteen päätökseen. Nykyistä määräpäivää koskevissa kysymyksissä käytetään uutta versiota; alkuperäistä suunnitelmaa koskevissa kysymyksissä voidaan tarkastella aiempaa versiota.

Pelkkä tuoreus ei ratkaise kaikkia ristiriitoja. Tuore luonnosmuistio voi olla vähemmän auktoritatiivinen kuin vanhempi hyväksytty käytäntö. Käyttäjällä voi olla oikeus muuttaa henkilökohtaista mieltymystään, mutta ei koko organisaatiota koskevaa sääntöä. Päivityskäytännössä on otettava huomioon sekä tiedon tyyppi että sen lähteen auktoriteetti.

Jotkin ristiriidat on jätettävä ratkaisematta, kunnes ihminen selventää asiaa. Jos kaksi projektin omistajaa antaa keskenään ristiriitaiset päivämäärät eikä kumpaakaan ole nimenomaisesti korvattu, avustaja voi näyttää molemmat lähteet ja kysyä, kumpaa tulee noudattaa. Jos järjestelmä valitsee hiljaisesti samankaltaisimman tai tuoreimman merkinnän, se peittää päätöksen, johon sillä ei ehkä ole oikeutta.

Mitä tekoälyn unohtaminen tarkoittaa?

Unohtaminen ei ole yksittäinen kytkin. Tuote voi lakata lisäämästä tietoa kehotteisiin, sulkea sen tavanomaisen haun ulkopuolelle, merkitä sen vanhentuneeksi, poistaa sen muistimerkinnän tai poistaa muita säilytettyjä kopioita. Näillä toimilla on erilaisia vaikutuksia tulevaan toimintaan ja säilytettäviin tietoihin.

Poistuminen aktiivisesta kontekstista

Tieto voi jäädä pois mallin seuraavasta syötteestä, koska vanhempia viestejä on jätetty pois tai niistä on tehty yhteenveto. Näin vähennetään sitä, mitä malli voi hyödyntää välittömästi. Alkuperäinen keskustelutallenne tai muistimerkintä voi silti olla olemassa, ja tieto voi palautua myöhemmässä haussa.

Muistista palauttamisen vanheneminen tai estäminen

Vanhentunut määräpäivä voi säilyä arkistossa, vaikka se suljetaan pois nykyistä työtä koskevista hauista. Palauttamisen estäminen on hyödyllistä, kun tietoa on tarkoitus säilyttää historiallisista syistä, mutta sitä ei pidä kuvata täydelliseksi poistamiseksi. Historiallisessa haussa tai hallinnollisessa työnkulussa merkintää voidaan silti käyttää.

Tallennetun muistin poistaminen

Pysyvän merkinnän poistamisen yhteydessä on käsiteltävä myös siitä johdettuja hakuesityksiä. Jos lause poistetaan profiilista mutta se säilyy haettavassa yhteenvedossa, avustaja voi myöhemmin päätellä saman mieltymyksen uudelleen. Lähdetietueet, upotukset, yhteenvedot, välimuistit ja jäljennökset voivat arkkitehtuurista riippuen edellyttää erillisiä poistotoimia.

Varmuuskopioilla ja lokeilla voi olla omat säilytysaikansa. Tuotteen pitäisi kertoa nämä rajat selkeästi ja estää poistettua aineistoa aktivoitumasta uudelleen palautuksen yhteydessä. »Emme enää käytä tätä muistia» ja »kaikki säilytetyt kopiot on poistettu» ovat eri lupauksia.

Mallin painojen muuttaminen

Ulkoisen muistin poistaminen ei itsessään muuta mallin parametreja. Jos tietoa on käytetty koulutuksessa, sen käsittely mallissa on erillinen ongelma, joka liittyy koulutus- ja käyttöönottoprosessiin. Henkilökohtaisen muistin poistaminen ei myöskään takaa, ettei malli koskaan tuottaisi samankaltaista tietoa yleisen tietämyksensä tai uudessa kehotteessa annettujen vihjeiden perusteella.

Mielekkäässä unohtamistestissä selvitetään sekä se, tallentaako järjestelmä tiedon yhä, että se, voivatko järjestelmän tavalliset hakureitit tuoda sen uudelleen esiin. Yksittäinen keskusteluvastaus ”Unohdin” ei todista kumpaakaan.

Muisti, RAG, koulutus ja välimuistit: missä rajat kulkevat

Hakuun perustuva generointi eli RAG tuo mallille ulkoista näyttöä tekstin tuottamisen aikana. Alkuperäisessä RAG-tutkimuksessa yhdistettiin mallin parametrit haettavissa olevaan asiakirjahakemistoon. Myös henkilökohtainen muistijärjestelmä voi hyödyntää hakua, mutta se tarvitsee lisäksi käytännöt vuorovaikutustilanteista syntyvien tietojen luomiseen, päivittämiseen ja poistamiseen käytöstä.

Yrityksen käsikirjan voi hakea järjestelmästä tallentamatta sitä käyttäjän muistiksi. Aiemmasta vuorovaikutustilanteesta kertovan muistiinpanon voi hakea yksinkertaisesta tiedostosta ilman vektori-indeksiä. Haku on toimintamekanismi; taustalla olevien tietojen tarkoitus ja elinkaari ratkaisevat, millaista järjestelmää ollaan rakentamassa.

Koulutus ja hienosäätö muuttavat mallin parametreja. Tavallinen ulkoinen muisti puolestaan muuttaa mallille annettavaa näyttöä. Avustaja voi toimia eri tavalla noudattamalla juuri tallennettua käyttäjän mieltymystä, vaikka sen mallipainot pysyvät ennallaan.

Kehotteiden ja inferenssin välimuistit hyödyntävät aiempaa laskentaa uudelleen, jos se on tuettu. Ne voivat tehostaa toimintaa, mutta eivät yksin ratkaise, onko muistettu väite ajantasainen, hyväksytty tai sopiva tuleviin tehtäviin. Nämä kerrokset voivat toimia rinnakkain, ja ongelmien selvittäminen edellyttää sen tunnistamista, mikä kerros aiheuttaa havaitun toiminnan.

MemGPT tarjoaa vaikutusvaltaisen esimerkin arkkitehtuurista: siinä tutkittiin tiedon siirtämistä rajallisen kontekstin ja ulkoisten muistitasojen välillä käyttöjärjestelmävertauksen avulla. Hyödyllinen opetus on, että tiedon siirtymistä on hallittava tietoisesti. Tallennustila ei automaattisesti laajenna mallin välitöntä kontekstia rajattomasti.

Miksi pysyvä muisti voi pitkittää virheiden vaikutuksia

Virheellinen vastaus voi vaikuttaa yhteen vuorovaikutustilanteeseen. Virheellinen muisti voi vaikuttaa moneen. Jos avustaja päättelee käyttäjän hyväksyneen päätöksen, tallentaa päätelmän tosiasiana ja viittaa myöhemmin tallennettuun tietueeseen, sen aiempi virhe voi alkaa näyttää riippumattomalta näytöltä.

Projektimme avustajassa alkuperäisen lähteen tulee pysyä erotettavissa mallin tulkinnasta. Päätöksen yhteenveto voi helpottaa tiedon löytämistä, mutta merkittävien toimien tulee perustua itse hyväksyttyyn päätökseen. Saman asian toistuminen useissa luoduissa muistiinpanoissa ei muuta yhtä perusteetonta päätelmää useaksi riippumattomaksi vahvistukseksi.

Pysyvä muisti luo myös väylän ohjeiden saastumiselle. Epäluotettu asiakirja voi sisältää lauseen, jossa avustajaa käsketään muuttamaan tulevaa toimintaansa. Jos tämä lause tallennettaisiin toimintaohjeeksi, ulkoinen sisältö ylittäisi auktoriteettirajan. Sovelluksen tulee käsitellä lausetta sen lähteen mukaisesti eikä nostaa sitä luotetuksi ohjeeksi vain siksi, että se esiintyy muistivarastossa.

Jaetut ympäristöt luovat vielä yhden rajan. Tieto voi liittyä kysymykseen mutta kuulua toiselle asiakkaalle tai projektille. Käyttöoikeustarkistusten tulee rajata hakua ennen kuin tieto päätyy mallille. On heikompi ratkaisu pyytää mallia sivuuttamaan luvattomat tietueet sen jälkeen, kun ne on jo annettu sille.

Näin arvioit, toimiiko muisti todella

Vakuuttavassa esittelyssä avustajaa pyydetään usein toistamaan yksi tallennettu mieltymys. Perusteellisessa arvioinnissa seurataan muuttuvia tietoja useiden istuntojen ajan ja tarkistetaan, parantaako muisti tehtävän suorittamista.

LongMemEval arvioi tiedon poimintaa, päättelyä istuntojen välillä, ajallista päättelyä, tietojen päivittämistä ja vastaamisesta pidättäytymistä. Nämä osa-alueet havainnollistavat, miksi pitkäaikaisen muistin laatu on paljon muutakin kuin yhden vastaavan lauseen hakemista. Julkaistuja vertailutuloksia tulee tulkita testattujen järjestelmien ja asetusten perusteella, eikä niiden pidä olettaa kuvaavan kaikkia nykyisiä tuotteita.

Cedar-työnkulussa arviointi voisi alkaa mieltymyksen lisäämisellä, jatkua projektin pariin palaamisella, poikkeuksen lisäämisellä, määräajan muuttamisella ja muistiinpanon poistamisella. Sen jälkeen avustajalle esitettäisiin kysymyksiä, joiden tarkoituksena on paljastaa vanhentuneet tai perusteettomat muistot. Sama malli tulisi testata myös ilman muistitoimintoa, jotta voidaan selvittää, parantaako lisätty järjestelmä tuloksia.

• Tallennuksen tarkkuus: Tallensiko järjestelmä tarkoitetun väitteen rajauksineen ja täsmennyksineen?
• Haun hyödyllisyys: Löysikö järjestelmä tehtävässä tarvittavan näytön täyttämättä kontekstia asiaankuulumattomalla historialla?
• Päivitysten käsittely: Korvasiko korjaus ajantasaisen tiedon säilyttäen samalla hyödylliset historialliset erot?
• Vastaamisesta pidättäytyminen: Kertoiko avustaja, ettei sitä tukevaa tietuetta ollut?
• Eristäminen: Pysyivätkö tietueet oikean käyttäjän, asiakasympäristön ja projektin piirissä?
• Unohtaminen: Estikö poistaminen tai vanheneminen tarkoitetun tiedon myöhemmän palauttamisen myös johdettujen yhteenvetojen kautta?
• Toiminnan kustannukset: Perustelivatko parannukset lisäviiveen, mallikutsut, tallennustilan ja ylläpidon?

Epäonnistumiset on jäljitettävä siihen vaiheeseen, jossa ne tapahtuivat. Puuttuva vastaus voi johtua epäonnistuneesta tallennuksesta, virheellisestä haun rajauksesta, huonosta tulosten järjestämisestä, olennaisen tarkennuksen poisjäämisestä tai siitä, että malli tulkitsi hyvän näytön väärin. Kontekstin koon kasvattaminen ei korjaa kaikkia näitä ongelmia.

Oikean muistiratkaisun valinta

Kertaluonteisen asiakirjatiivistelmän tekemiseen voivat riittää nykyinen asiakirja ja ohjeet. Keskeytyneestä analyysistä on hyötyä, kun tehtävän etenemisestä on tallessa tilannepiste. Toistuvassa projektityössä avustaja saattaa tarvita versioituja päätöksiä ja viittauksia tuotoksiin. Useissa käyttäjäistunnoissa työskentelevä avustaja saattaa tarvita erillisen, muokattavan tallennuspaikan käyttäjän mieltymyksille.

Aloita määrittelemällä, mihin tulevaan kysymykseen muistin on tarkoitus vastata. Kysymys ”Mitä on vielä tekemättä?” edellyttää tehtävän tilan tallentamista. Kysymys ”Mitä muotoa tämä asiakas edellyttää?” edellyttää rajattua mieltymystä koskevaa tietoa. Kysymys ”Miksi hylkäsimme tämän lähestymistavan?” edellyttää päätöstietuetta ja sitä tukevaa näyttöä. Eri kysymykset edellyttävät erilaisia esitystapoja.

Suosi muutamaa selkeää ja alkuperältään jäljitettävää tietuetta mieluummin kuin erottele matonta arkistoa, jota tarjotaan personointina. Pidä nykytila erillään aiemmista tapahtumista, säilytä linkit lähdeaineistoihin ja ota korjausten ja poistamisen mahdollisuus huomioon suunnittelussa alusta alkaen.

Aktiivinen muisti antaa tekoälyjärjestelmälle johdonmukaisen nykytilan. Pysyvä muisti voi tarjota sille jatkuvuutta ajan mittaan. Jatkuvuuden laatu riippuu näiden kahden muistin välisistä ratkaisuista: mitä tallennetaan, mitä palautetaan käyttöön, mikä versio on voimassa ja minkä annetaan kadota.