Tekoälyn Muistiongelma: Miksi Tehokas Pitkä Konteksti Muuttaa Kaiken, ja Mitä Se Vaatii Oikean Tehokkuuden Saavuttamiseksi

Kollega, joka unohti kaikki aiemmat keskustelut heti kun ne päättyivät, ei selviäisi pitkään useimmissa työpaikoissa. Moni liiketoimintaympäristössä toimiva tekoäly toimii kuitenkin juuri näin. Istunto päättyy ja konteksti katoaa sen mukana. Kuluttaja, joka lähettää yksittäisiä kysymyksiä, ei välttämättä huomaa sitä, mutta yritys, joka suorittaa prosessin, joka kestää yli yhden istunnon, törmää rajoituksiin melkein välittömästi.

Todellinen työ jatkuu yhdestä istunnosta toiseen, ja torstaina tehty päätös perustuu usein maanantaina tehtyyn päätökseen, ja sen taustalla oleva ajattelu on säilyttävä itsessään. Tekoäly, joka pyyhkii itsensä puhtaaksi istunnon päättyessä, voi suoriutua hyvin istunnon aikana ja silti ei tuota mitään panosta tehtävään, joka kestää yli viikon.

Yritysten tekoäly on hiljalleen muuttanut sitä, mitä se vaatii mallilta. Vuosien ajan malleja arvioitiin pääasiassa sen perusteella, kuinka paljon tietoa ne olivat omaksuneet. Nyt yritykset tarvitsevat niiden säilyttävän oikean tiedon näkyvissä työn edetessä, mikä vaatii erityyppistä tehokasta suunnittelua. Tähän asti tällaisen kestävän tiedon tallentamisen mahdollistamista ei ole saavutettu johtuen suuresta muistin (GPU), laskennan ja kustannusten tarpeesta. Hyväksyttävän viiveen ja mallin “hallusinaation” tason ylläpitäminen muodostuu haasteeksi samanaikaisen käytön aikana, kun suurta kontekstia hyödynnetään. Tällaisten tietokapasiteettien kysyntä on kasvamassa, eikä riittävästi muistia ja laskentakapasiteettia ole saatavilla. Tämä johtaa kysymykseen: miten saavutetaan tarkempi älykkyys laajamittaisesti vähemmällä infrastruktuurilla ja jalanjäljellä?

Pöytä ja Tiedostokaappi

Kaksi asiaa kietoutuu “muisti”-termin ympärille, ja ne käyttäytyvät tarpeeksi eri tavalla, jotta loput riippuvat niiden erottamisesta toisistaan.

Aloita kontekstiuikkunasta, joka on se, kuinka paljon malli voi ottaa vastaan ja päätellä yhden kerran. Se toimii pöydän pinnan tavoin. Pieni pöytä ottaa vastaan muutaman sivun kerrallaan, joten kaikki muu odottaa laatikossa ja haetaan ja tyhjennetään sieltä, kun taas suurempi pöytä antaa koko asiakirjapakin levätä avoimena, kun työskentelet sen yli. Pöydällä oleva asia tyhjennetään joka päivä päivän lopussa.

Pysyvä muisti on tiedostokaappi pöydän vieressä. Järjestelmä valitsee, mitä tallentaa, ja hakee sen takaisin, kun se tulee asiaankuuluvaksi, joten jotain, mitä tapahtui tämän viikon aikana, voi vaikuttaa siihen, mitä se tekee seuraavaksi. Tuo varasto ulottuu istuntojen yli, ja sille on tehtävä omat päätöksensä siitä, mitä tallentaa, miten järjestää sen ja milloin hakea sen takaisin.

Suuri osa näkyvää suunnittelukilpailua on keskittynyt pöytään. Ikkuunat, jotka aikaisemmin pitivät muutaman tuhannen tokenin määrää, ulottuvat nyt satoihin tuhansiin, ja OpenAI:n ja Anthropicin suurimmat mallit saavuttavat miljoonan.

Termin “kontekstisuunnittelu” tuli Shopify:n Tobi Lutkeelta ja se sai suosiota Andrej Karpathyn kautta vuonna 2025. Karpathy kirjoitti, että jokaisen vakavan tekoälysovelluksen ydinosaaminen on täyttää ikkuna oikealla tiedolla seuraavaa askelta varten. Hänen vertauksensa oli laitteistosta – malli prosessorina, ikkuna työmuistina. Käytännön sovellukset omaksuivat termin nopeasti, koska he olivat kiertäneet ajatusta ilman nimeä.

Suuremman Pöydän Omistaminen Ei Ratkaise Muistiongelmaa

Tässä vaiheessa ilmenee selvä siirto – yksinkertaisesti pöydän laajentaminen – ajautuu ongelmaan.

Stanfordin tutkijat osoittivat vuonna 2024, että kun malliin tarvittava tieto sijaitsee pitkän syötteen keskellä, sen tarkkuus laskee terävästi verrattuna samaan tosiasiaan, joka on sijoitettu alkupisteeseen tai loppupisteeseen. He kutsuivat sitä “hävikki keskellä”, ja se pitäytyi jopa malleissa, jotka oli suunniteltu erityisesti pitkien kontekstien käsittelyyn. Lisäämällä enemmän tietoa mallin eteen osoittautuu, ettei se ole sama asia kuin mallin luotettava käyttäminen siitä.

Tämä vaikutus on säilynyt, kun muut tiimit ovat etsineet sitä, ja vuonna 2025 tehty tutkimus, jossa 18 eturintamalla olevaa mallia testattiin vastaan progressiivisesti pitempiä syötteitä, osoitti suorituskyvyn heikkenemisen jo ennen kuin ikkuna oli edes täynnä, ja sen kirjoittajat nimesivät tämän “kontekstin mätänemiseksi”. Pöydän laajentaminen ja saada malli pätevästi järkeväksi koko sen yli ovat kaksi eri ongelmaa, ja ensimmäinen ei tee mitään toisen ratkaisemiseksi.

Kontekstin Kuraattori Ansaitsee Enemmän Kuin Kapasiteetti

Kontekstisuunnittelu on kasvanut taidoksi tämän takia, ja vuonna 2025 tehty tutkimus, joka perustui yli 1400 tutkimukseen, esitti sen menetelmiä, ja Gartner neuvoo asiakkaitaan priorisoimaan kontekstin käyttöön vuonna 2025. Taito kehittyi ohjeen antamisesta mallille terävöittäväksi ohjeeksi koostamaan terävöittävämpiä syötteitä mallille.

Suurempi pöytä korostaa, mitä sinne asetetaan. Kaatamalla koko asiakirjavarasto pöydälle ne muutamat sivut, jotka ovat merkityksellisiä, joutuvat häviämään melun, ristiriitojen ja vanhentuneiden versioiden sekaan, kun taas tiukempi valinta siitä, mitä tehtävään vaikuttaa, antaa saman mallin suorittaa merkittävästi paremmin. Arvostelussa on se, mitä mallin eteen kuuluu, miten se on kehys, milloin se ilmestyy ja mitä säilytetään kaapissa.

Tämä on se, mihin RAG (hakijajärjestelmä) on rakennettu: asiakirjojen pilkkominen fragmentteihin ja niiden hakeminen, jotka näyttävät merkityksellisiltä, kiertääkseen ikkunan, joka on liian pieni koko asiakirjan sisältämiseksi. Sanotaan, että sopimusriita koskee yhtä pykälää sivulla 200. Tavallinen lähestymistapa pilkkoo sopimuksen fragmentteihin ja antaa hakijajärjestelmän hakea ne, jotka näyttävät merkityksellisiltä. Jos sivu 200 arvioidaan merkityksettömäksi, malli ei näe pykälää.

Ikkuna, joka on kooltaan koko sopimuksen, ohittaa hakuvaiheen kokonaan ja antaa mallille pykälän yhdessä kaiken sen ympärillä olevan kanssa. Onko malli sitten kykeneväinen lukemaan pitkän syötteen hyvin, se on luotettavuuden ongelma edellisestä osiosta, ja se on parempi ongelma, jonka kanssa olla jäätyväksi kuin hakijajärjestelmä, joka vaikenee pykälän merkityksettömyydestä.

Istunnon Sisällä ja Sen Jälkeen

Pitkä konteksti antaa tekoälyagentille mahdollisuuden työskennellä pitkän tehtävän parissa eikä ainoastaan yksittäisen vaihdon. Agentti, joka käsittelee usean päivän mukaisen noudattamisen tarkastelun tai toimittajan rekisteröintiä, pitää koko tehtävän ikkunassa, kun se suoritetaan, joten jokainen askel perustuu koko tehtävän tilaan. Tarpeeksi pitkä ikkuna voi korvata muistin istunnon aikana.

Siitä, mitä järjestelmän tulisi muistaa seuraavalla viikolla, kun tämä istunto on päättynyt, on oltava jokin, missä ikkuna ei ole.

Rakentaminen tällaisella muistilla tuo mukanaan erilaisia ongelmia, joita teollisuus on vasta alkanut kohdata. Minun koulutukseni psykologiassa ja neurotieteessä tekee ihmisen muistin vertailun vaikeaksi. Emme palauta tapahtumasta täydellistä tallennetta. Jokaisella kerralla, kun muistamme sen, meidän on rakennettava se uudelleen, ja pienet virheet voivat ajan myötä muodostua hyväksytyn version osaksi. Konemmuisti voi kehittää samanlaisen ongelman, kun tallennettua tietoa yhdistetään, yhdistetään tai uudelleenkirjoitetaan toistuvasti. Ajan myötä tallenne voi siirtyä kauemmaksi alkuperäisestä tapahtumasta, ellei sitä tarkisteta, korjata virheitä ja poisteta epäluotettavaa tietoa.

Monet yritykset, jotka ottavat nämä järjestelmät käyttöön, eivät ole vielä kohdanneet näitä ongelmia, ja harvat ovat lähellä ratkaisua. Se, mitä minä tarkkailin toimittajassa, ei ole ikkunan koko, jonka he mainostavat. Malli, joka pitää 10 miljoonaa tokenia, on arvoton, jos suurin osa siitä, mitä se pitää, on vanhentunutta, merkityksetöntä tai väärää. Sen vastaukset voivat näyttää hyvin perustelluilta, vaikka ne perustuvat tietoon, jota liiketoiminta ei koskaan pitäisi luottaa. Se, mikä ansaitsee rahaa, on tuomio siitä, mitä säilytetään, ja kyky päätellä tarkasti kaiken tiedon yli, vähemmällä infrastruktuurikustannuksilla ja jalanjäljellä. Se on enemmän vähemmällä, eikä kaikki suuremmat ikkunat tule tällä todellisella kyvyllä.