Kun tekoäly ajattelee kuin ihmiset: tutkimassa LLMien ja agenttien mieltä

Tänään LLM:t ja agentit oppivat, analysoivat ja tekevät päätöksiä tavalla, joka voi sekoittaa niiden algoritmisen “ajattelun” ja ihmismielen. Menetelmät, joilla ne on rakennettu, muistuttavat jo valmiiksi kognitiivisia prosessejamme, ja niiden koulutuksen laajuus ylittää ihmiskokemuksen useilla kertaluokilla. Tämä herättää kysymyksen: luommeiko työkalun, joka laajentaa kykyjämme, vai luommeeko uudenlaisen mielen, jonka seurauksia on vielä mahdoton ennustaa?

Miten mallit ajattelevat

On tärkeää erottaa LLM-käsitteet ja agentit toisistaan. Vertauskuvana tietokoneella voidaan sanoa, että LLM voidaan verrata yhteen sen komponenteista, esimerkiksi prosessoriin. Agentti on kuitenkin koko järjestelmä, “emolevy”, johon on liitetty erilaisia moduuleja: muisti, grafiikkakortti ja verkkoyhteys. Vastaavasti agentti on monimutkainen järjestelmä, joka voi sisältää yhden tai useamman LLM:n, johon on lisätty päätöksentekomekanismeja ja työkaluja vuorovaikutukseen ulkomaailman kanssa.

Jos tarkastelemme yksittäisen LLM:n toimintaa, se kaikki palautuu mallien tunnistamiseen. Kun agentti kuitenkin ketjuu useita LLM:iä, voidaan sanoa, että se “ajattelee”, vaikka tämä prosessi on edelleen rakennettu mallien varaan. Agentti rakentaa logiikkaa mallien välille: esimerkiksi yksi LLM analysoi tehtävän, ja agentti päättää, minkä toiminnon toinen LLM suorittaa.

Ihmisen ajattelu toimii samalla tavalla: turvaudumme kertyneeseen tietoon ja malleihin, valitsemme ne oikeaan aikaan, prosessoidaan niitä ja muodostamme johtopäätöksiä. Tätä prosessia kutsutaan päättelyksi.

ChatGPT:llä on, kuten ihmisellä, kaksi muistityyppiä: lyhytaikainen ja pitkäaikainen. Ero on siinä, että ihmisillä pääsy näihin muistitasoniin on monimutkaisempaa eikä aina lineaarista.

Lyhytaikainen muisti on tietoa, jota parhaillaan käsitellään. Ihmiselle se voi olla esimerkiksi viisi minuuttia sitten sanottu asia: hän saattaa muistaa sen tai ei. GPT ottaa kuitenkin aina huomioon kaiken “kontekstiuksen” sisällön – se ei voi ohittaa tai jättää tätä tietoa huomioimatta.

Pitkäaikainen muisti ihmisillä koostuu muistoista, jotka eivät aina ole aktiivisia ja voivat tulla esiin vain tiettyjen laukaisevien tekijöiden vaikutuksesta: lapsuudenmuisto, trauma tai esimerkiksi työ psykologin kanssa. GPT:llä on samanlainen logiikka: se ei “muista” tietoa itsestään, ellei sitä erikseen aktivoita. Esimerkiksi ohje “Älä koskaan kysy minulta tätä kysymystä uudelleen” tai “Osoittelet aina minua muodollisesti” voidaan tallentaa pitkäaikaiseen muistiin ja soveltaa jokaisessa istunnossa.

Toinen esimerkki pitkäaikaisesta muistista on tallennetut asiakirjat. Oletetaan, että olet ladannut GPT:hen ohjeen markkinatutkimuksen suorittamiseksi. Malli voi tallentaa sen muistiin, mutta se ei tarkoita, että se viittaa kyseiseen asiakirjaan jokaisella kysymyksellä. Jos kysyt: “Voitko suunnata taskulampun Kuuhun?”, GPT jättää ohjeen huomioimatta. Mutta jos pyynnössä on avainsanoja, jotka vastaavat asiakirjan tekstiä, malli voi “muistaa” sen.

Tämä mekanismi toteutetaan RAG (Retrieval-Augmented Generation) -menetelmällä, jossa malli saa pääsyn tallennettuihin tietoihin relevanttien vihjeiden kautta vektorigrafiikkaa hyödyntäen.

Voidaan siis sanoa, että mallilla on todella muisti, mutta se toimii eri, enemmän formalisoituneen logiikan mukaan, joka poikkeaa ihmisen muistista.

Miksi keskustelu tekoälyn kanssa toisinaan tuntuu terapeuttiselta ja toisinaan kylmältä ja robottimaiselta?

Nykyiset kielimallit ovat erittäin suuria: ne sisältävät valtavan määrän tietoa, tietoa ja kontekstia. Kaikki tämä tieto on järjestetty niin kutsutuissa “klustereissa”, teema- ja semanttisissa alueissa. Malli on koulutettu monipuolisilla lähteillä, aina kaunokirjallisuudesta ja tieteellisistä artikkeleista YouTube-kommentteihin.

Kun vuorovaikutat tekoälyn kanssa, kysymyksesi (ohjelma) ohjaa mallin tiettyyn klusteriin.

Esimerkiksi jos kirjoitat: “Olet oikeudenkäyntiavustaja New Yorkissa, jolla on 20 vuoden kokemus, auta minua ostamaan asunnon”, malli aktivoi useita klustereita kerran: lakimies → New York → kiinteistö. Tuloksena saat koherentin, relevantin ja realistisen vastauksen, ikään kuin olisit todella konsultoimassa kokenutta ammattilaista.

Jos kysymys koskee enemmän henkilökohtaisia tai filosofisia aiheita, kuten itsekehittymistä tai tunteita, malli “siirtyy” muihin klustereihin, kuten psykologiaan, filosofiaan tai sisäiseen työhön. Tässä tapauksessa vastauksensa voivat vaikuttaa yllättävän ihmiseltä ja jopa terapeuttisilta.

Liian yleisesti tai epämääräisesti laadittuun kysymykseen malli “häviää” klusterirakenteessaan ja antaa oletusarvon, virallisen, etäisen ja tunteeton vastauksen.

Vastauksen tyyli ja syvyys riippuvat siitä, mihin klusteriin ohjelma ohjaa mallin.

Tehtävän koulutusfilosofia ja RLHF

Tehtävän koulutuksella on erilaisia lähestymistapoja. Se ei ole niinkään filosofia kuin strategia.

Perinteinen vaihtoehto on valvottu koulutus, jossa mallille annetaan kysymys ja oikea vastaus. Se oppii havainnoimalla, mitä pidetään oikeana, ja toistamalla samanlaisia ratkaisuja tulevaisuudessa.

Toinen lähestymistapa on RLHF (Reinforcement Learning from Human Feedback). Tämä on erilainen tyyli: malli yrittää jotain, saa “palkinnon” onnistuneista toimista ja mukauttaa käyttäytymistään. Vähitellen se kehittää tehokkaan strategian.

RLHF voidaan verrata raaka-aineen jalostamiseen valmiiksi tuotteeksi. Tehokkaan mallin luomiseen vaaditaan valtava määrä työtä ihmisten palautteen kanssa.

Kuvitellaan, että näytän sinulle esineen ilman suoraa nimeämistä. Epäröit: “Onko se savukekotelo? Korttikotelo?” Vastaan ainoastaan vihjeillä: “Lähemmäs”, “Kauemmas”, “60% kyllä.” Sadan sellaisen iteroinnin jälkeen arvaat: “Ah, se on lompakko.”

LLM:t koulutetaan tämän kaltaisella tavalla. Ihmiset, annotoijat ja ammattilaiset yleensä arvioivat: tämä vastaus on hyvä, tämä on huono, ja antavat pisteitä. Yritykset kuten Keymakr, jotka erikoistuvat laadukkaaseen data-annotointiin ja validointiin, ovat tärkeässä roolissa tässä prosessissa. Palautetta tulee myös tavallisilta käyttäjiltä: tykkäykset, valitukset ja reaktiot. Malli tulkitsee nämä signaalit ja muodostaa käyttäytymismalleja.

Miten mallin koulutus näyttää käytännössä

Eloisa esimerkki on OpenAI:n koe agenttien kouluttamisesta vahvistusoppimisella pelissä “Piiloudu ja etsi”.

Kaksi joukkuetta osallistui siihen: “etsijät” (punainen) ja “piilijät” (sininen). Säännöt olivat yksinkertaiset: jos etsijä saa kiinni piilijän, hän ansaitsee pisteitä; muuten hän menettää pisteitä. Aluksi agentit omasivat ainoastaan perustavanlaatuiset fyysiset kyvyt, kuten juokseminen ja hyppääminen, ilman mitään ennalta määriteltyjä strategioita.

Alussa etsijät toimivat kaoottisesti, ja vastustajien saaminen kiinni tapahtui sattumalta. Mutta miljoonien iterointien jälkeen heidän käyttäytymisensä kehittyi. Piilijät alkoivat käyttää ympäristön esineitä esteiden luomiseen ja esteiden rakentamiseen. Nämä taidot kehittyivät ilman suoraa ohjelmointia, ainoastaan toistuvien yritysten ja palkkioiden kautta.

Vastauksena etsijät alkoivat käyttää hyppäämistä, kykyä, joka oli alusta alkaen saatavilla, mutta aiemmin jäänyt huomiotta. Useiden epäonnistumisten jälkeen satunnainen hyppääminen paljasti sen taktisen arvon. Sitten piilijät monipuolistivat puolustustaan entisestään, poistamalla esineitä etsijöiden näkyvistä ja rakentamalla turvallisempia suojia.

Koe osoitti, että miljardien kokeilujen, virheiden, palkkioiden ja rangaistusten kautta voidaan muodostua monimutkainen yhteistyökyky ilman kehittäjien väliintuloa. Lisäksi agentit alkoivat toimia yhteistyössä, vaikka viestintämekanismeja ei ollut ohjelmoitu, yksinkertaisesti koska tiimityö osoittautui tehokkaammaksi.

Sama koskee suuria kielimalleja. On mahdotonta koodata kaikki skenaariot: maailmassa on liian monta tilannetta ja liian paljon variansseja. Siksi emme opeta mallille kiinteitä sääntöjä; opetamme sen oppimaan.

Tämä on RLHF:n arvo. Ilman sitä LLM ja agentit ovat vain tekstikirjasto. Sen avulla ne kehittyvät keskustelukumppaneiksi, jotka voivat sopeutua, korjata itseään ja kehittyä.

Mitä seuraavaksi?

Monet ihmiset ihmettelevät, voivatko LLM:t ja agenttien kehitys johtaa epätoivottuihin tai jopa vaarallisiin seurauksiin.

On tärkeää ymmärtää, että mitä näemme tänään, ei ole edes MVP, vaan ainoastaan prototyyppi.

Todellinen vallankumous ei ole siinä, että se auttaa kirjoittamaan kauniin kirjeen tai kääntämään sen ranskaaksi. Nuo ovat pieniä asioita. Pääsuunta on mikrotehtävien ja rutiinien automaatio, jättäen ihmisille ainoastaan todella luovia, älyllisiä tehtäviä tai aikaa lepäämiseen.

Todelliset innovaatiot kohdistuvat agenteihin, järjestelmiin, jotka voivat itsenäisesti ajatella, toimia ja tehdä päätöksiä ihmisen sijasta. Tähän suuntaan yritykset kuten OpenAI, Google, Meta ja muut keskittävät nykyään ponnistelunsa.

Suuret kielimallit ovat vain perusta. Todellinen tulevaisuus piilee agenteissa, jotka on koulutettu elämään dynaamisessa maailmassa, vastaanottamaan palautetta ja sopeutumaan muutoksiin.