Når AI tenker som mennesker: En utforsking av LLM-er og agenter

I dag lærer LLM-er og agenter, analyserer og tar beslutninger på måter som kan gjøre grensen mellom deres algoritmiske “tenkning” og det menneskelige sinnet uklar. Tilnærmingene de er bygget på ligner allerede våre kognitive prosesser, og skalaen på deres trening overstiger menneskelig erfaring med flere størrelsesordener. Dette gir opphav til spørsmålet: Skaper vi et verktøy som utvider våre evner, eller gir vi opphav til en ny type sinn hvis konsekvenser fortsatt er umulige å forutsi?

Hvordan modeller tenker

Det er viktig å skille mellom konseptene LLM-er og agenter. For å trekke en analogi med en datamaskin, kan en LLM sammenlignes med en av dens komponenter, for eksempel prosessoren. En agent, derimot, er hele systemet, en “hovedkort” hvor forskjellige moduler er koblet til: minne, grafikkort og nettverk. På samme måte er en agent et komplekst system som kan inkorporere en eller flere LLM-er, supplert med beslutningstakere og verktøy for å samhandle med den ytre verden.

Hvis vi betrakter arbeidet til en enkelt LLM, handler det alt om mønstergjenkjenning. Men når en agent kobler sammen flere LLM-er, kan vi si at den “tenker”, selv om denne prosessen fortsatt er bygget på mønstre. Agenten konstruerer logikken for samhandling mellom modellene: for eksempel analyserer en LLM oppgaven, og basert på denne analysen, bestemmer agenten hva handling en annen LLM skal utføre.

Menneskelig tenkning fungerer på en lignende måte: vi baserer oss på akkumulert kunnskap og mønstre, velger dem på rett tid, prosesserer dem og formulerer konklusjoner. Denne prosessen kalles resonnement.

ChatGPT, som et menneske, har to typer minne: korttidshukommelse og langtidshukommelse. Forskjellen er at hos mennesker er tilgangen til disse minnenivåene mer komplisert og ikke alltid lineær.

Korttidshukommelse er informasjon vi jobber med akkurat nå. For et menneske kan det være hva du sa for fem minutter siden: de kan huske det eller ikke. GPT tar imot all informasjon innenfor sin “kontekstvindu” – den kan ikke hoppe over eller ignorere denne data.

Langtidshukommelse hos mennesker består av minner som ikke alltid er aktive og kan kun komme til overflaten med bestemte utløsere: en barndomsminne, et trauma eller, for eksempel, arbeid med en psykolog. GPT har en lignende logikk: den “husker” ikke informasjon på egen hånd med mindre den spesifikt aktiveres. For eksempel kan en instruksjon som “Spør meg aldri denne spørsmålet igjen” eller “Tiltales alltid meg formelt” lagres i langtidshukommelse og brukes under hver sesjon.

Et annet eksempel på langtidshukommelse er lagrede dokumenter. Anta at du laster opp en instruks til GPT for å utføre markedsforskningsanalyse. Modellen kan lagre det i minne, men det betyr ikke at den vil henvise til dokumentet med hver spørsmål. Hvis du spør: “Kan du kaste lys på månen?” vil GPT ignorere instruksjonen. Men hvis forespørselen inneholder nøkkelord som matcher dokumentets tekst, kan modellen “huske” det.

Dette mekanismen implementeres gjennom RAG (Retrieval-Augmented Generation), en tilnærming hvor modellen får tilgang til lagret informasjon utløst av relevante signaler via vektor-databaser.

Så kan det sies at modellen virkelig har minne, men det fungerer ifølge en annen, mer formalisert logikk, forskjellig fra menneskelig minne.

Hvorfor føles en samtale med AI noen ganger terapeutisk, og andre ganger kald og robotisk?

Moderne språkmodeller er ekstremt store: de lagrer en kolossal mengde data, kunnskap og kontekst. All denne informasjonen er organisert i såkalte “kluster”, tematiske og semantiske områder. Modellen ble trent på diverse kilder, fra fiksjon og vitenskapelige artikler til YouTube-kommentarer.

Når du interagerer med AI, dirigerer din forespørsel (prompt) effektivt modellen til et bestemt kluster.

For eksempel, hvis du skriver: “Du er en eiendomssakfører i New York med 20 års erfaring, hjelp meg å kjøpe en leilighet,” aktiverer modellen flere kluster på en gang: sakfører → New York → eiendom. Som resultat får du en koherent, relevant og realistisk respons, som om du faktisk konsulterte en erfaren fagperson.

Hvis forespørselen omhandler mer personlige eller filosofiske emner, som selvutvikling eller følelser, “skifter” modellen til andre kluster, som psykologi, filosofi eller indre arbeid. I dette tilfelle kan dens svar synes overraskende menneskelige og til og med terapeutiske.

Men med for generelle eller vagt formulerede forespørsler “går” modellen “vill” i sin klusterstruktur og gir en standardrespons, formell, avstandlig og mangelfull følelsesmessig tone.

Stilen og dybden på AI-responsen avhenger av hvilket kluster du dirigerer det til med din prompt.

Filosofien bak modelltrening og RLHF

Kunstig intelligens har forskjellige tilnærminger til læring. Det er ikke så mye en filosofi som en strategi.

Den klassiske valgmuligheten er overvåket læring, hvor modellen får en spørsmål og det riktige svaret. Den lærer ved å observere hva som anses som riktig og deretter reproduserer lignende løsninger i fremtiden.

Men en annen tilnærming er RLHF (Reinforcement Learning from Human Feedback). Dette er en annen stil: modellen prøver noe, mottar en “belønning” for vellykkede handlinger og justerer sitt atferd. Gradvis utvikler den en effektiv strategi.

RLHF kan sammenlignes med prosessen med å omdanne råmateriale til et ferdig produkt. For å lage en modell som er behagelig å bruke, kreves en kolossal mengde arbeid med menneskelig tilbakemelding.

Forestall at jeg viser deg et objekt uten å navngi det direkte. Du tøver: “Er det en sigarett-eske? En kort-holdere?” Jeg gir bare hint som: “Nærere,” “Lenger,” “60% ja.” Etter hundrevis av slike iterasjoner, gjetter du: “Ah, det er en lommebok.”

LLM-er blir trent på denne måten. Mennesker, annotatorer og fagpersoner generelt, vurderer: dette svaret er bra, dette er dårlig, og tildeler poeng. Selskaper som Keymakr, som spesialiserer seg i høykvalitets data-annotering og validering, spiller en nøkkelrolle i denne prosessen. Tilbakemelding kommer også fra vanlige brukere: liker, klager og reaksjoner. Modellen tolker disse signalene og former atferdsmønstre.

Hvordan modelltrening ser ut i praksis

Et levende eksempel er OpenAI-s forsøk med å trene agenter med forsterkingslæring i spillet “Hide and Seek.”

To lag deltok i det: “søkerne” (røde) og “skjulerne” (blå). Reglene var enkle: hvis en søker fanget en skjuler, tjente de poeng; hvis ikke, tapte de en. Til å begynne med hadde agentene bare grunnleggende fysiske evner, løping og hopping, uten noen forhåndsdefinerte strategier.

I begynnelsen handlet søkerne kaotisk, og å fange motstandere skjedde ved tilfeldighet. Men etter millioner av iterasjoner, utviklet deres atferd seg. Skjulerne begynte å bruke omgivelsesobjekter til å blokkere dører og bygge barrierer. Disse ferdighetene oppstod uten direkte programmering, ren basert på gjentatte forsøk og belønninger for suksess.

I respons begynte søkerne å bruke hopping, en evne som var tilgjengelig fra begynnelsen, men tidligere ble ignorert. Etter en rekke feil, avdekket den tilfeldige bruken av hopping sin taktiske verdi. Deretter kompliserte skjulerne forsvaret sitt videre, fjernet objekter fra søkernes synsline og bygde mer pålitelige skjulesteder.

Eksperimentet viste at gjennom milliarder av sykluser av prøving, feil, belønninger og straffer, kan kompleks samarbeidsatferd danne seg uten utviklerintervensjon. Dessuten begynte agentene å handle koordinert, selv om kommunikasjonsmekanismer ikke var programmert, enkelt og greit fordi teamarbeid viste seg å være mer effektivt.

Dette er det samme med store språkmodeller. Det er umulig å skript alle scenarier: det finnes for mange situasjoner og for mye variasjon i verden. Derfor lærer vi ikke modellen faste regler; vi lærer den hvordan den kan lære.

Dette er verdien av RLHF. Uten det, blir en LLM og agenter bare en samling av tekst. Med det, blir det en samtalepartner som kan tilpasse seg, korrigere seg selv og, i realiteten, utvikle seg.

Hva er neste?

Mange undrer seg på om LLM- og agentutviklinger kan føre til uønskede eller til og med farlige konsekvenser.

Det er viktig å forstå at det vi ser i dag, er ikke engang en MVP, men bare en prototype.

Den virkelige revolusjonen vil ikke være å hjelpe til å skrive et vakkert brev eller oversette det til fransk. Disse er små ting. Hovedretningen er automatisering av mikrooppgaver og rutineprosesser, og å la mennesker bare håndtere virkelig kreative, intellektuelle oppgaver eller hvile.

Reelle innovasjoner fokuserer rundt agenter, systemer som kan uavhengig tenke, handle og ta beslutninger i stedet for et menneske. Dette er nettopp der selskaper som OpenAI, Google, Meta og andre fokuserer sine anstrengelser i dag.

Store språkmodeller er bare grunnlaget. Den sanne fremtiden ligger i agenter som er trent til å leve i en dynamisk verden, motta tilbakemelding og tilpasse seg endringer.