Når AI tænker som mennesker: En udforskning af LLM’er og agenter

I dag lærer LLM’er og agenter at lære, analysere og træffe beslutninger på måder, der kan udviske grænsen mellem deres algoritmiske “tænkning” og den menneskelige hjerne. Tilgangene, de er bygget på, ligner allerede vores kognitive processer, og omfanget af deres træning overstiger menneskelig erfaring med mange størrelsesordner. Dette rejser spørgsmålet: Skaber vi et værktøj, der udvider vores evner, eller giver vi liv til en ny type sind, hvis konsekvenser endnu er umulige at forudsige?

Hvordan tænker modeller

Det er vigtigt at skelne mellem begreberne LLM’er og agenter. For at tegne en analogi med en computer kan en LLM sammenlignes med en af dens komponenter, f.eks. processoren. En agent er derimod hele systemet, en “moderbræt” til hvilken forskellige moduler er tilsluttet: hukommelse, grafikkort og netværk. På samme måde er en agent et komplekst system, der kan indeholde en eller flere LLM’er, suppleret med beslutningstagende mekanismer og værktøjer til interaktion med den ydre verden.

Hvis vi betragter arbejdet med en enkelt LLM, handler det alt sammen om mønstergenkendelse. Men når en agent kæder flere LLM’er sammen, kan vi sige, at den “tænker”, selvom denne proces stadig er bygget på mønstre. Agenten konstruerer logikken for interaktion mellem modeller: f.eks. analyserer en LLM en opgave, og på baggrund af denne analyse bestemmer agenten, hvilken handling en anden LLM skal udføre.

Menneskelig tænkning fungerer på en lignende måde: Vi læner os op ad opbevarer viden og mønstre, vælger dem på det rette tidspunkt, bearbejder dem og formulerer konklusioner. Denne proces kaldes resonnering.

ChatGPT, ligesom et menneske, har to typer hukommelse: korttidshukommelse og langtidshukommelse. Forskellen er, at adgangen til disse hukommelsesniveauer er mere kompleks og ikke altid lineær hos mennesker.

Korttidshukommelse er den information, vi arbejder med lige nu. For et menneske kan det være, hvad du sagde for fem minutter siden: De kan huske det eller også ikke. GPT tager derimod altid hensyn til alt inden for sin “kontekstvindue” – den kan ikke springe over eller ignorere denne data.

Langtidshukommelse hos mennesker består af minder, der ikke altid er aktive og kun dukker op med bestemte udløsere: en barndomsmind, en traume eller f.eks. arbejde med en psykolog. GPT har en lignende logik: Den “genkalder” sig ikke information, medmindre den specifikt aktiveres. F.eks. en instruks som “Spørg mig aldrig denne spørgsmål igen” eller “Tiltales mig altid formelt” kan gemmes i langtidshukommelse og anvendes under hver session.

Et andet eksempel på langtidshukommelse er gemte dokumenter. Hvis du uploader en instruks til GPT om at udføre markedsføringsforskning, kan modellen gemme det i hukommelse, men det betyder ikke, at den vil henviser til dette dokument med hver spørgsmål. Hvis du spørger: “Kan du kaste lys på Månen?” GPT ignorerer instruksen. Men hvis anmodningen indeholder nøgleord, der matcher dokumentets tekst, kan modellen “genkalde” det.

Dette mekanisme implementeres gennem RAG (Retrieval-Augmented Generation), en tilgang, hvor modellen får adgang til gemt information udløst af relevante signaler via vektor-databaser.

Derfor kan det siges, at modellen faktisk har hukommelse, men den fungerer efter en anden, mere formaliseret logik, der adskiller sig fra menneskelig hukommelse.

Hvorfor føles en samtale med AI nogle gange terapeutisk, og andre gange kold og robotisk?

Moderne sprogmodeller er ekstremt store: De gemmer en kolossal mængde data, viden og kontekst. All denne information er organiseret i såkaldte “kluster”, tematiske og semantiske områder. Modellen er trænet på diverse kilder, fra fiktion og videnskabelige artikler til YouTube-kommentarer.

Når du interagerer med AI, dirigerer din forespørgsel (prompt) effektivt modellen til et bestemt kluster.

For eksempel, hvis du skriver: “Du er en ejendomssagfører i New York med 20 års erfaring, hjælp mig med at købe en lejlighed,” aktiverer modellen flere kluster på én gang: sagfører → New York → ejendom. Som resultat får du en sammenhængende, relevant og realistisk respons, som om du faktisk konsulterede en erfaren professionel.

Hvis forespørgslen handler om mere personlige eller filosofiske emner, såsom selvudvikling eller følelser, “skifter” modellen til andre kluster, såsom psykologi, filosofi eller indre arbejde. I dette tilfælde kan dens svar synes overraskende menneskelige og endda terapeutiske.

Men med for generelle eller uklare formuleringer “taber” modellen sig i sin klusterstruktur og giver en standardrespons, der er formel, afsondret og mangler følelsesmæssig tone.

Stilen og dybden af AI’s svar afhænger af, hvilket kluster du dirigerer det til med din prompt.

Filosofien bag modeltræning og RLHF

Kunstig intelligens har forskellige tilgange til læring. Det er ikke så meget en filosofi som en strategi.

Den klassiske mulighed er overvåget læring, hvor modellen får en spørgsmål og det korrekte svar. Den lærer ved at observere, hvad der anses for korrekt, og reproducerer derefter lignende løsninger i fremtiden.

Men en anden tilgang er RLHF (Reinforcement Learning from Human Feedback). Dette er en anden stil: Modellen prøver noget, modtager en “belønning” for succesfulde handlinger og justerer derefter sin adfærd. Langsomt udvikler den en effektiv strategi.

RLHF kan sammenlignes med processen med at omdanne råmateriale til en færdig produkt. For at lave en model, der er behagelig at bruge, kræves en kolossal mængde arbejde med menneskelig feedback.

Forestil dig, at jeg viser dig et objekt uden at nævne det direkte. Du tøver: “Er det en cigaretæske? En kort holder?” Jeg giver kun hints som: “Tættere på,” “Fjernere,” “60% ja.” Efter hundredvis af sådanne iterationer gætter du: “Ah, det er en pung.”

LLM’er trænes på denne måde. Mennesker, annotatorer og fagfolk i almindelighed vurderer: Dette svar er godt, dette er dårligt, og tildeler score. Virksomheder som Keymakr, der specialiserer sig i højkvalitetsdata-annotation og -validering, spiller en nøglerolle i denne proces. Feedback kommer også fra almindelige brugere: likes, klager og reaktioner. Modellen fortolker disse signaler og danner adfærds mønstre.

Hvordan ser modeltræning ud i praksis

Et levende eksempel er OpenAI’s eksperiment med træning af agenter ved hjælp af forstærket læring i spillet “Gem og søger.”

To hold deltog i det: “søgerne” (røde) og “gemmerne” (blå). Reglerne var simple: Hvis en søger fangede en gemmer, fik de en point; hvis ikke, tabte de en. Til at begynde med havde agenterne kun grundlæggende fysiske evner, løb og hop, uden nogen foruddefinerede strategier.

I starten opførte søgerne sig kaotisk, og fangsten af modstandere skete ved tilfældighed. Men efter millioner af iterationer udviklede deres adfærd sig. Gemmerne begyndte at bruge omgivende objekter til at blokere døre og bygge barrierer. Disse færdigheder opstod uden direkte programmering, udelukkende gennem gentagne forsøg og belønninger for succes.

Som svar begyndte søgerne at bruge hop, en evne, der var tilgængelig fra begyndelsen, men tidligere var ignoreret. Efter en række fiaskoer afslørede den tilfældige brug af hop sin taktiske værdi. Derefter komplicerede gemmerne deres forsvar yderligere, fjernede objekter fra søgernes synsfelt og byggede mere pålidelige skjulesteder.

Eksperimentet viste, at gennem milliarder af cyklusser af forsøg, fejl, belønninger og straffe kan komplekse samarbejdende adfærd former sig uden udviklerintervention. Desuden begyndte agenterne at opføre sig koordineret, selv om kommunikationsmekanismer ikke var programmeret, simpelthen fordi teamwork beviste sig mere effektivt.

Det er det samme med store sprogmodeller. Det er umuligt at skrive alle scenarier: Der er for mange situationer og for stor variation i verden. Derfor lærer vi ikke modellen faste regler; vi lærer den, hvordan den kan lære.

Dette er værdien af RLHF. Uden det forbliver en LLM og agenter bare en samling af tekster. Med det bliver det en samtalepartner, der kan tilpasse sig, korrigere sig selv og i virkeligheden udvikle sig.

Hvad kommer härnæst?

Mange undrer sig over, om LLM’er og agentudviklinger kunne føre til uønskede eller endda farlige konsekvenser.

Det er vigtigt at forstå, at det, vi ser i dag, ikke engang er en MVP, men kun en prototype.

Den virkelige revolution vil ikke være om at hjælpe med at skrive et smukt brev eller oversætte det til fransk. Disse er små ting. Hovedretningen er automatisering af mikroopgaver og rutineprocesser, så mennesker kun har brug for at udføre virkelig kreative, intellektuelle opgaver eller have tid til hvile.

De virkelige innovationer er fokuseret omkring agenter, systemer, der kan uafhængigt tænke, handle og træffe beslutninger i stedet for et menneske. Det er netop her, virksomheder som OpenAI, Google, Meta og andre fokuserer deres indsats i dag.

Store sprogmodeller er kun grundlaget. Den sande fremtid ligger i agenter, der er trænet til at leve i en dynamisk verden, modtage feedback og tilpasse sig til ændringer.