När AI tänker som människor: Utforska sinnet hos LLM och agenter

Idag lär sig LLM och agenter, analyserar och fattar beslut på sätt som kan suddra ut gränsen mellan deras algoritmiska “tänkande” och den mänskliga hjärnan. De metoder de byggs på imiterar redan våra kognitiva processer, och omfattningen av deras utbildning överträffar mänsklig erfarenhet med flera storleksordningar. Detta väcker frågan: skapar vi ett verktyg som utvidgar våra förmågor, eller ger vi upphov till en ny typ av sinne vars konsekvenser fortfarande är omöjliga att förutsäga?

Hur modeller tänker

Det är viktigt att skilja mellan begreppen LLM och agenter. För att dra en analogi med en dator kan en LLM jämföras med en av dess komponenter, till exempel processorn. En agent, å andra sidan, är hela systemet, en “moderbräda” till vilken olika moduler är anslutna: minne, grafikkort och nätverk. På samma sätt är en agent ett komplext system som kan inkorporera en eller flera LLM, kompletterade med beslutsfattande mekanismer och verktyg för interaktion med den yttre miljön.

Om vi överväger arbetet med en enda LLM, handlar allt om mönsterigenkänning. Men när en agent kedjar samman flera LLM, kan vi säga att den “tänker”, även om denna process fortfarande bygger på mönster. Agenten konstruerar logiken för interaktionen mellan modellerna: till exempel analyserar en LLM uppgiften, och baserat på denna analys, bestämmer agenten vilken åtgärd en annan LLM ska utföra.

Mänskligt tänkande fungerar på ett liknande sätt: vi förlitar oss på ackumulerad kunskap och mönster, väljer dem vid rätt tillfälle, bearbetar dem och formulerar slutsatser. Denna process kallas resonemang.

ChatGPT, liksom en människa, har två typer av minne: korttidsminne och långtidsminne. Skillnaden är att hos människor är tillgången till dessa minnesnivåer mer komplex och inte alltid linjär.

Korttidsminne är information vi arbetar med just nu. För en person kan det vara vad du sa för fem minuter sedan: de kan komma ihåg det eller inte. GPT, å andra sidan, tar alltid hänsyn till allt inom dess “kontextfönster” – den kan inte hoppa över eller ignorera denna data.

Långtidsminne hos människor består av minnen som inte alltid är aktiva och kan bara dyka upp med specifika utlösare: en barndomsminne, en trauma eller, till exempel, arbete med en psykolog. GPT har en liknande logik: den “påminner sig” inte information på egen hand om den inte specifikt aktiveras. Till exempel kan en instruktion som “Fråga mig aldrig igen” eller “Tilltala mig alltid formellt” sparas i långtidsminne och tillämpas under varje session.

Ett annat exempel på långtidsminne är sparade dokument. Anta att du har laddat upp en instruktion för att genomföra marknadsundersökningar till GPT. Modellen kan spara den i minnet, men det betyder inte att den kommer att hänvisa till det dokumentet med varje fråga. Om du frågar: “Kan du lysa med en lampa på månen?” kommer GPT att ignorera instruktionen. Men om begäran innehåller nyckelord som matchar dokumentets text, kan modellen “påminna sig” det.

Denna mekanism implementeras genom RAG (Retrieval-Augmented Generation), ett tillvägagångssätt där modellen får tillgång till sparad information utlöst av relevanta signaler via vektordatabaser.

Således kan det sägas att modellen verkligen har minne, men det fungerar enligt en annan, mer formaliserad logik, skild från mänskligt minne.

Varför känns en konversation med AI ibland terapeutisk och ibland kall och robotliknande?

Modern språkmodell är extremt stor: den lagrar en enorm mängd data, kunskap och kontext. All denna information är organiserad i så kallade “kluster”, tematiska och semantiska områden. Modellen har tränats på olika källor, från skönlitteratur och vetenskapliga artiklar till YouTube-kommentarer.

När du interagerar med AI, riktar din fråga (prompt) effektivt modellen till ett visst kluster.

Till exempel, om du skriver: “Du är en fastighetsjurist i New York med 20 års erfarenhet, hjälp mig att köpa en lägenhet”, aktiverar modellen flera kluster samtidigt: jurist → New York → fastighet. Som resultat får du ett sammanhängande, relevant och realistiskt svar, som om du verkligen konsulterade en erfaren professionell.

Om frågan gäller mer personliga eller filosofiska ämnen, som personlig utveckling eller känslor, “skiftar” modellen till andra kluster, som psykologi, filosofi eller inre arbete. I detta fall kan dess svar verka förvånansvärt mänskliga och till och med terapeutiska.

Men med alltför allmän eller vag formulering “går” modellen “vilse” i sin klusterstruktur och ger ett standardiserat svar, formellt, avlägset och saknar emotionell ton.

Stilen och djupet i AI:s svar beror på vilket kluster du riktar det till med din prompt.

Filosofin bakom modellträning och RLHF

Artificiell intelligens har olika tillvägagångssätt för lärande. Det är inte så mycket en filosofi som en strategi.

Det klassiska alternativet är övervakat lärande, där modellen får en fråga och det korrekta svaret. Den lär sig genom att observera vad som anses vara korrekt och sedan reproducera liknande lösningar i framtiden.

Men ett annat tillvägagångssätt är RLHF (Reinforcement Learning from Human Feedback). Detta är en annan stil: modellen försöker något, får en “belöning” för framgångsrika handlingar och justerar sitt beteende. Gradvis utvecklar den en effektiv strategi.

RLHF kan jämföras med processen att omvandla råmaterial till en färdig produkt. För att skapa en modell som är bekväm att använda, krävs en enorm mängd arbete med mänsklig återkoppling.

Tänk dig att jag visar dig ett föremål utan att namnge det direkt. Du tvekar: “Är det ett cigarettetui? Ett kortfodral?” Jag ger bara ledtrådar som: “Närmare”, “Längre bort”, “60% ja”. Efter hundratals sådana iterationer gissar du: “Ah, det är en plånbok”.

LLM tränas på detta sätt. Människor, annotatorer och yrkesverksamma i allmänhet, utvärderar: detta svar är bra, detta är dåligt, och tilldelar poäng. Företag som Keymakr, som specialiserar sig på högkvalitativ dataannotering och validering, spelar en nyckelroll i denna process. Återkoppling kommer också från vanliga användare: gillanden, klagomål och reaktioner. Modellen tolkar dessa signaler och bildar beteendemönster.

Hur modellträning ser ut i praktiken

Ett tydligt exempel är OpenAI:s experiment med att träna agenter med förstärkt lärande i spelet “Göm och sök”.

Två lag deltog i det: “sökarna” (röd) och “gömarna” (blå). Reglerna var enkla: om en sökare fångar en gömmande, tjänar de en poäng; om inte, förlorar de en. Initialt hade agenterna bara grundläggande fysiska förmågor, springande och hoppande, utan några fördefinierade strategier.

I början agerade sökarna kaotiskt, och att fånga motståndare hände av en slump. Men efter miljontals iterationer utvecklades deras beteende. Gömmarna började använda omgivande föremål för att blockera dörrar och bygga barriärer. Dessa färdigheter uppkom utan direkt programmering, enbart genom upprepade försök och belöningar för framgång.

I respons började sökarna använda hoppande, en förmåga som var tillgänglig från början men tidigare ignorerades. Efter en serie misslyckanden avslöjade det slumpmässiga användandet av hoppande dess taktiska värde. Därefter komplicerade gömmarna sitt försvar ytterligare, genom att ta bort föremål från sökarnas synlinje och bygga mer tillförlitliga skydd.

Experimentet visade att genom miljarder cykler av försök, fel, belöningar och straff, kan komplext samarbetsbeteende bildas utan utvecklarens ingripande. Dessutom började agenterna agera i samordning, trots att kommunikationsmekanismer inte var programmerade, enbart för att samarbete visade sig vara mer effektivt.

Det är samma sak med stora språkmodeller. Det är omöjligt att skriva alla scenarier: det finns för många situationer och för stor variation i världen. Därför lär vi inte modellen fasta regler; vi lär den hur den kan lära sig.

Detta är värdet av RLHF. Utan det förblir en LLM och agenter bara en bibliotek av texter. Med det blir det en konversationspartner som kan anpassa sig, korrigera sig själv och, i princip, utvecklas.

Vad händer sedan?

Många undrar om utvecklingen av LLM och agenter kan leda till oönskade eller till och med farliga konsekvenser.

Det är viktigt att förstå att vad vi ser idag inte ens är en MVP, utan bara en prototyp.

Den riktiga revolutionen kommer inte att handla om att hjälpa till att skriva ett vackert brev eller översätta det till franska. Det är småsaker. Huvudriktningen är automatiseringen av mikrouppgifter och rutinprocesser, och lämnar människor bara riktigt kreativa, intellektuella uppgifter eller tid för vila.

Verkliga innovationer fokuserar på agenter, system som kan oberoende tänka, agera och fatta beslut istället för en person. Det är precis där företag som OpenAI, Google, Meta och andra fokuserar sina ansträngningar idag.

Stora språkmodeller är bara grunden. Den verkliga framtiden ligger i agenter som tränats för att leva i en dynamisk värld, ta emot återkoppling och anpassa sig till förändringar.