Fra OpenAI sitt O3 til DeepSeek sitt R1: Hvordan simulert tenkning gjør LLM-er mer grundige

Store språkmodeller (LLM-er) har utviklet seg betydelig. Det som startet som enkle tekstgenererings- og oversettelsesverktøy brukes nå i forskning, beslutningstaking og kompleks problem løsning. En nøkkel faktor i denne utviklingen er LLM-ernes økende evne til å tenke mer systematisk ved å bryte ned problemer, evaluere flere muligheter og finjustere sine svar dynamisk. I stedet for bare å forutsi neste ord i en sekvens, kan disse modellene nå utføre strukturert resonnering, noe som gjør dem mer effektive til å håndtere komplekse oppgaver. Ledende modeller som OpenAI sitt O3, Google sitt Gemini (GOOGL ) og DeepSeek sitt R1 integrerer disse evnene for å forbedre sin evne til å prosessere og analysere informasjon mer effektivt.

Forståelse av simulert tenkning

Mennesker analyserer naturligvis forskjellige alternativer før de tar beslutninger. Uansett om vi planlegger en ferie eller løser et problem, simulerer vi ofte forskjellige planer i vårt hode for å evaluere flere faktorer, veie for- og ulemper og justere våre valg etter behov. Forskere integrerer denne evnen i LLM-er for å forbedre deres resonnerings evner. Her refererer simulert tenkning essensielt til LLM-ernes evne til å utføre systematisk resonnering før de genererer et svar. Dette er i motsetning til å bare hente et svar fra lagret data. En nyttig analogi er å løse et matematisk problem:

• En grundig AI kan gjenkjenne et mønster og raskt generere et svar uten å verifisere det.
• En AI som bruker simulert resonnering vil arbeide gjennom stegene, sjekke for feil og bekrefte sin logikk før den responderer.

Kjede av tanker: Læring av AI til å tenke i steg

Hvis LLM-er skal utføre simulert tenkning som mennesker, må de kunne bryte ned komplekse problemer i mindre, sekvensielle steg. Dette er der Kjede av tanker (CoT) teknikken spiller en avgjørende rolle.

CoT er en promptings tilnærming som guider LLM-er til å arbeide gjennom problemer metodisk. I stedet for å hoppe til konklusjoner, gjør denne strukturerte resonneringsprosessen det mulig for LLM-er å dele komplekse problemer inn i enklere, håndterbare steg og løse dem steg for steg.

For eksempel, når man løser et ordproblem i matematikk:

• En grundig AI kan forsøke å matche problemet med et tidligere sett eksempel og gi et svar.
• En AI som bruker Kjede av tanker resonnering vil angi hvert steg, logisk arbeide gjennom beregninger før den kommer til en sluttløsning.

Dette tilnærmingen er effektiv i områder som krever logisk deduksjon, fler-stegs problem løsning og kontekstuell forståelse. Mens tidligere modeller krevde menneskelige gitt resonneringskjeder, kan avanserte LLM-er som OpenAI sitt O3 og DeepSeek sitt R1 lære og anvende CoT resonnering adaptivt.

Hvordan ledende LLM-er implementerer simulert tenkning

Forskjellige LLM-er bruker simulert tenkning på forskjellige måter. Under følger en oversikt over hvordan OpenAI sitt O3, Google DeepMind sitt modell og DeepSeek-R1 utfører simulert tenkning, sammen med deres respektive styrker og begrensninger.

OpenAI O3: Tenkning fremover som en sjakkspiller

Selv om eksakte detaljer om OpenAI sitt O3-modell forblir ukjent, forskere tror det bruker en teknikk lignende Monte Carlo Tree Search (MCTS), en strategi brukt i AI-drevne spill som AlphaGo. Liksom en sjakkspiller som analyserer flere trekk før han bestemmer seg, utforsker O3 forskjellige løsninger, vurderer deres kvalitet og velger den mest lovende.

I motsetning til tidligere modeller som bare avhenger av mønster gjenkjenning, genererer O3 aktivt og finjusterer resonnerings stier ved hjelp av CoT-teknikker. Under inferens, utfører den ytterligere beregningssteg for å konstruere flere resonneringskjeder. Disse vurderes av en vurderingsmodell—sannsynligvis en belønning modell trent for å sikre logisk kohens og riktighet. Det endelige svaret velges basert på en poengsystem for å gi et vel begrunnet uttalelse.

O3 følger en strukturert multi-stegs prosess. Først er det finjustert på en enorm datasett av menneskelige resonneringskjeder, internaliserer logisk tenkning mønster. Under inferens, genererer det flere løsninger for et gitt problem, rangerer dem basert på riktighet og kohens, og finjusterer den beste hvis nødvendig. Selv om denne metoden tillater O3 å selv-korrigerende før det responderer og forbedre nøyaktigheten, er det en avveining—å utforske flere muligheter krever betydelig prosesseringskraft, noe som gjør det langsommere og mer ressurskrevende. Likevel, utmerker O3 seg i dynamisk analyse og problem løsning, noe som plasserer det blant dagens mest avanserte AI-modeller.

Google DeepMind: Finjustering av svar som en redaktør

DeepMind har utviklet en ny tilnærming kalt “mind evolution“, som behandler resonnering som en iterativ finjusteringsprosess. I stedet for å analysere flere fremtidige scenarioer, fungerer denne modellen mer som en redaktør som finjusterer forskjellige utkast av en artikkel. Modellen genererer flere mulige svar, vurderer deres kvalitet og finjusterer det beste.

Inspirert av genetiske algoritmer, sikrer denne prosessen høykvalitets svar gjennom iterasjon. Den er særlig effektiv for strukturerte oppgaver som logiske puslespill og programmeringsutfordringer, hvor klare kriterier bestemmer det beste svaret.

Likevel har denne metoden begrensninger. Siden den avhenger av et eksternt poengsystem for å vurdere svarkvalitet, kan den stride med abstrakt resonnering uten et klart riktig eller galt svar. I motsetning til O3, som dynamisk resonnerer i sanntid, fokuserer DeepMind sitt modell på å finjustere eksisterende svar, noe som gjør det mindre fleksibelt for åpne spørsmål.

DeepSeek-R1: Læring til å resonere som en student

DeepSeek-R1 bruker en forsterkingslæringsbasert tilnærming som tillater det å utvikle resonnerings evner over tid, i stedet for å evaluere flere svar i sanntid. I stedet for å avhenge av forhånds generert resonneringsdata, lærer DeepSeek-R1 ved å løse problemer, motta tilbakemelding og forbedre iterativt—lignende hvordan studenter finjusterer sine problem løsnings evner gjennom praksis.

Modellen følger en strukturert forsterkingslærings syklus. Den starter med en basis modell, som DeepSeek-V3, og blir promptet til å løse matematiske problemer steg for steg. Hvert svar blir verifisert gjennom direkte kode eksekvering, og unngår behovet for en ekstra modell for å validere riktighet. Hvis løsningen er korrekt, blir modellen belønnet; hvis den er feil, blir den straffet. Denne prosessen blir gjentatt omfattende, og tillater DeepSeek-R1 å finjustere sine logiske resonnerings evner og prioritere mer komplekse problemer over tid.

En viktig fordel med denne tilnærmingen er effektivitet. I motsetning til O3, som utfører omfattende resonnering under inferens, integrerer DeepSeek-R1 resonnerings evner under trening, noe som gjør det raskere og mer kostnadseffektivt. Det er høyt skalerbart siden det ikke krever en stor merket datasett eller en dyrekostet verifiseringsmodell.

Likevel har denne forsterkingslæringsbaserte tilnærmingen avveininger. Fordi den avhenger av oppgaver med verifiserbare resultater, utmerker det seg i matematikk og programmering. Likevel kan det stride med abstrakt resonnering i lov, etikk eller kreativ problem løsning. Mens matematisk resonnering kan overføres til andre domener, er dens bredere anvendelighet usikker.

Tabell: Sammenligning mellom OpenAI sitt O3, DeepMind sitt Mind Evolution og DeepSeek sitt R1

Fremtiden for AI-resonnering

Simulert resonnering er et viktig skritt mot å gjøre AI mer pålitelig og intelligent. Mens disse modellene utvikler seg, vil fokuset skifte fra å bare generere tekst til å utvikle robuste problem løsnings evner som ligner menneskelig tenkning. Fremtidige fremgang vil sannsynligvis fokusere på å gjøre AI-modeller i stand til å identifisere og korrigere feil, integrere dem med eksterne verktøy for å verifisere svar, og gjenkjenne usikkerhet når de møter tvetydig informasjon. Likevel er en nøkkelutfordring å balansere resonnerings dybde med beregnings effektivitet. Det ultimate målet er å utvikle AI-systemer som omhyggelig vurderer sine svar, sikrer nøyaktighet og pålitelighet, lignende en menneskelig ekspert som omhyggelig vurderer hver beslutning før de handler.