AI-modeller og plattformer
Meta’s COCONUT: Den AI-metoden som tenker uten språk
Legg til Unite.AI blant dine foretrukne kilder på Google
Da forskerne først oppdaget at store språkmodeller (LLM) kunne “tenke” steg for steg gjennom chain-of-thought prompting, var det et gjennombruddsøyeblikk – endelig kunne vi kikke inn i resonneringsprosessen til disse black boxene. Men hva hvis jeg fortalte deg at å få AI-modeller til å tenke på naturlig språk kan holde dem tilbake?
Dette er det forskerne ved Meta og UC San Diego har avdekket med deres nye COCONUT (Chain of Continuous Thought) metode.
Tenk deg at du prøver å løse et komplekst matematisk problem mens du blir tvunget til å fortelle hver enkelt steg høyt. Irriterende, ikke sant? Nå er du nær ved å forstå den grundleggende utfordringen som språkmodellene står overfor.
Når vi får AI-modeller til å resonnere gjennom naturlig språk:
- De fleste tokenene de genererer er bare lingvistisk lim – ord som “derfor”, “neste” og “deretter” som ikke legger til noen resonneringsverdi
- Kritiske avgjørelsespunkter blir flaskehalsede av behovet for å binde seg til bestemte ord
- Modellen bruker betydelig beregningskraft på å opprettholde grammatisk kohensjon i stedet for faktisk problemløsning
Forskerne fant noe interessant i sine nevroimagingstudier: når mennesker takler komplekse resonneringsoppgaver, forblir ofte språksentrene i hjernene våre overraskende stille. Likevel har vi bygget AI-systemer som gjør det motsatte – tvunget dem til å oversette hver resonneringssteg til ord.
Tenk på hvordan du løser en puzzle. Din hjerne utforsker sannsynligvis flere muligheter samtidig, opprettholder fuzzy hypoteser og krystalliserer bare tankene dine til språk når du deler løsningen. Men tradisjonelle chain-of-thought-tilnærminger tvinger AI-modellene til å verbalisere hver mellomliggende steg, og skaper en “lingvistisk flaskehals”.
Dette innsikten ledet til en overbevisende spørsmål: Hva hvis vi kunne la AI-modellene resonnere på deres naturlige “språk” – det kontinuerlige, høydimensjonale rommet til deres skjulte tilstander – i stedet for å tvinge dem til å oversette alt til token?
Forståelse av COCONUTs innovasjon
Tenk deg forskjellen mellom å uttrykke dine tanker høyt og den faktiske mentale prosessen som skjer i hjernen din. Denne gapen – mellom verbaliserte tanker og nevralt aktivitet – er nettopp det Meta-forskerne tappet inn i med COCONUT.
Det virkelige gjennombruddet med COCONUT ligger i hvordan det lar AI-modellene tenke på to distinkte måter, på samme måte som mennesker gjør. Tenk på når du løser en kompleks puzzle – du forteller ikke hver enkelt mulig bevegelse i hodet ditt, gjør du?
- Absorber Problemet: Du tar inn informasjonen (som å lese puzzle-reglene)
- Tenker Stille: Din hjerne utforsker flere muligheter uten å sette dem i ord
- Del Løsningen: Først da forklarer du din tenkning til andre
COCONUT gir AI-modellene denne samme naturlige fleksibiliteten. I stedet for å tvinge dem til å “snakke” hver tanke høyt (som tradisjonelle metoder gjør), lar det dem tenke i deres naturlige nevale rom – det som forskerne kaller “latent rom”.
Modellen glir jevnt over mellom to moduser:
- Når den må forstå spørsmål eller gi svar, bruker den vanlig språk
- Men for den faktiske tenkingsprosessen? Den bruker rene nevale mønster, fritt fra språkets begrensninger
Bilde: Meta
Treningssreisen
En av de mest fascinerende aspektene ved COCONUT er dens treningsskur. Det som gjør denne spesiell er hvordan den speiler naturlig læringsprogresjon. Tenk på hvordan vi lærer komplekse ferdigheter – du kaster ikke noen rett i dybet med en gang. Du bygger opp gradvis, legger til kompleksitet ettersom de mestre hver nivå.
Forskerne tok nettopp denne tilnærmingen med COCONUT:
Steg 1: Grunnlaget
Først lærer modellen som enhver annen AI – gjennom tradisjonell chain-of-thought resonnering. Dette gir den en solid forståelse av grunnleggende konsepter.
Steg 2: Overgangen
Her er det blir interessant. Gradvis erstattes de skrevne resonneringsstegene med kontinuerlige tanker. Tenk deg å fjernet treningshjulene, la modellen utvikle sine egne interne tenkemønster.
Steg 3: Balansen
Til slutt lærer modellen å glide jevnt over mellom dypt tenkning i latent rom og kommunisere sine innsikter i klart språk.
Under trening utviklet modellen evner ingen hadde eksplisitt programmert – som å vurdere flere resonneringsveier samtidig. Dette emergente atferd er spesielt spennende fordi det antyder at vi kan være på vei mot mer naturlige former for AI-resonnering. Det er disse uventede utviklingene som ofte fører til de største gjennombruddene.
Husk de nevroimagingstudier jeg nevnte tidligere? De viste at menneskers hjerner ofte prosesserer komplekse resonneringsoppgaver uten å engasjere språksentrene i stor grad. COCONUT synes å utvikle lignende mønster – dypt tenkning i sitt naturlige nevale rom og bare omgjør til språk når det er nødvendig for kommunikasjon.
Tallene forteller en historie
Noen flere nøkkel funn står ut fra forskningen:
- Matematikkordproblemer (GSM8k): Her oppnådde COCONUT 34,1% nøyaktighet. Selv om dette er lavere enn tradisjonell Chain-of-Thought (42,9%), er det betydelig bedre enn baseline-tilnærminger.
- Logisk deduksjon (ProntoQA): COCONUT nådde 99,8% nøyaktighet, og overgikk tradisjonell Chain-of-Thoughts 98,8%. Men her er kickeren – det gjorde dette mens det brukte bare 9 token i motsetning til CoTs 92,5.
- Kompleks planlegging (ProsQA): De mest imponerende resultater kom fra denne avanserte resonneringstesten. COCONUT oppnådde 97% nøyaktighet mens tradisjonelle metoder bare nådde 77,5%. Og igjen, gjorde det dette med bemerkelsesverdig effisiens – 14,2 token i motsetning til 49,4.
Hva som gjør disse resultater løftende er ikke bare de rene tallene – det er hva de avslører om ulike typer tenkning. Mens COCONUT kan fortsatt være i ferd med å finne sin fot med matematisk resonnering, utmerker den seg i oppgaver som krever kompleks logisk planlegging og deduksjon.
COCONUT representerer en grunnleggende omtenkning av hvordan AI-systemer kan resonnere, og det bringer oss nærmere mer naturlige, effektive og kraftfulle former for kunstig intelligens. Reisen fra språkbasert resonnering til kontinuerlig tenkning er et skritt mot mer kapable og effektive AI-systemer.
