AI-modeller og platforme
Meta’s COCONUT: Den AI-metode, der tænker uden sprog
Føj Unite.AI til dine foretrukne kilder på Google
Da forskerne først opdagede, at store sprogmodeller (LLM’er) kunne “tænke” trin for trin gennem chain-of-thought-prompting, var det et gennembrudsmoment – endelig kunne vi kigge ind i den tænkende proces i disse sorte kasser. Men hvad hvis jeg fortalte dig, at det at få AI-modeller til at tænke på naturlig sprog måske holder dem tilbage?
Det er, hvad forskerne ved Meta og UC San Diego har opdaget med deres nye COCONUT-metode (Chain of Continuous Thought).
Forestil dig, at du forsøger at løse et komplekst matematisk problem, mens du er tvunget til at fortælle hver enkelt trin højt. Irriterende, ikke?
Når vi får AI-modeller til at tænke gennem naturligt sprog:
- De fleste tokens, de genererer, er bare lingvistisk lim – ord som “derfor”, “næste” og “herefter”, som tilføjer ingen tænkning værdi
- Kritiske beslutningspunkter bliver begrænsede af behovet for at binde sig til bestemte ord
- Modellen bruger betydelig beregningskraft på at opretholde grammatisk kohærens i stedet for egentlig problemløsning
Forskerne fandt noget interessant i deres neuroimaging-studier: Når mennesker løser komplekse tænkningstasks, forbliver sprogcenterne i vores hjerner ofte overraskende stille. Alligevel har vi bygget AI-systemer, der gør det modsatte – tvunget dem til at oversætte hver tænkningstrin til ord.
Tænk på, hvordan du løser en puzzle. Din hjernelige udforsker sandsynligvis multiple muligheder samtidigt, opretholder fuzzy hypoteser og krystalliserer kun dine tanker til sprog, når du deler løsningen. Men traditionelle chain-of-thought-tilgange tvunger AI-modeller til at verbalisere hver mellemtrin, og skaber en “lingvistisk flaskehals”.
Denne indsigt førte til en overbevisende spørgsmål: Hvad hvis vi kunne lade AI-modeller tænke på deres naturlige “sprog” – det kontinuerte, højdimensionale rum af deres skjulte tilstande – i stedet for at tvinge dem til at oversætte alt til tokens?
Forståelse af COCONUT’s innovation
Forestil dig forskellen mellem at tale dine tanker højt og den faktiske mentale proces, der sker i din hjernelige. Denne forskel – mellem verbaliserede tanker og neurale aktiviteter – er præcis, hvad Meta’s forskere har udnyttet med COCONUT.
Det virkelige gennembrud i COCONUT ligger i, hvordan det lader AI-modeller tænke på to forskellige måder, ligesom mennesker gør. Tænk på, når du løser en kompleks puzzle – du fortæller ikke hver enkelt mulig trin i din hjernelige, gør du?
- Absorber Problemet: Du tager imod informationen (som at læse puzzlens regler)
- Tænk Stille: Din hjernelige udforsker multiple muligheder uden at sætte dem i ord
- Del Løsningen: Først derefter forklarer du din tænkning for andre
COCONUT giver AI-modellerne denne samme naturlige fleksibilitet. I stedet for at tvinge dem til at “tale” hver tanke højt (som traditionelle metoder gør), lader det dem tænke i deres naturlige neurale rum – det, som forskerne kalder “latent rummet”.
Modellen skifter gnidningsløst mellem to tilstande:
- Når den skal forstå spørgsmål eller give svar, bruger den almindeligt sprog
- Men til den faktiske tænkning? Den bruger rene neurale mønstre, fri for ordens begrænsninger
Billede: Meta
Uddannelsesrejsen
En af de mest fascinerende aspekter af COCONUT er dens uddannelsesplan. Det, der gør denne særlig, er, hvordan den spejler den naturlige læringsfremgang. Tænk på, hvordan vi underviser komplekse færdigheder – du kaster ikke bare nogen ud i dybet med det samme. Du bygger op gradvist, tilføjer kompleksitet, efterhånden som de mestrer hver niveau.
Forskerne tog denne præcis tilgang med COCONUT:
Stadium 1: Grundlaget
Først lærer modellen som enhver anden AI – gennem traditionel chain-of-thought-tænkning. Dette giver det en solid grundforståelse.
Stadium 2: Overgangen
Her bliver det interessant. Langsomt erstattes de skrevne ud tænkningstrin med kontinuerte tanker. Forestil dig langsomt at fjerne træningshjulene, så modellen kan udvikle sine egne interne tænkningstrends.
Stadium 3: Balancen
Til sidst lærer modellen at skifte gnidningsløst mellem dyb tænkning i latent rum og kommunikation af indsigt i klart sprog.
Under uddannelse udviklede modellen evner, som ingen havde programmeret ekslicit – som at overveje multiple tænkningstrends samtidigt. Dette emergente adfærd er særligt spændende, fordi det antyder, at vi måske er på vej mod mere naturlige former for AI-tænkning. Det er disse uventede udviklinger, der ofte fører til de største gennembrud.
Husk de neuroimaging-studier, jeg nævnte tidligere? De viste, at menneskers hjerner ofte behandler komplekse tænkningstasks uden at engagere sprogcenterne kraftigt. COCONUT synes at udvikle lignende mønstre – dyb tænkning i dens naturlige neurale rum og kun omdannelse til sprog, når det er nødvendigt for kommunikation.
Tallene fortæller en historie
Nogle flere nøglefund fremhæver sig fra forskningen:
- Matematiske ordproblemer (GSM8k): Her opnåede COCONUT 34,1% nøjagtighed. Selvom dette er lavere end traditionel Chain-of-Thought (42,9%), er det væsentligt bedre end baseline-tilgange.
- Logisk deduktion (ProntoQA): COCONUT opnåede 99,8% nøjagtighed, og overgik traditionel Chain-of-Thought’s 98,8%. Men her er kickeren – det gjorde dette, mens det kun brugte 9 tokens i sammenligning med CoT’s 92,5.
- Kompleks planlægning (ProsQA): De mest imponerende resultater kom fra denne avancerede tænkningstest. COCONUT opnåede 97% nøjagtighed, mens traditionelle metoder kun nåede 77,5%. Og igen gjorde det dette med bemærkelsesværdig effektivitet – 14,2 tokens i sammenligning med 49,4.
Hvad der gør disse resultater lovende, er ikke kun de rene tal – det er, hvad de afslører om forskellige typer tænkning. Mens COCONUT måske stadig finder sin fod med matematisk tænkning, excellerer det i opgaver, der kræver kompleks logisk planlægning og deduktion.
COCONUT repræsenterer en grundlæggende omformning af, hvordan AI-systemer kan tænke, og det bringer os tættere på mere naturlige, effektive og kraftfulde former for kunstig intelligens. Rejsen fra sprog-baseret tænkning til kontinuert tænkning er et skridt mod mere kapable og effektive AI-systemer.
