AI’s nye instinkt: Hvorfor smartere tenkning betyr mer enn lengre tenkning

Fremgangen i kunstig intelligens (AI) har lenge vært drevet av troen på at økt data og beregningskraft kan forbedre ytelsen. Denne “brute force”-tilnærmingen har ført til imponerende AI-systemer, som GPT-3, som har fungert merkelig godt gjennom årene. Men denne paradigmen nærmer seg grensene sine. Ettersom AI-problemer blir mer komplekse, blir det klart at å bare legge til mer beregningskraft ikke vil være en bærekraftig eller effektiv løsning for langvarig fremgang. Denne erkjennelsen har ført forskerne til å tenke om sin tilnærming til AI-utvikling. I denne sammenhengen introduserer Deep Cogito’s Cogito v2-modell en ny tilnærming som kan endre fremtiden for AI-utvikling. I stedet for å avhenge av mer beregningskraft eller utvidet resonnering, utvikler Cogito v2 interne “instinkter” som guider modellen til å identifisere riktige veier før den sogar begynner å søke. Dette er en paradigmeskift i hvordan AI utvikles ved å fokusere på smartere tenkning, ikke lengre.

En skift i AI-utvikling

I mange år har drivkraften bak AI-fremgangen vært ideen om at “mer er bedre”. Denne tilnærmingen har ført til AI-modeller som genererer omfattende resonneringskjeder for å løse komplekse problemer. OpenAI’s modeller, som GPT-3, er et eksempel på denne tilnærmingen, hvor lengre tenkningkjeder har ført til imponerende resultater på vanskelige oppgaver. Mens denne metoden har produsert imponerende resultater, kommer det med betydelige ulemper. Lengre resonneringskjeder krever mer beregningskraft, noe som resulterer i langsommere inferenstider og høyere driftskostnader. Dessuten har forskning vist at disse utvidede prosessene ofte fører til avtagende avkastning, hvor lengre resonnering fører til større bias og mindre effektivitet. Det grunnleggende problemet er at å avhenge av lange resonneringskjeder og økt beregningskraft ikke lenger er en effektiv løsning for å takle komplekse AI-problemer. Disse tilnærmingene er begrenset av deres massive prosesseringstid og minnekrav.

Hvorfor ‘instinkt’ betyr noe for AI

I motsetning til nåværende AI-systemer som avhenger av utvidet resonnering, avhenger mennesker ofte av det som kalles “instinkt” (en form for rask, intuitiv dømmekraft) for å løse problemer. Mens instinkt kan synes som et abstrakt konsept, er det ofte resultatet av års erfaring, læring og kontekstprosessering som tillater mennesker å ta raske beslutninger uten å fullstendig analysere hver enkelt detalj. Det er denne typen intuisjon som skiller rå beregning fra menneske-lignende resonnering. Mennesker bygger denne ‘instinkten’ gjennom mønster-gjenkjenning og akkumulert erfaring, og det ermögiller oss å ta beslutninger uten å uttømmende utforske hver enkelt mulig opsjon. AI’s nye “instinkt” har som mål å replikere denne prosessen.

Dette konseptet, også kjent som “intelligens-prior”, kan være en nøkkel til å gi AI-systemer med menneske-lignende resonnering og gjøre dem mer effektive. AI-modeller med sterk intelligens-prior kan forutse hvilke løsninger som sannsynligvis vil lykkes uten å måtte gå gjennom omfattende beregning. I stedet for å avhenge av uttømmende søke-metoder, ermöglicer instinkt AI-systemer å utnytte tidligere kunnskap, fokusere på de mest effektive veier til en løsning.

Hvordan Cogito v2 inkorporerte ‘instinkt’

Cogito har inkorporert ideen om ‘instinkt’ (mer teknisk, intelligens-prior) i sin nylig lanserte modell Cogito v2. De integrerte denne ideen ved hjelp av en mekanisme kalt Iterert destillasjon og forsterkning (IDA). Denne mekanismen ermöglicer modellen å lære fra sin egen resonneringsprosess og forfine sine problemløsningsevner over tid. I stedet for å avhenge av statiske promter eller faste lærere, ermöglicer IDA AI å destillere suksessfulle resonneringsveier tilbake til modellens kjerneparametre. Denne selv-forbedringsprosessen forbedrer modellens resonnerings-evne over tid, optimaliserer ikke bare for nøyaktige svar, men for de mest effektive måtene å tenke på.

• Iterert destillasjon og forsterkning (IDA)

For å forstå hvordan IDA fungerer, kan vi se på dual-prosess-teori, som deler menneskelig tenkning inn i to systemer: System 1 og System 2. System 1 refererer til rask, intuitiv beslutning, mens System 2 er langsommere, med mer bevisst resonnering. Teorien foreslår at mennesker avhenger av System 1 for de fleste oppgaver, men bytter til System 2 når de møter mer komplekse beslutninger.

IDA er en to-trinns syklus: forsterkning og destillasjon. I forsterkningsfasen bruker modellen intensive beregningsmetoder for å generere høykvalitetsløsninger eller resonnerings-spor. Dette er som System 2-tenkning, hvor AI tar tiden til å grundig evaluere potensielle løsninger. I destillasjonsfasen internaliserer modellen så innsiktene fra forsterkningsfasen, transformerer resonneringsprosessen fra System 2 til System 1. Akkurat som en menneskelig sjåfør blir mer intuitiv etter å ha fått erfaring, kan en AI-modell med IDA ta raske, mer effektive beslutninger over tid.

Den nøkkelideen bak IDA er å bruke beregningsintensive resonneringsmetoder i forsterkningsfasen, og deretter destillere den forbedrede resonneringen tilbake til modellens parametre. Denne prosessen ermöglicer modellen å internalisere effektive resonneringsstrategier som bygger dens evne til å tenke intuitivt når den løser problemer. Ved å gjenta denne syklusen, forbedrer AI-systemet kontinuerlig sin evne til å ta beslutninger med færre beregningsressurser.

Fordelene med å inkorporere ‘instinkt’ i AI

En av de viktigste fordelene med AI’s instinkt er dens effektivitet. Modeller som Cogito v2 demonstrerer resonneringskjeder som er opptil 60% kortere enn de til konkurransemodellene. Dette betyr at de kan nå frem til svar med færre interne steg, reduserer tiden og ressursene som kreves for inferens. For eksempel kan et problem som kan ta DeepSeek R1 over 200 token å løse, bli løst av Cogito v2 på under 100 token.

I tillegg er kostnadene ved å trene Cogito v2 betydelig lavere enn de til tradisjonelle AI-modeller. Hele treningsprosessen for Cogito v2, som dekker et bredt spekter av parametre, kostet under 3,5 millioner dollar, som er langt lavere enn utgiftene som vanligvis er forbundet med store modeller som GPT-4.

Cogito v2 har også demonstrert nye evner i områder det ikke ble eksplisitt trent for. For eksempel kan den, til tross for å være trent primært på tekst, resonere om bilder, trekke innsikt om bildekomposisjon og habitater. Denne tverrmodale resonnerings-evnen er et viktig skritt mot generalisert intelligens, en viktig milepæl på veien mot kunstig generell intelligens (AGI).

Omtenkning av AI-utvikling

Suksessen med intelligens-prior antyder at AI-utviklingsstrategier trenger en grunnleggende endring. I stedet for å bare skalerer opp modell-størrelse eller øke beregningskraft, bør AI-utvikling fokusere på å bygge systemer som kan utvikle og forfine sine egne kognitive strategier. Denne endringen speiler menneskelig kognitiv utvikling, hvor intelligens ikke er et resultat av en større hjerne eller mer tenkningstid, men snarere bedre mentale modeller og resonneringsstrategier. Denne endringen kan ha langvarige implikasjoner. Ved å fokusere på smartere resonnering enn rå beregningskraft, kan AI bli mer fleksibel, tilpasningsdyktig og i stand til å håndtere nye utfordringer. Denne endringen kan akselerere AI’s anvendelse i industrier som helse, sikkerhet og autonom transport, gjøre AI-systemer mer effektive, kostnadseffektive og innvirkende.

Bunnpunktet

Suksessen med Cogito v2 demonstrerer at fremtiden for AI ligger ikke i å skalerer opp modeller eller øke beregningskraft, men i å forbedre resonering-arkitekturer og optimalisere for smartere problemløsning. Denne endringen lover en mer bærekraftig og tilgjengelig fremtid for AI, hvor systemer kan kontinuerlig forbedre og tilpasse seg med mindre avhengighet av enorme beregningsressurser. Ved å fokusere på intelligent resonnering i stedet for brute-force-beregning, kan AI bli mer i stand til å takle komplekse, virkelige problemer.