AI sin nye instinkt: Hvorfor smartere tenkning betyr mer enn lengre tenkning

Fremgangene i kunstig intelligens (KI) har lenge vært drevet av troen på at økt data og beregningskraft kan forbedre ytelsen. Denne “brute force”-tilnærmingen har ført til imponerende KI-systemer, som GPT-3, som har fungert usedvanlig godt gjennom årene. Imidlertid nærmer denne paradigmen seg grensene sine. Ettersom KI-problemene blir mer komplekse, blir det klart at å bare legge til mer prosessorkraft ikke vil være en bærekraftig eller effektiv løsning for langvarig fremgang. Denne erkjennelsen har ført forskerne til å tenke om sin tilnærming til KI-utvikling på nytt. I denne sammenhengen introduserer Deep Cogitos Cogito v2-modell en ny tilnærming som kan endre fremtiden for KI-utvikling. I stedet for å avhenge av mer prosessorkraft eller forlenget resonnering, utvikler Cogito v2 interne “instinkter” som guider modellen til å identifisere riktige løsninger før den overhodet begynner å søke. Dette er en paradigmeskifte i hvordan KI utvikles, ved å fokusere på smartere tenkning, ikke lengre.

En skifte i KI-utvikling

I mange år har drivkraften bak KI-fremgangen vært ideen om at “mer er bedre”. Denne tilnærmingen har ført til KI-modeller som genererer omfattende resonneringskjeder for å løse komplekse problemer. OpenAIs modeller, som GPT-3, er et eksempel på denne tilnærmingen, der lengre tenkningkjeder har ført til imponerende resultater på vanskelige oppgaver. Selv om denne metoden har gitt imponerende resultater, har den også betydelige ulemper. Lengre resonneringskjeder krever mer beregningskraft, noe som resulterer i langsommere inferenstider og høyere driftskostnader. I tillegg har forskning vist at disse forlengede prosessene ofte fører til avtagende avkastning, der lengre resonnering fører til større bias og mindre effektivitet. Det grunnleggende problemet er at å avhenge av lange resonneringskjeder og økt beregningskraft ikke lenger er en effektiv løsning for å takle komplekse KI-problemer. Disse tilnærmingene er begrensede av deres massive prosesseringstid og minnekrav.

Hvorfor ‘instinkt’ betyr noe for KI

I motsetning til nåværende KI-systemer som avhenger av forlenget resonnering, avhenger mennesker ofte av det som kalles “instinkt” (en form for rask, intuitiv dømmekraft) for å løse problemer. Selv om instinkt kan synes som et abstrakt begrep, er det ofte resultatet av års erfaring, læring og kontekstbehandling som tillater mennesker å ta raske beslutninger uten å fullstendig analysere hver enkelt detalj. Det er denne type intuisjon som skiller rå beregning fra menneske-lignende resonnering. Mennesker bygger denne ‘instinkten’ gjennom mønster-gjenkjenning og akkumulert erfaring, og det gjør det mulig for oss å ta beslutninger uten å uttømmende utforske hver mulig løsning. KI sin nye “instinkt” har som mål å replikere denne prosessen.

Denne ideen, også kjent som “intelligens-prior”, kan være en nøkkel til å gi KI-systemer menneske-lignende resonnering og gjøre dem mer effektive. KI-modeller med sterk intelligens-prior kan forutse hvilke løsninger som sannsynligvis vil lykkes uten å måtte gå gjennom omfattende beregning. I stedet for å avhenge av uttømmende søke-metoder, tillater instinkt KI-systemer å utnytte tidligere kunnskap, fokusere på de mest effektive løsningene.

Hvordan Cogito v2 inkorporerte ‘instinkt’

Cogito har inkorporert ideen om ‘instinkt’ (mer teknisk, intelligens-prior) i sin nylig lanserte modell Cogito v2. De integrerte denne ideen ved hjelp av en mekanisme kalt Iterert destillasjon og forsterkning (IDA). Denne mekanismen gjør det mulig for modellen å lære fra sin egen resonneringsprosess og forbedre sine problemløsningsevner over tid. I stedet for å avhenge av statiske promter eller faste lærere, gjør IDA det mulig for KI å destillere vellykkede resonneringsløsninger tilbake til sine grunnleggende modellparametere. Denne selvforbedringsprosessen forbedrer modellens resonnerings-evner over tid, optimaliserer ikke bare for nøyaktige svar, men også for de mest effektive måtene å tenke på.

• Iterert destillasjon og forsterkning (IDA)

For å forstå hvordan IDA fungerer, kan vi se på dual-prosess-teori, som deler menneskelig tenkning inn i to systemer: System 1 og System 2. System 1 refererer til rask, intuitiv beslutning, mens System 2 er langsommere, med mer bevisst resonnering. Teorien foreslår at mennesker avhenger av System 1 for de fleste oppgaver, men skifter til System 2 når de konfronteres med mer komplekse beslutninger.

IDA er en to-trinns syklus: forsterkning og destillasjon. I forsterkningsfasen bruker modellen intensive beregningsmetoder for å generere høykvalitetsløsninger eller resonneringsløsninger. Dette er som System 2-tenkning, der KI tar tid til å nøye vurdere potensielle løsninger. I destillasjonsfasen internaliserer modellen så innsiktene fra forsterkningsfasen, transformerer resonneringsprosessen fra System 2 til System 1. Like som en menneskelig sjåfør blir mer intuitiv etter å ha fått erfaring, kan en KI-modell med IDA ta raskere og mer effektive beslutninger over tid.

Den viktigste ideen bak IDA er å bruke beregningsintensive resonneringsmetoder i forsterkningsfasen, og deretter destillere den forbedrede resonneringen tilbake til modellens parametre. Denne prosessen gjør det mulig for modellen å internalisere effektive resonneringsstrategier som bygger dens evne til å tenke intuitivt når den løser problemer. Ved å gjenta denne syklusen, forbedrer KI-systemet kontinuerlig sin evne til å ta beslutninger med færre beregningsressurser.

Fordelene med å inkorporere ‘instinkt’ i KI

En av de viktigste fordelene med KI sin “instinkt” er dens effektivitet. Modeller som Cogito v2 demonstrerer resonneringskjeder som er opptil 60% kortere enn de til konkurransemodellene. Dette betyr at de kan nå frem til løsninger med færre interne steg, noe som reduserer tiden og ressursene som kreves for inferens. For eksempel kan et problem som kan ta DeepSeek R1 over 200 token å løse, bli løst av Cogito v2 på under 100 token.

I tillegg er kostnadene ved å trene Cogito v2 betydelig lavere enn de til tradisjonelle KI-modeller. Hele treningprosessen for Cogito v2, som dekker et bredt spekter av parametre, kostet under 3,5 millioner dollar, noe som er langt mindre enn utgiftene som vanligvis er forbundet med store modeller som GPT-4.

Cogito v2 har også demonstrert emergente evner i områder det ikke var eksplisitt trent for. For eksempel kan Cogito v2, til tross for å være trent primært på tekst, resonere om bilder, og trekke slutsatser om bildekomposisjon og habitater. Denne cross-modale resonneringsevnen er et viktig skritt mot generalisert intelligens, et viktig milepæl på veien mot kunstig general intelligens (AGI).

Omtenkning av KI-utvikling

Suksessen med intelligens-prior antyder at KI-utviklingsstrategier trenger en grunnleggende endring. I stedet for å bare skalerer opp modellstørrelsen eller øke beregningsressursene, bør KI-utvikling fokusere på å bygge systemer som kan utvikle og forbedre sine egne kognitive strategier. Denne endringen speiler menneskelig kognitiv utvikling, der intelligens ikke er et resultat av en større hjerne eller mer tenketid, men heller bedre mentale modeller og resonneringsstrategier. Denne endringen kan ha langvarige implikasjoner. Ved å fokusere på smartere resonnering enn rå beregningskraft, kan KI bli mer fleksibel, tilpasningsdyktig og i stand til å håndtere nye utfordringer. Denne endringen kan akselerere KI sin anvendelse i industrier som helse, sikkerhet og autonom transport, og gjøre KI-systemer mer effektive, kostnadseffektive og innflytelsesrike.

Bunnen av saken

Suksessen med Cogito v2 demonstrerer at fremtiden for KI ligger ikke i å skalerer opp modeller eller øke beregningskraft, men i å forbedre resonneringsarkitekturer og optimalisere for smartere problemløsning. Denne endringen lover en mer bærekraftig og tilgjengelig fremtid for KI, der systemer kan kontinuerlig forbedre og tilpasse seg med mindre avhengighet av massive beregningsressurser. Ved å fokusere på intelligent resonnering enn brute-force-beregning, kan KI bli mer i stand til å håndtere komplekse, virkelige problemer.