AI:s nya magkänsla: Varför smartare tänkande är viktigare än längre tänkande

Framstegen inom artificiell intelligens (AI) har länge drivits av tron att ökad data och beräkningskraft kan förbättra prestandan. Denna “brutala” tillvägagångssätt har lett till imponerande AI-system, såsom GPT-3, som har presterat remarkabelt bra under åren. Men denna paradigm är på väg att nå sina gränser. När AI-problem blir mer komplexa, blir det tydligt att enbart att lägga till mer processorkraft inte kommer att vara en hållbar eller effektiv lösning för långsiktig framgång. Denna insikt har fått forskare att tänka om sin tillvägagångssätt för AI-utveckling. I detta sammanhang introducerar Deep Cogitos Cogito v2-modell en ny tillvägagångssätt som kan förändra framtiden för AI-utveckling. Istället för att förlita sig på mer processorkraft eller förlängd resonemang, utvecklar Cogito v2 interna “magkänslor” som guidar modellen att identifiera rätt vägar innan den ens börjar sökningen. Detta är en paradigmskift i hur AI utvecklas genom att fokusera på smartare tänkande, inte längre.

En skiftning i AI-utveckling

Under många år har den drivande kraften bakom AI-framsteg varit idén att “mer är bättre”. Denna tillvägagångssätt har lett till AI-modeller som genererar omfattande resonemangskedjor för att lösa komplexa problem. OpenAI:s modeller, såsom GPT-3, är ett exempel på denna tillvägagångssätt, där längre resonemangskedjor har lett till imponerande resultat på svåra uppgifter. Medan denna metod har gett imponerande resultat, har den betydande nackdelar. Längre resonemangskedjor kräver mer beräkningsresurser, vilket resulterar i långsammare inferenstider och högre driftskostnader. Dessutom har forskning visat att dessa förlängda processer ofta leder till avtagande avkastning, där längre resonemang leder till större bias och mindre effektivitet. Det grundläggande problemet är att förlita sig på långa resonemangskedjor och ökad beräkningskraft är inte längre en effektiv lösning för att tackla komplexa AI-problem. Dessa tillvägagångssätt är begränsade av deras massiva bearbetningstid och minneskrav.
<h2.Varför 'magkänsla' är viktig för AI

Till skillnad från nuvarande AI-system som förlitar sig på förlängd resonemang, förlitar sig människor ofta på vad som kallas “magkänsla” (en form av snabb, intuitiv bedömning) för att lösa problem. Medan magkänsla kan verka som ett abstrakt begrepp, är det ofta resultatet av år av erfarenhet, lärande och kontextbearbetning som tillåter människor att fatta snabba beslut utan att fullständigt analysera varje detalj. Det är denna typ av intuition som skiljer rå beräkning från mänskligt resonemang. Människor bygger denna ‘magkänsla’ genom mönsterigenkänning och ackumulerad erfarenhet, och det möjliggör oss att fatta beslut utan att uttömmande undersöka varje möjlig alternativ. AI:s nya “magkänsla” syftar till att replikera denna process.

Denna idé, som också kallas “intelligensprior”, kan vara en nyckel till att ge AI-system mänskligt resonemang och göra dem mer effektiva. AI-modeller med stark intelligensprior kan förutse vilka lösningar som sannolikt kommer att lyckas utan att behöva gå igenom omfattande beräkningar. Istället för att förlita sig på uttömmande sökmetoder, tillåter magkänsla AI-system att utnyttja tidigare kunskap, fokusera på de mest effektiva vägarna till en lösning.

Hur Cogito v2 inkorporerade ‘magkänsla’

Cogito har inkorporerat idén om ‘magkänsla’ (mer tekniskt, intelligensprior) i sin nyligen släppta modell Cogito v2. De integrerade denna idé med hjälp av en mekanism som kallas Iterated Distillation and Amplification (IDA). Denna mekanism möjliggör för modellen att lära av sin egen resonemangsprocess och förbättra sin problemlösningsförmåga över tid. Istället för att förlita sig på statiska prompter eller fasta lärare, möjliggör IDA för AI att destillera framgångsrika resonemangsvägar tillbaka till modellens kärnparametrar. Denna självförbättringsprocess förfinar modellens resonemangs förmåga över tid, optimerar inte bara för exakta svar, utan för de mest effektiva metoderna för tänkande.

• Iterated Distillation and Amplification (IDA)

För att förstå hur IDA fungerar, kan vi titta på dual-process theory, som delar in mänskligt tänkande i två system: System 1 och System 2. System 1 refererar till snabb, intuitiv beslutsfattning, medan System 2 är långsammare, med mer medveten resonemang. Teorin föreslår att människor förlitar sig på System 1 för de flesta uppgifter, men växlar till System 2 när de står inför mer komplexa beslut.

IDA är en tvåstegscykel: förstärkning och destillering. I förstärkningsfasen använder modellen intensiva beräkningsmetoder för att generera högkvalitativa lösningar eller resonemangsspår. Detta är som System 2-tänkande, där AI tar tid att noggrant utvärdera potentiella lösningar. I destillering-fasen, internaliserar modellen sedan insikterna från förstärkningsfasen, omvandlar resonemangsprocessen från System 2 till System 1. Precis som en mänsklig förare blir mer intuitiv efter att ha fått erfarenhet, kan en AI-modell med IDA fatta snabbare, mer effektiva beslut över tid.

Den viktiga idén bakom IDA är att använda beräkningsintensivt resonemang i förstärkningsfasen, sedan destillera det förbättrade resonemang tillbaka till modellens parametrar. Denna process möjliggör för modellen att internalisera effektiva resonemangsstrategier som bygger dess förmåga att tänka intuitivt när den löser problem. Genom att upprepa denna cykel, förbättrar AI-systemet kontinuerligt sin förmåga att fatta beslut med färre beräkningsresurser.

Fördelarna med att integrera ‘magkänsla’ i AI

En av de viktigaste fördelarna med AI:s magkänsla är dess effektivitet. Modeller som Cogito v2 demonstrerar resonemangskedjor som är upp till 60% kortare än de hos konkurrerande modeller. Detta innebär att de kan komma till svar med färre interna steg, vilket minskar den tid och de resurser som krävs för inferens. Till exempel, ett problem som kan ta DeepSeek R1 över 200 token att lösa, kan lösas av Cogito v2 på färre än 100 token.

Dessutom är kostnaden för att träna Cogito v2 betydligt lägre än den för traditionella AI-modeller. Hela träningsprocessen för Cogito v2, som täcker ett brett spektrum av parametrar, kostade under 3,5 miljoner dollar, vilket är betydligt mindre än de utgifter som vanligtvis är förknippade med storskaliga modeller som GPT-4.

Cogito v2 har också demonstrerat emergent förmågor inom områden som den inte uttryckligen tränats för. Till exempel, trots att den tränats primärt på text, kan Cogito v2 resonera om bilder, dra insikter om bildkomposition och habitat. Denna cross-modala resonemangs förmåga är ett viktigt steg mot generaliserad intelligens, en viktig milstolpe på vägen till Artificiell allmän intelligens (AGI).

Omprövning av AI-utveckling

Lyckan med intelligensprior tyder på att AI-utvecklingsstrategier behöver en grundläggande skiftning. Istället för att enbart skala upp modellstorlek eller öka beräkningsresurser, bör AI-utveckling fokusera på att bygga system som kan utveckla och förbättra sina egna kognitiva strategier. Denna skiftning speglar mänsklig kognitiv utveckling, där intelligens inte är ett resultat av en större hjärna eller mer tänktid, utan snarare bättre mentala modeller och resonemangsstrategier. Denna förändring i tillvägagångssätt kan ha långsiktiga implikationer. Genom att betona smartare resonemang över rå beräkningskraft, kan AI bli mer mångsidig, anpassningsbar och kapabel att hantera nya utmaningar. Denna skiftning kan accelerera AI:s tillämpning inom branscher som hälsovård, cybersäkerhet och autonom transport, vilket gör AI-system mer effektiva, kostnadseffektiva och påverkande.

Sammanfattning

Lyckan med Cogito v2 demonstrerar att framtiden för AI ligger inte i att skala upp modeller eller öka beräkningskraft, utan i att förbättra resonemangsarkitektur och optimera för smartare problemlösning. Denna skiftning lovar en mer hållbar och tillgänglig framtid för AI, där system kan kontinuerligt förbättra och anpassa sig med mindre beroende av omfattande beräkningsresurser. Genom att fokusera på intelligent resonemang snarare än brutalt beräkningskraft, kan AI bli mer kapabel att hantera komplexa, verkliga problem.