AI:s nya “magkänsla”: Varför smartare tänkande är viktigare än längre tänkande

Framstegen inom artificiell intelligens (AI) har länge drivits av tron att ökad data och beräkningskraft kan förbättra prestandan. Denna “brute force”-metod har lett till imponerande AI-system, som GPT-3, som har presterat exceptionellt bra under åren. Men denna paradigm når nu sina gränser. När AI-problem blir allt mer komplexa blir det tydligt att enbart att lägga till mer processorkraft inte kommer att vara en hållbar eller effektiv lösning för långsiktig utveckling. Denna insikt har fått forskare att omvärdera sin strategi för AI-utveckling. I detta sammanhang introducerar Deep Cogitos Cogito v2-modell en ny approach som kan förändra framtiden för AI-utveckling. Istället för att förlita sig på mer processorkraft eller förlängd resonemang, utvecklar Cogito v2 interna “magkänslor” som guidar modellen att identifiera rätt vägar innan den ens börjar söka. Detta är en paradigmförändring i hur AI utvecklas genom att fokusera på smartare resonemang, inte längre.

En skiftning i AI-utveckling

Under många år har den drivande kraften bakom AI-framsteg varit idén att “mer är bättre”. Denna approach har lett till AI-modeller som genererar omfattande resonemangskedjor för att lösa komplexa problem. OpenAI:s modeller, som GPT-3, är ett exempel på denna approach, där längre resonemangskedjor har lett till imponerande resultat på svåra uppgifter. Medan denna metod har gett imponerande resultat, har den också betydande nackdelar. Längre resonemangskedjor kräver mer beräkningskraft, vilket resulterar i långsammare inferenstider och högre driftskostnader. Dessutom har forskning visat att dessa förlängda processer ofta leder till avtagande avkastning, där längre resonemang leder till större bias och mindre effektivitet. Det grundläggande problemet är att förlita sig på långa resonemangskedjor och ökad beräkningskraft inte längre är en effektiv lösning för att hantera komplexa AI-problem. Dessa metoder är begränsade av sin enorma processortid och minneskrav.

Varför “magkänsla” är viktig för AI

Till skillnad från nuvarande AI-system som förlitar sig på förlängt resonemang, använder människor ofta “magkänsla” (en form av snabb, intuitiv bedömning) för att lösa problem. Medan magkänsla kan verka som ett abstrakt begrepp, är det ofta resultatet av år av erfarenhet, lärande och kontextbearbetning som tillåter människor att fatta snabba beslut utan att fullständigt analysera varje detalj. Det är denna typ av intuition som skiljer rå beräkning från mänskligt resonemang. Människor bygger denna “magkänsla” genom mönsterigenkänning och ackumulerad erfarenhet, vilket möjliggör för oss att fatta beslut utan att uttömmande undersöka varje möjlig alternativ. AI:s nya “magkänsla” syftar till att replikera denna process.

Denna idé, som också kallas “intelligensprior”, kan vara en nyckel till att ge AI-system mänskligt resonemang och göra dem mer effektiva. AI-modeller med stark intelligensprior kan förutse vilka lösningar som sannolikt kommer att lyckas utan att behöva gå igenom omfattande beräkningar. Istället för att förlita sig på uttömmande sökmetoder, tillåter magkänsla AI-system att utnyttja tidigare kunskap, fokusera på de mest effektiva vägarna till en lösning.

Hur Cogito v2 inkorporerade “magkänsla”

Cogito har inkorporerat idén om “magkänsla” (mer tekniskt, intelligensprior) i sin nyligen släppta modell Cogito v2. De integrerade denna idé med hjälp av en mekanism som kallas Itererad destillering och förstärkning (IDA). Denna mekanism möjliggör för modellen att lära av sitt eget resonemang och förbättra sina problemslösningsförmågor över tid. Istället för att förlita sig på statiska prompter eller fasta lärare, möjliggör IDA för AI att destillera framgångsrika resonemangsvägar tillbaka till modellens kärnparametrar. Denna självförbättringsprocess förfinar modellens resonemangsförmåga över tid, optimerar inte bara för precisa svar, utan också för de mest effektiva metoderna för att tänka.

• Itererad destillering och förstärkning (IDA)

För att förstå hur IDA fungerar kan vi titta på dubbelprocess-teorin, som delar in mänskligt tänkande i två system: System 1 och System 2. System 1 refererar till snabb, intuitiv beslutsfattning, medan System 2 är långsammare, med mer medveten resonemang. Teorin föreslår att människor förlitar sig på System 1 för de flesta uppgifter, men växlar till System 2 när de står inför mer komplexa beslut.

IDA är en tvåstegscykel: förstärkning och destillering. Under förstärkningsfasen använder modellen intensiva beräkningsmetoder för att generera högkvalitativa lösningar eller resonemangsspår. Detta är som System 2-tänkande, där AI tar sig tid att noggrant utvärdera potentiella lösningar. Under destillationsfasen internaliserar modellen insikterna från förstärkningsfasen, transformerar resonemangsprocessen från System 2 till System 1. Liksom en mänsklig förare blir mer intuitiv efter att ha fått erfarenhet, kan en AI-modell med IDA fatta snabbare, mer effektiva beslut över tid.

Den viktigaste idén bakom IDA är att använda beräkningsintensivt resonemang under förstärkningsfasen, sedan destillera det förbättrade resonemang tillbaka till modellens parametrar. Denna process möjliggör för modellen att internalisera effektiva resonemangsstrategier som bygger dess förmåga att tänka intuitivt när den löser problem. Genom att upprepa denna cykel förbättrar AI-systemet kontinuerligt sin förmåga att fatta beslut med färre beräkningsresurser.

Fördelarna med att integrera “magkänsla” i AI

En av de viktigaste fördelarna med AI:s “magkänsla” är dess effektivitet. Modeller som Cogito v2 demonstrerar resonemangskedjor som är upp till 60% kortare än de för konkurrerande modeller. Detta innebär att de kan nå svar med färre interna steg, vilket minskar tiden och resurserna som krävs för inferens. Till exempel kan ett problem som kan ta DeepSeek R1 över 200 token att lösa lösas av Cogito v2 på under 100 token.

Dessutom är kostnaden för att träna Cogito v2 betydligt lägre än den för traditionella AI-modeller. Hela träningsprocessen för Cogito v2, som omfattar ett brett spektrum av parametrar, kostade under 3,5 miljoner dollar, vilket är betydligt mindre än de utgifter som vanligtvis är förknippade med storskaliga modeller som GPT-4.

Cogito v2 har också demonstrerat emergent förmågor inom områden som det inte uttryckligen tränats för. Till exempel kan Cogito v2, trots att det främst tränats på text, resonera om bilder, dra slutsatser om bildkomposition och habitat. Denna cross-modala resonemangsförmåga är ett betydande steg mot generaliserad intelligens, en viktig milstolpe på vägen mot Artificiell allmän intelligens (AGI).

Omprövning av AI-utveckling

Lyckanden med intelligensprior tyder på att AI-utvecklingsstrategier behöver en grundläggande förändring. Istället för att enbart skala upp modellstorlek eller öka beräkningsresurser, bör AI-utveckling fokusera på att bygga system som kan utveckla och förbättra sina egna kognitiva strategier. Denna förändring speglar mänsklig kognitiv utveckling, där intelligens inte är ett resultat av en större hjärna eller mer tänkande tid, utan snarare bättre mentala modeller och resonemangsstrategier. Denna förändring kan ha långsiktiga implikationer. Genom att betona smartare resonemang över rå beräkningskraft, kan AI bli mer mångsidig, anpassningsbar och kapabel att hantera nya utmaningar. Denna förändring kan accelerera AI:s tillämpning inom branscher som hälsovård, cybersäkerhet och autonom transport, vilket gör AI-system mer effektiva, kostnadseffektiva och påverkande.

Sammanfattning

Lyckanden med Cogito v2 demonstrerar att framtiden för AI ligger inte i att skala upp modeller eller öka beräkningskraft, utan i att förbättra resonemangsarkitektur och optimera för smartare problemslösning. Denna förändring lovar en mer hållbar och tillgänglig framtid för AI, där system kan kontinuerligt förbättra och anpassa sig med mindre beroende av omfattande beräkningsresurser. Genom att fokusera på intelligent resonemang snarare än brute-force-beräkning, kan AI bli mer kapabel att hantera komplexa, realvärldens problem.