Jagged Intelligence: Varför AI-system kan lösa olympiadsproblem men har svårt med skolmatematik

Den artificiella intelligensgemenskapen firade en anmärkningsvärd milstolpe 2025 när både Google DeepMind (GOOGL ) och OpenAI-system uppnådde guldmedalj vid Internationella matematikolympiaden. Dessa AI-modeller löste problem som bara ett fåtal av världens mest begåvade unga matematiker kunde lösa. Ändå har dessa system ofta svårt när de får i uppgift att utföra grundläggande aritmetik som varje mellanstadieelev kan hantera med lätthet. Denna slående paradox avslöjar något grundläggande om den artificiella intelligensens natur i dag. Vi är vittnen till uppkomsten av vad som bara kan kallas jagged intelligence, där maskiner visar supermänskliga förmågor inom vissa områden medan de misslyckas med uppgifter som vi anser vara grundläggande.

Olympiadssegern

Internationella matematikolympiaden är den ledande standarden för för-universitetsmatematiktävlingar. Varje år tar de mest begåvade unga matematiker från hela världen itu sex problem som kräver djup insikt, kreativt tänkande och avancerade bevismetoder. 2025 fick AI-system från både Google DeepMind och OpenAI 35 av 42 poäng, tillräckligt för att vinna guldmedaljer. DeepMinds AlphaGeometry 2 löste ett komplext geometriproblem på bara 19 sekunder, medan AlphaProof löste problem inom talteori och algebra som förvirrade de flesta mänskliga deltagarna.

Dessa prestationer bygger på år av gradvis framsteg. Systemen använder formella matematiska språk som Lean för att konstruera rigorösa bevis. De använder tekniker som curriculum learning, där AI tränas på problem med ökande svårighetsgrad. Denna träning möjliggör för AI att förstå komplexa relationer mellan matematiska objekt, känna igen subtila mönster och konstruera eleganta bevis.

Den grundläggande kampen

De samma AI-system som uppnår guld vid olympiadsproblem har ofta svårt med uppgifter som verkar triviala. Till exempel, om du ber dem multiplicera stora tal, kan de med säkerhet producera felaktiga svar. Likaså, om du försöker utföra andra grundläggande aritmetiska operationer, blir deras prestanda oförutsägbar. Problemet är inte begränsat till enkel beräkning. Dessa system har ofta svårt med ordproblem som kräver spårning av flera kvantiteter, förståelse av verkliga sammanhang eller tillämpning av grundläggande matematiska operationer i följd.

Denna svaghet härrör i grunden från hur dessa AI-modeller fungerar. Stora språkmodeller förutsäger vad texten ska bli härnäst baserat på mönster de har sett i träningsdata. När de möter “2 + 2” känner de igen detta mönster och förutsäger korrekt “4” inte för att de förstår addition, utan för att denna sekvens förekommer otaliga gånger i deras träningsdata. När du presenterar dem för ovanliga beräkningar som sällan förekommer i text, försämras deras prestanda snabbt. De är i grund och botten mönsterigenkänningsmaskiner som excellerar när mönster är tydliga och konsekventa men kämpar när de tvingas beräkna ett osynligt problem.

Arkitekturparadoxen

Kontrasten mellan olympiadsframgång och aritmetikmisslyckande avslöjar en djupare arkitektonisk fråga. Moderna AI-system excellerar vid problem som kan lösas genom mönsterigenkänning, logisk deduktion och systematisk sökning genom lösrymder. Olympiadsproblem, trots sin svårighet, har ofta eleganta strukturer som AI kan utnyttja. Systemen kan utforska olika bevisstrategier, verifiera logiska steg och bygga på etablerade matematiska ramverk. De opererar i en värld av symboler och regler där konsekvens och logik dominerar.

I kontrast utgör grundläggande aritmetik, paradoxalt nog, olika utmaningar. Den kräver exakt manipulation av kvantiteter, inte mönsterigenkänning. Den kräver förståelse av numerisk storlek och relationer som inte kan approximeras. När ett AI-system närmar sig aritmetik genom språkmodellering, behandlar det tal som tokens att förutsäga snarare än kvantiteter att beräkna. Denna grundläggande missmatch mellan uppgiftens krav och modellens arkitektur skapar den prestandagap vi observerar.

Träningsdata och dess begränsningar

AI-förmågor beror i stor utsträckning på kvaliteten och naturen på träningsdata. Matematiska bevis och avancerade problem förekommer ofta i välgjorda format online. Akademiska artiklar, läroböcker och utbildningsresurser tillhandahåller tydliga exempel på matematiskt resonemang. Internet innehåller omfattande diskussioner om matematiska begrepp, bevismetoder och problemlösningsstrategier. Denna rika korpus möjliggör för AI-system att lära sig avancerat matematiskt tänkande.

Grundläggande matematik lider dock av ett annat problem. Medan grundläggande aritmetik förekommer ofta online, förekommer den sällan med de detaljerade resonemangskedjor som hjälper AI att förstå underliggande processer. Enkla beräkningar anges som fakta snarare än förklaras som procedurer. Träningsdata innehåller beräkningens resultat men inte beräkningsprocessen i sig. Detta skapar en grundläggande gap i förståelse som manifesterar sig som dålig prestanda på grundläggande uppgifter.

Implikationer för AI-utveckling

Denna ojämna mönster av intelligens har avgörande implikationer för hur vi designar och använder AI-system. Vi kan inte anta att framgång i komplexa uppgifter innebär kompetens i enklare uppgifter. Ett AI som kan bevisa matematiska satser kan misslyckas med att balansera en checkbok. Ett system som kan skriva datorprogram kan ha svårt med grundläggande räkning. Denna verklighet kräver noggrann övervägning av AI-förmågor och begränsningar i verkliga tillämpningar.

Fenomenet avslöjar också vikten av hybridtillvägagångssätt. Istället för att förvänta sig att ett enda system ska hantera varje uppgift kan vi behöva specialiserade system för olika typer av uppgifter. Till exempel kan kombinera symbolisk beräkning för aritmetik med språkmodeller för resonemang skapa mer tillförlitliga lösningar. AI:s framtid kan ligga i att koordinera flera specialiserade system snarare än att sträva efter monolitisk allmän intelligens.

Vägen framåt

Att känna till den ojämna intelligensen ger en tydligare riktning för att bygga mer kapabla AI-system. Forskare utvecklar metoder för att integrera beräkningsverktyg i språkmodeller, vilket möjliggör för dem att delegera aritmetik till kalkylatorer. Nya träningsstrategier fokuserar på att lära modellerna när de ska använda externa verktyg istället för att försöka internalisera varje färdighet. Detta tillvägagångssätt speglar mänsklig intelligens, där vi använder kalkylatorer för beräkning och reserverar vår mentala ansträngning för högre nivåers resonemang.

Paradoxen med den ojämna intelligensen lär oss slutligen ödmjukhet om artificiell intelligens. Dessa system är varken universellt överlägsna eller enhetligt begränsade. Istället visar de en komplex blandning av styrkor och svagheter som vi måste vara medvetna om för att effektivt använda och förbättra AI-förmågor. Framgång kräver inte bara att utöka vad AI kan göra, utan också att hantera dess grundläggande gap. Maskinerna som kan bevisa satser men misslyckas med grundläggande addition visar att intelligens, vare sig artificiell eller mänsklig, förblir ett mångfacetterat fenomen som inte är lätt att definiera.

Slutsatsen

AI:s framgång med att lösa olympiadsproblem men misslyckande med enkel matematik visar att intelligens inte utvecklas jämnt. Dessa system kan vara briljanta inom ett område och svaga inom ett annat. Att förstå detta ojämna mönster är viktigt för hur vi designar och använder AI. Istället för att förvänta sig att ett enda system ska göra allt kan vi behöva kombinera olika tillvägagångssätt som utnyttjar varje systems styrkor. Riktig framgång kommer från att bygga AI som fungerar tillförlitligt i praktiken, inte från att anta att det kommer att vara bra på varje uppgift.