Den neurosymboliske skiftet: Hvorfor rene LLMer treffer en vegg

AI-industrien opplever en betydelig skift som ikke ennå er vidt kjent. Mens store språkmodeller (LLMs) fortsatt dominerer feltet, oppstår en ny tilnærming stille. Denne tilnærmingen, referert til her som Neurosymbolic LLMs, muliggjør at neurale nettverkbaserte LLMs kan bruke symbolisk resonnering for å utføre oppgaven. I motsetning til rene LLMs, som bare baserer seg på neurale nettverks mønstergjenkjenningsevner, konverterer Neurosymbolic LLMs først naturlige språkinstrukser til symboliske programmer og bruker deretter eksterne symboliske tolkere, som f.eks. programmeringsspråkstolkere, for å kjøre dem. Denne integreringen forbedrer modellens evne til å håndtere komplekse oppgaver, og tilbyr bedre nøyaktighet, gjennomsiktighet og tolkbarhet. I denne artikkelen vil vi utforske årsakene bak den økende skiftet mot Neurosymbolic LLMs.

Myten om skalaing faller fra hverandre

Det viktigste løftet i den rene LLM-æraen var enkelt: større modeller ville produsere bedre resultater. Ideén var at med mer data og beregningskraft, kunne AI produsere bedre resultater. Denne teorien fungerte en stund, men nyere utvikling har vist dens begrensninger. Et nytt eksempel er Grok 4, som brukte 100 ganger mer beregningskraft enn sin forgjenger, men ikke viste betydelige forbedringer på utfordrende benchmark som Humanity’s Last Exam. Mens Grok 4 fungerte bedre i noen områder, var gevinstene langt mindre enn forventet. Men når symboliske verktøy ble integrert i disse modellene, forbedret ytelsen dramatisk. Dette tyder på at skalaing alene ikke er nøkkelen til å forbedre AIens ytelse, og at neurosymbolisk tilnærming har potensialet til å overgå rene LLMs.

Begrensningene i rene neurale nettverk

Rene LLMs har innebygde svakheter som skalaing ikke kan overvinne. Disse begrensningene stammer fra måten LLMs er konstruert ved hjelp av neurale nettverk, som primært baserer seg på mønstergjenkjenning. Mens effektive i mange sammenhenger, begrenser deres avhengighet av mønstergjenkjenning og manglende resonneringskapasiteter deres evne til å utføre komplekse oppgaver som krever dypere forståelse eller logisk slutting. For eksempel, når Apple forskere la til irrelevante klausuler i matematiske problemer, så rene LLMs en nedgang i nøyaktighet på opptil 65%. I GSM-Symbolic studien fungerte LLMs dårlig når tall ble omarrangert eller ekstra klausuler ble lagt til, selv med perfekte visuelle inndata.

Et annet eksempel på denne feilen sees i kryssordkonstruksjon. ChatGPT, som ikke kan forstå kode, har vanskeligheter med oppgaver som gridkonstruksjon. Dette ledet til at den gjorde enkle feil som å gjenkjenne “RCRCT” som et gyldig ord. I motsetning til dette kan OpenAI’s o3, som bruker symbolisk kode, lage kryssordruter korrekt. Dette viser at rene LLMs ikke kan pålitelig utføre algoritmiske prosesser, skille korrelasjon fra årsakssammenheng eller opprettholde logisk konsistens i flertrinns resonneringsoppgaver.

Oppsvinget av symbolisk AI: Logisk presisjon over mønstermatchning

Symbolisk AI bruker et gjennomsiktig, regelbasert system som er enklere å forstå og verifisere. I motsetning til neurale nettverk, som ofte er u gjennomsiktige, tilbyr symboliske systemer klare resonneringsveier fra inndata til konklusjon. Dette gjør symbolisk AI ideelt for applikasjoner som krever gjennomsiktighet og ansvar.

Symboliske systemer er også mer effektive. For eksempel oppnår Neuro-Symbolic Concept Learner høy nøyaktighet ved å bruke bare 10% av dataene som tradisjonelle neurale nettverk. Mer viktig er at symboliske systemer kan gi menneskeleselige forklaringer for hver beslutning, som er avgjørende for fag som helse, finans og rett.

Nyere studier viser effekten av symboliske tilnærminger i oppgaver som Tower of Hanoi-problemet, hvor modeller som o3 fungerte bedre når symbolisk kode ble brukt. Liksom Abductive Rule Learner med Context-awareness (ARLC) viste nære perfekt nøyaktighet i aritmetiske problemer, mens rene LLMs hadde vanskeligheter med å nå selv 10% nøyaktighet når problemene ble mer komplekse.

Økende etterspørsel etter forklarbar AI

Ettersom reguleringer av AI-systemer øker, vil etterspørselen etter forklarbar og gjennomsiktig AI øke. Sektorer som helse, finans og rett krever AI-systemer som kan forklare sin resonnering. Neurosymbolisk AI er spesielt godt egnet til å møte disse behovene. Den europeiske unions AI-akt og lignende reguleringer presser selskaper til å adoptere AI-systemer som demonstrerer ansvar og gjennomsiktighet.

I tillegg skifter investeringstrender mot AI-systemer som kan balansere ytelse med forklarbarhet. Selskaper som verdsetter både innovasjon og tillit, finner neurosymboliske systemer, med deres overlegne evne til å forklare beslutninger, stadig mer attraktive.

Forbedring av AI-pålitelighet med neurosymbolisk integrering

Mens rene LLMs har fremmet betydelig, forblir deres pålitelighet en bekymring, spesielt i høyrisikofelt som helse, rett og finans. Denne upåliteligheten stammer fra LLMs avhengighet av mønster og sannsynlighet, som kan føre til uforutsigbare utdata og feil. Neurosymbolic LLMs, som kombinerer neurale nettverk med symbolisk resonnering, tilbyr en løsning. Ved å bruke logikk til å verifisere og organisere informasjon, kan LLMs sikre at de genererte svarene er både nøyaktige og pålitelige. Det kan redusere feil, forbedre gjennomsiktighet og opprettholde konsistens i utdata. Denne tilnærmingen kan være spesielt verdifull i kritiske sektorer, og forbedre tillit til AI-systemer. Et eksempel på denne tilnærmingen, GraphRAG-modellen, viser hvordan kombinasjonen av disse teknologiene kan forbedre både kreativitet og nøyaktighet.

Neurosymbolic LLMs i aksjon

Neurosymbolic LLMs har vist bemerkelsesverdig ytelse i å håndtere komplekse utfordringer. Google DeepMinds systemer, som AlphaFold, AlphaProof og AlphaGeometry, kombinerer LLMs med symbolisk resonnering for å oppnå utmerkede resultater i proteinfoldning, matematisk bevis og geometrisk problemløsning. De bruker symbolisk resonneringsteknikker som søk og betinget iterasjon, som tradisjonelle neurale nettverk hadde forkastet. Videre bruker moderne modeller stadig mer symboliske regler for dataforbedring, og viser at symbolisk resonnering blir en nøkkel del av ledende AI-systemer.

Utfordringer og muligheter

Mens neurosymbolic LLMs har gjort betydelig fremgang, er det fortsatt mye arbeid igjen. Gjeldende implementeringer, som å legge til kodefortolkere til LLMs, tilbyr funksjonelle kapasiteter, men de er fortsatt ikke en fullstendig løsning for å oppfylle kravene til artificiell generell intelligens (AGI). Den virkelige utfordringen er å utvikle systemer hvor neurale og symboliske komponenter fungerer sammen uten å tape konsistens. Dette vil gi maskiner evnen til å resonere og forstå verden som mennesker. En av de fremtidige målene for neurosymbolic LLMs er å muliggjøre dem til å dynamisk integrere med forskjellige resonneringsmoduser uten å tape konsistens. Dette vil gi dem evnen til å resonere forskjellig i forskjellige situasjoner. Men det krever ny arkitektur som kan bruke symbolisk resonnering sammen med neurale nettverk.

Bunnpunktet

Oppsvinget av neurosymbolisk AI er et paradigmeskifte i utviklingen av kunstig intelligens. Mens tradisjonelle LLMs har vist seg effektive i mange områder, er de begrenset av sin avhengighet av mønstergjenkjenning og manglende resonneringskapasiteter. Den nye neurosymboliske tilnærmingen, som kombinerer LLMs med symbolisk resonnering, tilbyr betydelige fordeler når det gjelder nøyaktighet, gjennomsiktighet og tolkbarhet. Neurosymboliske systemer utmerker seg i oppgaver som krever kompleks resonnering, logisk presisjon og forklarbarhet. Disse kvalitetene er stadig viktigere i regulerte industrier som helse, finans og rett. Med økende etterspørsel etter AI-gjennomsiktighet og ansvar, blir neurosymbolisk AI en kritisk løsning for å utvikle mer pålitelige og forståelige systemer. Men utfordringer forbli i å fullstendig integrere neurale og symboliske komponenter, og videre innovasjon vil være nødvendig for å skape systemer som kan håndtere dynamisk resonnering på tvers av flere moduser.