Den neurosymboliske skiftet: Hvorfor rene LLM’er møter en veggblokk

AI-industrien er i ferd med å gjennomgå en betydelig endring som ennå ikke er vidt kjent. Mens store språkmodeller (LLM’er) fortsatt dominerer feltet, kommer en ny tilnærming frem. Denne tilnærmingen, som her kalles neurosymboliske LLM’er, muliggjør at neurale nettverkbaserte LLM’er kan bruke symbolisk resonnering for å utføre oppgaver. I motsetning til rene LLM’er, som bare baserer seg på neurale nettverks mønstergjenkjenningsevner, konverterer neurosymboliske LLM’er først naturlige språkinstrukser til symboliske programmer og bruker deretter eksterne symboliske tolkere, som f.eks. programmeringsspråktolkere, for å kjøre dem. Denne integreringen forbedrer modellens evne til å håndtere komplekse oppgaver, og tilbyr bedre nøyaktighet, gjennomsiktighet og forklarbarhet. I denne artikkelen vil vi utforske grunnene bak den økende skiftet mot neurosymboliske LLM’er.

Skaleringmyten faller fra hverandre

Det viktigste løftet i den rene LLM-æraen var enkelt: større modeller ville produsere bedre resultater. Ideen var at med mer data og beregningskraft, kunne AI produsere bedre resultater. Denne teorien fungerte en stund, men nyere utviklinger har vist dens begrensninger. Et nytt eksempel er Grok 4, som brukte 100 ganger mer beregningskraft enn sin forgjenger, men ikke viste betydelige forbedringer på utfordrende benchmark-tester som Humanity’s Last Exam. Mens Grok 4 fungerte bedre i noen områder, var forbedringene langt mindre enn forventet. Imidlertid, når symboliske verktøy ble integrert i disse modellene, forbedret ytelsen dramatisk. Dette tyder på at skalering alene ikke er nøkkelen til å forbedre AI’s ytelse, og at neurosymbolisk tilnærming har potensialet til å overgå rene LLM’er.

Begrensningene i rene neurale nettverk

Rene LLM’er har innebygde svakheter som skalering ikke kan overvinne. Disse begrensningene stammer fra måten LLM’er er konstruert ved hjelp av neurale nettverk, som primært baserer seg på mønstergjenkjenning. Mens de er effektive i mange sammenhenger, begrenser deres avhengighet av mønstergjenkjenning og manglende resonneringsevner deres evne til å utføre komplekse oppgaver som krever dypere forståelse eller logisk slutting. For eksempel, når Apple (AAPL ) forskere la til irrelevante klausuler i matematiske problemer, så man en nedgang i nøyaktighet på opptil 65% hos state-of-the-art LLM’er. I GSM-Symbolic studien fungerte LLM’er dårlig når tall ble byttet ut eller ekstra klausuler ble lagt til, selv med perfekte visuelle inndata.

Et annet eksempel på denne feilen er å se i kryssordkonstruksjon. ChatGPT, som ikke kan forstå kode, har vanskeligheter med oppgaver som grid-konstruksjon. Dette førte til at den gjorde enkle feil som å gjenkjenne “RCRCT” som et gyldig ord. I motsetning til dette kan OpenAI’s o3, som bruker symbolisk kode, lage kryssord-ruter korrekt. Dette viser at rene LLM’er ikke kan utføre algoritmiske prosesser på en pålitelig måte, skille korrelasjon fra årsakssammenheng eller opprettholde logisk konsistens i multi-trinns resonneringsoppgaver.

Oppblomstringen av symbolisk AI: Logisk presisjon over mønster-matching

Symbolisk AI bruker et gjennomsiktig, regelbasert system som er enklere å forstå og verifisere. I motsetning til neurale nettverk, som ofte er u gjennomsiktige, tilbyr symboliske systemer klare resonneringsveier fra inndata til konklusjon. Dette gjør symbolisk AI ideelt for anvendelser som krever gjennomsiktighet og ansvar.

Symboliske systemer er også mer effektive. For eksempel oppnår Neuro-Symbolic Concept Learner høy nøyaktighet ved å bruke bare 10% av datamengden som tradisjonelle neurale nettverk. Mer viktig er det at symboliske systemer kan gi menneskeleselige forklaringer for hver beslutning, noe som er avgjørende for fag som helse, finanse og rettsvesen.

Nyere studier viser effekten av symboliske tilnærminger i oppgaver som Tower of Hanoi-problemet, hvor modeller som o3 fungerte bedre når symbolisk kode ble brukt. Liksom Abductive Rule Learner med Context-awareness (ARLC) viste nesten fullkommen nøyaktighet i aritmetiske problemer, mens rene LLM’er hadde vanskeligheter med å nå selv 10% nøyaktighet når problemene ble mer komplekse.

Økende etterspørsel etter forklarbar AI

Ettersom reguleringer på AI-systemer øker, vil etterspørselen etter forklarbar og gjennomsiktig AI øke. Sektorer som helse, finanse og rettsvesen krever AI-systemer som kan forklare sin resonnering. Neurosymbolisk AI er spesielt godt egnet til å møte disse behovene. Den europæiske unions AI-lov og lignende reguleringer presser selskaper til å adoptere AI-systemer som demonstrerer ansvar og gjennomsiktighet.

I tillegg skifter investeringstrender mot AI-systemer som kan balansere ytelse med forklarbarhet. Selskaper som setter pris på både innovasjon og tillit, finner neurosymboliske systemer, med deres overlegne evne til å forklare beslutninger, stadig mer attraktive.

Forbedring av AI-pålitelighet med neurosymbolisk integrering

Mens rene LLM’er har fremmet betydelig, er deres pålitelighet fortsatt en bekymring, spesielt i høyrisikosektorer som helse, rettsvesen og finanse. Denne upåliteligheten stammer fra LLM’ers avhengighet av mønster og sannsynlighet, som kan føre til uforutsigbare utdata og feil. Neurosymboliske LLM’er, som kombinerer neurale nettverk med symbolisk resonnering, tilbyr en løsning. Ved å bruke logikk til å verifisere og organisere informasjon, kan LLM’er sikre at de genererte svarene er både nøyaktige og pålitelige. Det kan redusere feil, forbedre gjennomsiktighet og opprettholde konsistens i utdata. Denne tilnærmingen kan være spesielt verdifull i kritiske sektorer, og kan forbedre tillit til AI-systemer. Et eksempel på denne tilnærmingen, GraphRAG-modellen, viser hvordan kombinasjonen av disse teknologiene kan forbedre både kreativitet og nøyaktighet.

Neurosymboliske LLM’er i aksjon

Neurosymboliske LLM’er har vist bemerkelsesverdig ytelse i å håndtere komplekse utfordringer. Google (GOOGL ) DeepMinds systemer, som AlphaFold, AlphaProof og AlphaGeometry, kombinerer LLM’er med symbolisk resonnering for å oppnå utmerkede resultater i protein-folding, matematisk bevis og geometriske problemløsninger. De bruker symboliske resonneringsteknikker som søk og betinget iterasjon, som tradisjonelle neurale nettverk hadde forkastet. Videre viser moderne modeller en økende bruk av symboliske regler for data-forbedring, og viser at symbolisk resonnering blir en nøkkel-del av ledende AI-systemer.

Utfordringer og muligheter

Mens neurosymboliske LLM’er har gjort betydelig fremgang, er det fortsatt mye arbeid igjen. Gjeldende implementeringer, som å legge til kode-tolkere i LLM’er, tilbyr funksjonelle muligheter, men de er fortsatt ikke en fullstendig løsning for å møte kravene til artificiell generell intelligens (AGI). Den virkelige utfordringen er å utvikle systemer hvor neurale og symboliske komponenter arbeider sammen uten å tape konsistens. Dette vil gi maskiner evnen til å resonnere og forstå verden på samme måte som mennesker. Et av de fremtidige målene for neurosymboliske LLM’er er å muliggjøre at de kan dynamisk integrere med forskjellige resonneringsmoduser uten å tape konsistens. Dette vil gi dem evnen til å resonnere forskjellig i forskjellige situasjoner. Imidlertid krever det nye arkitekturer som kan bruke symbolisk resonnering sammen med neurale nettverk.

Bunnpunktet

Oppblomstringen av neurosymbolisk AI er en paradigmeskifte i utviklingen av kunstig intelligens. Mens tradisjonelle LLM’er har vist seg effektive i mange områder, er de begrenset av deres avhengighet av mønstergjenkjenning og manglende resonneringsevner. Den nye neurosymboliske tilnærmingen, som kombinerer LLM’er med symbolisk resonnering, tilbyr betydelige fordeler når det gjelder nøyaktighet, gjennomsiktighet og forklarbarhet. Neurosymboliske systemer excellerer i oppgaver som krever kompleks resonnering, logisk presisjon og forklarbarhet. Disse kvalitetene er stadig viktigere i regulerte industrier som helse, finanse og rettsvesen. Med økende etterspørsel etter AI-gjennomsiktighet og ansvar, blir neurosymbolisk AI en kritisk løsning for å utvikle mer pålitelige og forståelige systemer. Imidlertid er det fortsatt utfordringer i å fullstendig integrere neurale og symboliske komponenter, og det vil kreve videre innovasjon for å skape systemer som kan resonnere dynamisk over flere moduser.