Det nevrosymbolske skiftet: Hvorfor rene LLM-er møter en vegg

AI-bransjen opplever et betydelig skifte som ennå ikke er bredt anerkjent. Mens store språkmodeller (LLM-er) fortsetter å dominere feltet, dukker det stille opp en ny tilnærming. Denne tilnærmingen, her referert til som nevrosymbolske LLM-er, gjør det mulig for nevrale nettverksbaserte LLM-er å bruke symbolsk resonnement for å utføre oppgaven. I motsetning til rene LLM-er, som utelukkende er avhengige av nevrale nettverks mønstergjenkjenningsevner, konverterer nevrosymbolske LLM-er først naturlige språkinstruksjoner til symbolske programmer og bruker deretter eksterne symbolske tolker, for eksempel programmeringsspråktolker, for å utføre dem. Denne integrasjonen forbedrer modellens evne til å håndtere komplekse oppgaver, og gir bedre nøyaktighet, gjennomsiktighet og tolkningsevne. I denne artikkelen vil vi utforske årsakene bak det økende skiftet mot nevrosymbolske LLM-er.

Skaleringsmyten faller fra hverandre

Det viktigste løftet fra den rene LLM-æraen var enkelt: større modeller ville gi bedre resultater. Tanken var at med mer data og datakraft kunne AI produsere bedre resultater. Denne teorien fungerte en stund, men den siste utviklingen har vist sine begrensninger. En nylig eksempel er Grok 4, som brukte 100 ganger mer datakraft enn forgjengeren, men ikke viste betydelige forbedringer på utfordrende benchmarks som Menneskehetens siste eksamenSelv om Grok 4 presterte bedre på noen områder, var gevinstene langt mindre enn forventet. Da symbolske verktøy ble integrert i disse modellene, forbedret imidlertid ytelsen seg dramatisk. Dette tyder på at skalering alene ikke er nøkkelen til å forbedre ytelsen til AI, og at den nevrosymbolske tilnærmingen har potensial til å utkonkurrere rene LLM-er.

Begrensningene til rene nevrale nettverk

Rene LLM-er har iboende svakheter som skalering ikke kan overvinne. Disse begrensningene stammer fra måten LLM-er er konstruert på ved hjelp av nevrale nettverk, som primært er avhengige av mønstergjenkjenning. Selv om de er effektive i mange sammenhenger, begrenser deres avhengighet av mønstergjenkjenning og mangel på resonneringsevner deres evne til å utføre komplekse oppgaver som krever dypere forståelse eller logisk inferens. For eksempel, når Apple forskere la til irrelevante klausuler i matematiske problemer, opplevde toppmoderne LLM-er en nøyaktighetsreduksjon på opptil 65 %. I GSM-symbolsk studere, LLM-er presterte dårlig når tall ble stokket eller ekstra klausuler ble lagt til, selv med perfekte visuelle input.

Et annet eksempel på denne feilen sees i kryssordkonstruksjonChatGPT, som ikke kan forstå kode, sliter med oppgaver som rutenettkonstruksjon. Dette førte til at den gjorde enkle feil, som å gjenkjenne «RCRCT«som et gyldig ord. I motsetning til dette kan OpenAIs o3, som bruker symbolsk kode, lage kryssordrutenett riktig. Dette viser at rene LLM-er ikke kan utføre algoritmiske prosesser på en pålitelig måte, skille korrelasjon fra årsakssammenheng eller opprettholde logisk konsistens i flertrinns resonneringsoppgaver.

Fremveksten av symbolsk AI: Logisk presisjon fremfor mønstermatching

Symbolsk AI bruker et transparent, regelbasert system som er lettere å forstå og verifisere. I motsetning til nevrale nettverk, som ofte er ugjennomsiktige, gir symbolske systemer klare resonnementsveier fra input til konklusjon. Dette gjør symbolsk AI ideell for applikasjoner som krever åpenhet og ansvarlighet.

Symbolske systemer er også mer effektive. For eksempel er det nevrosymbolske Konseptlærer oppnår høy nøyaktighet ved å bruke bare 10 % av dataene som kreves av tradisjonelle nevrale nettverk. Enda viktigere er det at symbolske systemer kan gi menneskelig lesbare forklaringer på hver beslutning, noe som er avgjørende for felt som helsevesen, finans og jus.

Nyere studier viser effektiviteten av symbolske tilnærminger i oppgaver som Problemet med tårnet i Hanoi, hvor modeller som o3 presterte bedre når symbolsk kode ble brukt. På samme måte Abduktiv regellærer med kontekstbevissthet (ARLC) viste nesten perfekt nøyaktighet i aritmetiske problemer, mens rene LLM-er slet med å oppnå en nøyaktighet på 10 % etter hvert som problemstillingene ble mer komplekse.

Den økende etterspørselen etter forklarbar AI

Etter hvert som reguleringer av AI-systemer øker, vil etterspørselen etter forklarbar og transparent AI øke. Sektorer som helsevesen, finans og jus krever AI-systemer som kan forklare resonnementet sitt. Nevrosymbolsk AI er spesielt godt egnet til å møte disse behovene. EUs AI-lov og lignende forskrifter presser selskaper til å ta i bruk AI-systemer som viser ansvarlighet og åpenhet.

Dessuten beveger investeringstrender seg mot AI-systemer som kan balansere ytelse med forklarbarhet. Selskaper som verdsetter både innovasjon og tillit, finner nevrosymbolske systemer, med sin overlegne evne til å forklare beslutninger, stadig mer attraktive.

Forbedring av AI-pålitelighet med nevrosymbolsk integrasjon

Selv om rene LLM-er har gjort betydelige fremskritt, har deres pålitelighet er fortsatt en bekymring, spesielt innen felt med høy innsats som helsevesen, jus og finans. Denne upåliteligheten stammer fra LLM-er' avhengighet av mønstre og sannsynligheter, noe som kan føre til uforutsigbare resultater og feil. Nevrosymbolske LLM-er, som kombinerer nevrale nettverk med symbolsk resonnement, tilbyr en løsning. Ved å bruke logikk til å verifisere og organisere informasjon, kan LLM-er sikre at de genererte svarene er både nøyaktige og pålitelige. Det kan redusere feil, forbedre åpenhet og opprettholde konsistens i resultater. Denne tilnærmingen kan være spesielt verdifull i kritiske sektorer, og forbedre tilliten til AI-systemer. Et eksempel på denne tilnærmingen, GraphRAG modellen viser hvordan en kombinasjon av disse teknologiene kan forbedre både kreativitet og nøyaktighet.

Nevrosymbolske LLM-er i aksjon

Nevrosymbolske LLM-er har vist bemerkelsesverdig ytelse i å takle komplekse utfordringer. Google DeepMinds systemer, som for eksempel AlphaFold, AlphaProofog Alfageometri, kombinerer LLM-er med symbolsk resonnement for å oppnå fremragende resultater innen proteinfolding, matematisk bevisføring av teoremer og geometrisk problemløsning. De bruker symbolske resonnementsteknikker som søk og betinget iterasjon, som tradisjonelle nevrale nettverk hadde forlatt. Videre bruker moderne modeller i økende grad symbolske regler for datautvidelse, noe som viser at symbolsk resonnement er i ferd med å bli en sentral del av ledende AI-systemer.

Utfordringer og muligheter

Selv om nevrosymbolske LLM-er har gjort betydelige fremskritt, er det fortsatt mye arbeid som må gjøres. Nåværende implementeringer, som å legge til kodetolker til LLM-er, tilbyr funksjonelle muligheter, men de er fortsatt ikke en komplett løsning for å oppfylle kravene til kunstig generell intelligens (AGI)Den virkelige utfordringen er å utvikle systemer der nevrale og symbolske komponenter fungerer sømløst sammen ved å la maskiner resonnere og forstå verden slik som mennesker. Et av de fremtidige målene for nevrosymbolske LLM-er er å gjøre dem i stand til dynamisk å integrere med ulike resonneringsmåter uten å miste konsistens. Dette vil gi dem mulighet til å resonnere ulikt i ulike situasjoner. Det krever imidlertid en ny arkitektur som kan bruke symbolsk resonnering sammen med nevrale nettverk.

Bunnlinjen

Fremveksten av nevrosymbolsk AI er et paradigmeskifte i utviklingen av kunstig intelligens. Selv om tradisjonelle LLM-er har vist seg effektive på mange områder, er de begrenset av sin avhengighet av mønstergjenkjenning og mangel på resonneringsevner. Den nye nevrosymbolske tilnærmingen, som kombinerer LLM-er med symbolsk resonnering, gir betydelige fordeler når det gjelder nøyaktighet, åpenhet og tolkbarhet. Nevrosymbolske systemer utmerker seg i oppgaver som krever kompleks resonnering, logisk presisjon og forklaringsevne. Disse egenskapene blir stadig viktigere i regulerte bransjer som helsevesen, finans og jus. Med økende etterspørsel etter åpenhet og ansvarlighet innen AI, blir nevrosymbolsk AI en kritisk løsning for å utvikle mer pålitelige og forståelige systemer. Imidlertid gjenstår det utfordringer med å fullt ut integrere nevrale og symbolske komponenter, og fortsatt innovasjon vil være nødvendig for å skape systemer som er i stand til dynamisk resonnering på tvers av flere moduser.