Forskning visar att stora språkmodeller förlitar sig på enkel resonemang när komplexiteten ökar

Ett team av forskare publicerade en omfattande studie den 20 november som analyserade över 192 000 resonemangsspår från stora språkmodeller (LLM), och visade att AI-systemen förlitar sig på grunt, linjära strategier snarare än de hierarkiska kognitiva processer som människor naturligt använder.

Forskningsgruppen undersökte 18 olika modeller över text-, visuell- och audioresonemangsuppgifter och jämförde deras tillvägagångssätt med 54 mänskliga tänkande spår som samlats in specifikt för studien. Analysen etablerade en taxonomi av 28 kognitiva element som omfattar beräkningsbegränsningar, metakognitiva kontroller, kunskapsrepresentationer och transformationsoperationer – och som tillhandahåller ett ramverk för att utvärdera inte bara om modellerna producerar korrekta svar, utan också hur de kommer fram till dessa slutsatser.

Fundamentala skillnader i kognitiv arkitektur

Mänskligt resonemang visar konsekvent hierarkisk sammanfogning och metakognitiv övervakning – förmågan att reflektera över och reglera sina egna tänkande processer. Människor organiserar informationen i sammanfogade strukturer medan de aktivt spårar sin framsteg genom komplexa problem.

Stora språkmodeller använder i huvudsak grunt framåtriktad kedjning, där de går steg för steg genom problem utan den hierarkiska organisationen eller självreflektion som kännetecknar mänskligt tänkande. Denna avvikelse blir mest uttalad när uppgifterna är dåligt strukturerade eller tvetydiga, där mänsklig anpassningsförmåga signifikant överträffar AI-tillvägagångssätt.

Studien fann att språkmodellerna besitter de beteendekomponenter som är förknippade med framgångsrikt resonemang, men ofta misslyckas med att utnyttja dem spontant. Prestandan varierar dramatiskt beroende på problemtyp: dilemmaresonemang visade den högsta variationen, där mindre modeller kämpade avsevärt, medan logiskt resonemang visade måttlig prestanda, där större modeller i allmänhet överträffade mindre. Modellerna visar motstridiga svagheter, där de lyckas med komplexa uppgifter men misslyckas med enklare varianter.

Prestandaförbättringar genom vägledande resonemang

Forskningsgruppen utvecklade test-tids resonemangsledning som automatiskt skapar lyckade kognitiva strukturer, och visade prestandaförbättringar på upp till 66,7% på komplexa problem när modellerna uppmanades att anta mer mänskliga resonemangstillvägagångssätt. Denna upptäckt tyder på att stora språkmodeller besitter latent förmåga för mer sofistikerat resonemang, men behöver explicit vägledning för att utnyttja dem effektivt.

Klyftan mellan mänskligt och AI-resonemang växer bredare allteftersom uppgiftens komplexitet ökar. Medan modellerna kan hantera enkla problem genom framåtriktad kedjning ensam, kämpar de med den typen av rekursiva, självövervakande strategier som människor använder naturligt när de står inför tvetydiga eller flerskiktade utmaningar.

Studiens offentligt tillgängliga dataset tillhandahåller en baslinje för framtida forskning som jämför artificiell och mänsklig intelligens. Genom att kartlägga 28 distinkta kognitiva element möjliggör ramverket för forskare att identifiera exakt var AI-resonemang bryter samman, snarare än att bara mäta noggrannhetspoäng.

Implikationer för AI-utveckling

Resultaten betonar en grundläggande begränsning i nuvarande AI-system: klyftan mellan beräkningsförmåga och äkta kognitiv sofistikering. Modeller som tränats på stora dataset kan mönster-matcherat sitt sätt till korrekta svar på många uppgifter, men saknar den reflekterande, hierarkiska tänkande som kännetecknar mänskligt problemlösande.

Denna forskning bygger på växande bekymmer om AI-resonemangsgränser som identifierats inom flera domäner. Prestandaförbättringen från vägledande resonemang tyder på att bättre prompt-strategier och arkitekturmodifieringar kan hjälpa modellerna att komma åt deras latenta resonemangsförmåga mer effektivt.

Studiens mest betydande bidrag kan vara dess detaljerade taxonomi av kognitiva element, som tillhandahåller forskare och utvecklare med specifika mål för förbättring. Snarare än att behandla resonemang som en monolitisk förmåga, bryter ramverket ner det i mätbara komponenter som kan hanteras individuellt genom träningsmodifieringar eller prompt-tekniker.