En ‘Zen’-metod för att förhindra att språkmodeller hallucinerar

Att be ChatGPT att faktakontrollera ett slumpmässigt svar innan det löser ett verkligt problem gör att det tänker hårdare och får rätt svar oftare – även om det tidigare “slumpmässiga” svaret inte har något att göra med din verkliga fråga.

En intressant ny artikel från Kina har utvecklat en mycket billig metod för att förhindra att språkmodeller som ChatGPT hallucinerar och förbättra kvaliteten på svaren: att få modellen att faktakontrollera svaret på en totally orelaterad fråga först:

Ett exempel på en orelaterad fråga som kan ‘fria sinnet’ hos en LLM och hjälpa den att fokusera på en (verklig) efterföljande fråga. Källa

Denna Zen-slap är ett otroligt billigt sätt att förbättra prestanda, jämfört med andra mer omfattande metoder, såsom fine-tuning, prompt-crafting och parallell sampling, och det fungerar på både öppna och slutna modeller, vilket tyder på att upptäckten av en grundläggande karaktärsdrag som är gemensam för flera LLM-arkitekturer (snarare än en skör egenskap som är specifik för vissa träningsmaterial eller metoder).

Författarna beskriver de ekonomiska fördelar som är möjliga genom att förbättra utdata på detta spartanska sätt*:

‘För att implementera med minimal extra förkunskap behöver VF bara tillhandahålla ett slumpmässigt eller trivialt svar i prompten. Verifieringsprocessen visar sig ha färre utmatningstoken än en vanlig CoT-sökväg, [ibland] till och med ingen uttrycklig verifieringsprocess, vilket [kräver] mycket [lite] extra testtidberäkning.’

I tester kunde denna metod – som kallas Verification-First (VF) – förbättra svar i en mängd olika uppgifter, inklusive matematiskt resonemang, över öppna och kommersiella plattformar.

En del av anledningen till att denna teknik fungerar kan ligga i det sätt som språkmodeller suger upp och anpassar sig till trender i mänsklig psykologi, så att en direkt fråga kan göra modellen “försvars” och “nervös”, medan en begäran att verifiera arbetet med en annan inte engagerar dessa “överlevnadsinstinkter”.

Den centrala idén är att verifiera ett svar kräver mindre ansträngning än att generera ett från scratch, och kan utlösa en annan resonemangsprocess som kompletterar standard chain-of-thought.

Att uppmana modellen att kritisera ett givet svar (dvs. ett svar som modellen inte har varit inblandad i att skapa) kan också aktivera en form av kritiskt tänkande som hjälper till att undvika överförtroende i modellens egna första intryck.

Arbetet karakteriserar processen i termer av en omvänd resonemangsprocess:

Att börja med ett föreslaget svar och resonera bakåt mot frågan kan avslöja genvägar eller insikter som är svåra att hitta när man resonerar framåt från problemet ensamt. Denna ‘omvända väg’ kan följa en enklare bana och erbjuda kompletterande information till standard chain-of-thought-resonemang.

Forskarna har också konkretiserat den centrala idén till Iter-VF, en sekventiell tidstestskalningsmetod som iterativt förfinar svar, undviker felackumuleringsproblemet som är vanligt i LLM-arkitekturer.

Den nya artikeln heter Att be LLM att verifiera först är nästan en gratis lunch och kommer från två forskare vid Institutionen för elektronik vid Tsinghua University i Beijing.

Metod

Den centrala idén bakom det nya arbetet är att vända på den vanliga resonemangsflödet i språkmodeller. Istället för att be modellen att lösa ett problem från scratch, ges den först ett kandidatsvar (ofta felaktigt eller godtyckligt) och begärs att kontrollera om det svaret har mening.

Denna uppmaning får modellen att resonera i omvänd ordning, arbeta bakåt från det föreslagna svaret mot frågan. När verifieringen är klar fortsätter modellen att lösa det ursprungliga problemet som vanligt.

Denna omvändning, hävdar artikeln, minskar vårdslösa misstag och uppmuntrar till en mer reflekterande resonemangsform, som hjälper LLM att upptäcka dolda strukturer och undvika vilseledande antaganden.

Som visas i exemplen nedan kan till och med uppmana modellen att verifiera ett uppenbart felaktigt gissning som ’10’ hjälpa den att återhämta sig från felaktig logik och prestera bättre än standard chain-of-thought-promptning:

Att uppmana modellen att verifiera ett gissat svar först hjälper den att upptäcka inkonsekvenser och engagera sig mer noggrant med problemet. I detta exempel leder den standardmetoden till ett flytande men felaktigt svar, medan Verification-First-prompten utlöser en tydligare logisk struktur och det korrekta resultatet.

I fråga om många verkliga problem är det inte lätt att tillhandahålla ett gissning för modellen att kontrollera, särskilt när uppgiften är öppen, som att skriva kod eller anropa en API. Därför anpassar metoden sig bättre genom att först ge sitt bästa svar som vanligt och sedan mata tillbaka det svaret i Verification-First-formatet. På detta sätt kontrollerar modellen och förbättrar sitt eget utdata:

När modellen uppmanas att verifiera sitt tidigare utdata, upptäcker den felet i sin logik och skriver om lösningen korrekt. Verification-First-prompten hjälper den att fokusera på det specifika felet snarare än att upprepa samma misstag.

Denna metod utgör den ovannämnda Iter-VF. Modellen upprepar denna cykel, förfinar sitt svar varje gång, utan behov av omträning eller specialanpassad verktyg. Till skillnad från andra självkorrektionsstrategier, som kan ackumulera tidigare tankar och riskera att förvirra modellen, ser Iter-VF bara på det senaste svaret varje gång, vilket hjälper till att hålla dess resonemang klart.

Data och tester

Författarna utvärderar metoden i fyra områden: allmänna resonemangsuppgifter, där VF ges en trivial gissning; tidskänsliga uppgifter, där Iter-VF jämförs med rivaliserande skalningsmetoder; öppna problem som kodning och API-anrop, där VF använder modellens eget tidigare svar; och slutna kommersiella LLM, där interna resonemangssteg är otillgängliga.

För att testa metoden använde forskarna tre resonemangsbenchmark: GSM8K och MATH500 för matematiska problem; och GPQA-Diamond för frågor på avancerad nivå.

I varje fall gavs modellen antingen en trivial gissning, såsom ‘1’ för numeriska svar; eller en slumpmässigt omordnad flervalsalternativ, som startpunkt för verifiering. Inga specialanpassningar eller förkunskaper lades till, och baseline för jämförelse var standard zero-shot chain-of-thought-promptning.

Testerna kördes över en fullständig uppsättning Qwen2.5 och Llama3 instruktionsanpassade modeller, från 1B till 72B (parametrar) i storlek. Qwen-modellerna som användes var Qwen2.5-1.5B-Instruct, Qwen2.5-3B-Instruct, Qwen2.5-14B-Instruct och Qwen2.5-72B-Instruct. Llama3-varianterna var Llama3.2-1B-Instruct, Llama3.2-3B-Instruct, Llama3.1-8B-Instruct och Llama3.3-70B-Instruct.

Som visas nedan hölls förbättringen från Verification-First-promptning konstant över modellskalor, med tydliga vinster synliga redan vid 1B parametrar och fortsatte till 72B:

Över alla modellstorlekar i Qwen2.5- och Llama3-familjerna presterade Verification-First-promptning konsekvent bättre än standard chain-of-thought-promptning på GSM8K, MATH500 och GPQA-Diamond.

Effekten visade sig vara starkast på beräkningsintensiva matematiska benchmark som GSM8K och MATH500, där att verifiera ett felaktigt svar utlöste bättre resonemang än att försöka lösa från scratch. På GPQA-Diamond, som beror mer på lagrad kunskap än deduktiv struktur, var fördelen mindre men konsekvent.

Den beräkneliga kostnaden för Verification-First var blygsam: i tabellen nedan kan vi se att att generera ett verifieringssteg tillade cirka 20-50% fler utmatningstoken jämfört med standard chain-of-thought-promptning:

Den genomsnittliga antalet utmatningstoken som genereras under varje promptmetod, över GSM8K-, MATH500- och GPQA-benchmark.

Trots detta förblev den extra kostnaden långt under den som krävdes av strategier som krävde flera sampelade slutföranden eller rekursiv planering.

I grafen nedan kan vi se hur känslig metoden är för kvaliteten på det gissade svaret. Förvånansvärt nog presterade Verification-First-promptning bättre än standardpromptning även när gissningen var trivial (‘1’), otrolig (‘2025’) eller ett slumpmässigt flervalsalternativ:

Riktighetsvinster från Verification-First-promptning, när modellen ges triviala, otroliga eller korrekta svar att verifiera över GSM8K, MATH500 och GPQA.

Som förväntat ökade riktigheten ännu mer när gissningen råkade vara det korrekta svaret; men metoden fungerade bra oavsett, vilket tyder på att vinsterna inte drevs av informationen i det gissade svaret självt, utan snarare av själva akten av verifiering.

Iter-VF jämfördes också med fyra test-tidsskalningsstrategier som fungerar utan omträning eller uppgiftsspecifik anpassning. I Självkorrektion uppmanades modellen att revidera sina svar genom att reflektera över tidigare resonemangssteg; i PHP lades tidigare svar till som kontextuella ledtrådar, men inga instruktioner gavs om hur man skulle använda dem.

Utöver detta, i Självkonsekvens, sampades flera resonemangsbanor och det slutliga svaret valdes genom majoritetsomröstning; och slutligen, i Best-of-N, genererades flera utdata oberoende och rankades med hjälp av en verifieringsprompt, och det högst rankade svaret valdes.

Två varianter av Iter-VF implementerades: en som initierades med en trivial gissning (‘1’), och en som initierades med ett standard CoT-utdata:

Riktighet och token-effektivitet på MATH500 under ökande utmatningsbudgetar, visar att båda varianterna av Iter-VF presterar bättre än alla baslinjer över modellskalor.

Iter-VF gav bättre resultat än alla andra metoder när den tillgängliga beräkningskraften var låg, vilket författarna tillskrev det sätt på vilket den kontrollerar svar, inte hur bra de initiala svaren var (eftersom både VF- och CoT-variarterna snabbt nådde liknande riktighet).

PHP presterade sämre, trots att den återanvände tidigare svar som ledtrådar, troligen för att LLM inte utnyttjade dessa ledtrådar väl.

I kontrast till PHP och Självkorrektion, som ackumulerar kontext över iterationer, ser Iter-VF bara på det senaste svaret varje gång, vilket hjälper till att hålla dess resonemang klart.

Parallella metoder som Självkonsekvens och Best-of-N undvek detta problem, men deras förbättringar var långsammare och mer blygsamma.

(n.b. Resultatavsnittet, medan det är omfattande, är ett svårläst och prolixigt stycke, och vi måste vid denna punkt förkorta den återstående täckningen, och hänvisa läsaren till den ursprungliga artikeln för mer information).

När den testades på GPT-5 Nano och GPT-5 Mini, kommersiella modeller som döljer den fullständiga resonemangsspåren och returnerar endast det slutliga svaret, förbättrades prestandan med Iter-VF utan att förlita sig på mellanliggande utdata. I tabellen nedan kan vi se vinster över både MATH500 och GPQA, vilket bekräftar att verify-then-generate-approachen förblir livskraftig även när endast indata och slutligt svar är tillgängliga:

Riktighet på MATH500 och GPQA när Iter-VF tillämpas på GPT-5-modeller med dolda resonemangsspår.

Slutsats

Även om den nya artikeln svänger in i otydlighet från och med resultaten, är upptäckten av en övergripande egenskap i en klass av AI-modeller ändå en fascinerande utveckling. Alla som regelbundet använder en LLM har instinktivt utvecklat en uppsättning knep för att arbeta runt modellens brister, allteftersom de blir uppenbara med tiden, och mönstret framträder; och alla hoppas på att hitta en “knep” lika tillämplig och allmän som denna.

En av de största problemen vid implementering och uppdatering av en kontextfönster i en LLM verkar vara att hitta en balans mellan bevarande av sessionens framsteg och förmågan att bryta ut i nya riktningar när det behövs, utan att falla in i vilseledande hallucinationer eller avvikande utdata. I det fall som presenteras av den nya artikeln ser vi ett exempel på en mild men bestämd “väckarklocka” som verkar återfokusera och återställa LLM utan kontextförlust. Det kommer att vara intressant att se om efterföljande projekt anpassar och utvecklar metoden.

Forskarna gör mycket av den renommé som deras nya metod har – en övervägning som skulle ha haft långt mindre vikt bara för 12 månader sedan. Dessa dagar gör hypervolym-AI det tydligt att resurssparande som tidigare ansågs petiga i den “rena forskningens” era nu blir avgörande och nödvändiga.

* Vänligen notera att jag är begränsad från att inkludera det vanliga antalet citat från artikeln, eftersom den engelska standarden i vissa delar av den kan förvirra läsaren. Därför har jag tagit mig friheten att sammanfatta nyckelinsikter istället, och jag hänvisar läsaren till den ursprungliga artikeln för verifiering.

Publicerad första gången torsdagen den 4 december 2025