En ‘Zen’-metode for å stoppe språkmodeller fra å hallucinere

Å fortelle ChatGPT til å faktasjekke et tilfeldig svar før det løser et virkelig problem, får det til å tenke harder og gi riktige svar oftere – selv om det tidligere “tilfeldige” svaret ikke har noe å gjøre med din virkelige spørsmål.

En interessant ny rapport fra Kina har utviklet en meget lavkostnadsmetode for å stoppe språkmodeller som ChatGPT fra å hallucinere, og for å forbedre kvaliteten på svarene: få modellen til å faktasjekke svaret på et fullstendig ubeslektet spørsmål først:

Et eksempel på et ubeslektet spørsmål som kan “frigjøre” en LLM og hjelpe den til å fokusere på et (virkelig) påfølgende spørsmål. Kilde

Dette Zen-slag er en usedvanlig billig måte å forbedre ytelsen på, sammenlignet med andre mer omfattende metoder, som fine-tuning, prompt-crafting og parallell sampling, og det fungerer på både åpne og lukkede kildekodemodeller, noe som indikerer at det er funnet en grunnleggende karaktertrekk som er felles for flere LLM-arkitekturer (i stedet for en skjør egenskap som er spesifikk for bestemte treningmateriale eller -metoder).

Forfatterne beskriver de økonomiske skalaene som er mulige ved å forbedre utgangen på denne enkle måten*:

‘For å implementere med minimal ekstra forhåndskunnskap, trenger VF bare å gi et tilfeldig eller trivialt svar i prompten. Verifikasjonsprosessen viser seg å ha færre utgangstokens enn en vanlig CoT-vei, [av og til] ingen eksplisitt verifikasjonsprosess, og derfor [krever] svært litt ekstra testtid-komputasjon.’

I tester var denne tilnærmingen – kalt Verifikasjon-Først (VF) – i stand til å forbedre svarene i en rekke oppgaver, inkludert matematisk resonnement, på både åpne og kommersielle plattformer.

En del av grunnen til at denne teknikken fungerer, kan være basert på måten språkmodeller påvirker og tilegner seg menneskelige psykologiske trekk, så at et direkte spørsmål kan gjøre modellen “forsvarlig” og “nervøs”, mens en forespørsel om å verifisere andres arbeid ikke engasjerer disse “overlevelsesinstinktene”.

Kjerneideen er at å verifisere et svar tar mindre tid enn å generere ett fra scratch, og kan utløse en annen resonnementvei som komplementerer standard chain-of-thought.

Å be modellen om å kritisere et gitt svar (dvs. et svar som modellen ikke har vært involvert i å lage) kan også aktivere en type kritisk tenkning som hjelper til å unngå overmot i modellens egne første inntrykk.

Arbeidet karakteriserer prosessen som en omvendt resonnementvei:

Start fra et foreslått svar og resonnere bakover mot spørsmålet kan avsløre kortveier eller innsikter som er vanskeligere å finne når man ressonerer fremover fra problemet alene. Denne ‘omvendte veien’ kan følge en enklere trajektori og tilby komplementær informasjon til standard chain-of-thought resonnement.

Forskerne har også konkretisert den sentrale ideen i Iter-VF, en sekvensiell tidstest-skaleringsmetode som iterativt forbedrer svarene, unngår feilakkumulasjonsproblemet som er vanlig i LLM-arkitekturer.

Den nye rapporten heter Å be LLM om å verifisere først er nesten en gratis lunch, og kommer fra to forskere ved Institutt for elektronisk ingeniørkunst ved Tsinghua-universitetet i Beijing.

Metode

Den sentrale ideen bak den nye rapporten er å snu den vanlige resonnementflyten i språkmodeller. I stedet for å be modellen om å løse et problem fra scratch, blir den først gitt et kandidatsvar (ofte feil eller tilfeldig) og bedt om å sjekke om svaret er rimelig.

Dette får modellen til å resonnere i omvendt, arbeide bakover fra det foreslåtte svaret mot spørsmålet. Når verifikasjonen er fullført, går modellen videre til å løse det opprinnelige problemet som vanlig.

Dette omvendte resonnementet, hevder rapporten, reduserer uaktsomme feil og oppmuntrer til en mer refleksiv resonnementstype, som hjelper LLM til å avdekke skjulte strukturer og unngå misvisende antagelser.

Som vist i eksemplene nedenfor, kan selv å be modellen om å verifisere et åpenbart feilaktig gjetting som ’10’ hjelpe den til å gjenopprette feilaktig logikk og overgå standard chain-of-thought-prompting:

Å be modellen om å verifisere et gjetting først hjelper den til å spore inkonsistenser og engasjere mer omhyggelig med problemet. I dette eksemplet fører den standardmetoden til en flytende men feilaktig løsning, mens Verification-First-prompten utløser en klarere logisk struktur og det riktige resultatet.

I forhold til mange virkelige problemer, er det ikke lett å gi et gjetting som modellen kan sjekke, spesielt når oppgaven er åpen, som å skrive kode eller ringe en API. Derfor tilpasser metoden seg bedre ved å gi sitt beste svar som vanlig og deretter mate det svaret tilbake til Verification-First-formatet. På denne måten sjekker modellen og forbedrer sitt eget utgangspunkt:

Når modellen blir bedt om å verifisere sitt eget tidligere utgangspunkt, fanger den feilen i sin logikk og skriver om løsningen korrekt. Verification-First-prompten hjelper den til å fokusere på den spesifikke feilen i stedet for å gjenta den samme feilen.

Dette utgjør den ovennevnte Iter-VF. Modellen gjentar denne syklusen, forbedrer svaret hver gang, uten å trenge omtrening eller spesialtilpasset verktøy. I motsetning til andre selvkorreksjonsstrategier, som kan bygge opp tidligere tanker og risikere å forvirre modellen, ser Iter-VF bare på det siste svaret hver gang, noe som hjelper til å holde dens resonnement klart.

Data og tester

Forfatterne vurderer metoden i fire domener: generelle resonnementoppgaver, hvor VF blir seedet med et trivialt gjetting; tidskritiske oppgaver, hvor Iter-VF blir sammenlignet med rivaliserende skaleringsmetoder; åpne problemer som å kode og ringe API, hvor VF bruker modellens eget tidligere svar; og lukkede kommersielle LLM, hvor interne resonnementstrinn er utilgjengelige.

Til å teste metoden, brukte forskerne tre resonnementstester: GSM8K og MATH500 for matematisk resonnement; og GPQA-Diamond for vitenskapelige spørsmål på høyere nivå.

I hver enkelt tilfelle ble modellen gitt enten et trivialt gjetting, som ‘1’ for numeriske svar; eller et tilfeldig valgt multiple-choice-alternativ, som utgangspunkt for verifikasjon. Ingen spesialtilpassing eller forhåndskunnskap ble lagt til, og sammenligningsgrunnlaget var standard zero-shot chain-of-thought-prompting.

Testene ble gjennomført på en full rekke Qwen2.5 og Llama3 instruksjonsjusterte modeller, fra 1 milliard til 72 milliarder parametre. Qwen-modellene som ble brukt, var Qwen2.5-1.5B-Instruct, Qwen2.5-3B-Instruct, Qwen2.5-14B-Instruct og Qwen2.5-72B-Instruct. Llama3-variantene var Llama3.2-1B-Instruct, Llama3.2-3B-Instruct, Llama3.1-8B-Instruct og Llama3.3-70B-Instruct.

Som vist nedenfor, holdt forbedringen fra Verification-First-prompting seg stabil over modellskalaer, med tydelige gevinster synlige selv på 1 milliard parametre og videre til 72 milliarder:

Over alle modellstørrelser i Qwen2.5- og Llama3-familiene, presterte Verification-First-prompting konsekvent bedre enn standard chain-of-thought-prompting på GSM8K, MATH500 og GPQA-Diamond.

Effekten viste seg å være sterkere på beregningsintensive matematisk-baserte tester som GSM8K og MATH500, hvor verifikasjon av et feilaktig svar utløste bedre resonnement enn å prøve å løse fra scratch. På GPQA-Diamond, som avhenger mer av lagret kunnskap enn deduktiv struktur, var fordelen mindre, men konsekvent.

Komputasjonskostnaden for Verification-First var beskjeden: i tabellen nedenfor kan vi se at å generere en verifikasjonstrinn la til rundt 20-50% flere utgangstokens sammenlignet med standard chain-of-thought-prompting:

Gjennomsnittlig antall utgangstokens generert under hver promptingsmetode, over GSM8K-, MATH500- og GPQA-benchmarkene.

Til tross for dette, forble den ekstra kostnaden langt under den som kreves for strategier som krever multiple sampede fullføringer eller rekursive planer.

I grafen nedenfor kan vi se hvor følsom metoden er for kvaliteten på det gjettede svaret. Overraskende nok, selv når gjettingen er trivial (‘1’), urimelig (‘2025’) eller et tilfeldig valgt multiple-choice-alternativ, presterte Verification-First-prompting bedre enn standard-prompting:

Nøyaktighetsforbedring fra Verification-First-prompting, når modellen blir gitt trivielle, urimelige eller korrekte svar å verifisere over GSM8K-, MATH500- og GPQA-benchmarkene.

Som forventet, øker nøyaktigheten enda mer når gjettingen faktisk er det korrekte svaret; men metoden fungerte godt uansett, noe som tyder på at forbedringen ikke ble drevet av informasjonen i gjettingen selv, men bare av aksjonen av verifikasjon.

Iter-VF ble også sammenlignet med fire test-tid skaleringsstrategier som opererer uten omtrening eller oppgave-spesifikk tilpasning. I Selv-korreksjon ble modellen bedt om å revidere svarene sine ved å reflektere over tidligere resonnementstrinn; i PHP ble tidligere svar appendet til inndata som kontekstuelle hint, selv om ingen instruksjoner ble gitt om hvordan de skulle brukes.

I tillegg ble, i Selv-konsistens, flere resonnementstrinn sampet og det endelige svaret valgt ved flertallsstemme; og til slutt, i Best-of-N, ble flere utgangspunkter generert uavhengig og rangert ved hjelp av en verifiseringsprompt, med det høyest rangerte svaret valgt.

To varianter av Iter-VF ble implementert: en som ble initialisert med et trivialt gjetting (‘1’), og en annen som ble seedet med et standard CoT-utgangspunkt:

Nøyaktighet og token-effektivitet på MATH500 under økende utgangsbudsjett, som viser at begge variantene av Iter-VF overgår alle baseline-metodene over modellskalaer.

Iter-VF ga bedre resultater enn alle andre metoder når tilgjengelig beregningskraft var lav, noe forfatterne tilskrev måten den sjekker svarene på, ikke hvor gode de innledende svarene var (siden både VF- og CoT-variantene raskt nådde tilsvarende nøyaktighet).

PHP presterte dårligere, selv om den gjentok tidligere svar som hint, sannsynligvis fordi LLM-er ikke utnyttet disse hintene godt.

I motsetning til PHP og Selv-korreksjon, som akkumulerer kontekst over iterasjoner, ser Iter-VF bare på det siste svaret hver gang, noe som hjelper til å holde dens resonnement klart.

Parallell-metoder som Selv-konsistens og Best-of-N unngikk dette problemet, selv om deres forbedringer var langsommere og mer beskjedne.

(NB: Resultatdelen, selv om den er grundig, er en uvennlig og proliks lesning, og vi må derfor forkorte mesteparten av den gjenværende dekningen og henvise leseren til kilde-rapporten for mer detaljer).

Når testet på GPT-5 Nano og GPT-5 Mini, lukkede kommersielle modeller som skjuler den fullstendige resonnementssporingen og returnerer bare det endelige svaret, forbedret Iter-VF ytelsen uten å avhenge av mellomliggende utgangspunkter. I tabellen nedenfor kan vi se forbedringer over både MATH500 og GPQA, som bekrefter at verifiser-og-generer-tilnærmingen forblir gyldig selv når bare inndata og det endelige svaret er tilgjengelig:

Nøyaktighet på MATH500 og GPQA når Iter-VF blir anvendt på GPT-5-modeller med skjulte resonnementstrinn.

Konklusjon

Til tross for at den nye rapporten går over i uklarhet fra resultatdelen og utover, er oppdagelsen av en overordnet egenskap i en klasse av AI-modeller likevel en fascinerende utvikling. Alle som regelmessig bruker en LLM har uten tvil utviklet en rekke triks for å jobbe rundt modellens mangler, ettersom hver enkelt blir åpenbar med tid, og mønsteret dukker opp; og alle håper å finne en “trikk” like anvendelig og generalisert som denne.

En av de største problemene ved å implementere og oppdatere en kontekst-vindu i en LLM, synes å være å finne en balanse mellom å beholde sesjonsfremskritt og evnen til å bryte ut i nye retninger når det er nødvendig, uten å falle inn i feilaktige hallucinasjoner eller avvikende utgang. I tilfelle den nye rapporten, ser vi et eksempel på en mild, men insisterende “våkner-oppkall” som synes å gjenfokusere og nullstille LLM uten å miste kontekst. Det vil være interessant å se om påfølgende prosjekter tilpasser og utvikler metoden videre.

Forskerne legger vekt på den usedvanlige økonomien i deres nye metode – en overvegelse som ville hatt langt mindre vekt bare 12 måneder tidligere. Disse dagene gjør implikasjonene av hyperskala-AI det klart at ressurkssparing som tidligere ble ansett som pedantisk i den “rene forsknings”-æraen, nå blir avgjørende og essensielle.

* Vær oppmerksom på at jeg er begrenset fra å inkludere det vanlige antallet sitater fra rapporten, ettersom standarden for engelsk i noen deler av den kan forvirre leseren. Derfor har jeg tatt friheten til å sammenfatte nøkkelinnsikt i stedet, og jeg henviser leseren til kilde-rapporten for verifisering.

Først publisert torsdag, 4. desember 2025