At give sprogmodeller en ‘sandhedsdial’

Sandt eller smalltalk: Vælg en. En ny træningsmetode giver brugerne mulighed for at fortælle AI-chatbots præcis, hvor ‘faktuelle’ de skal være, og omdanner nøjagtighed til en dial, der kan justeres op eller ned.

Et nyt forskningssamarbejde mellem USA og Kina tilbyder noget, som næsten alle brugere af AI-chatbots ville sætte pris på: en virtuel ‘knap’, der fortæller bot’en, om den skal være ‘loquacious’ eller ‘sandfærdig’

Systemet blev skabt ved at fine-tune en Mistral-7B-model på synthetisk data, således at skemaet for en ‘sandheds-skala’ kunne indprentes på modellen. Efter denne revision er Mistral-modellen i stand til at kontrollere antallet af faktiske oplysninger i et svar; jo højere ‘sandheds-værdi’, der gives af brugeren, desto færre – men sikrere – vil svaret være.

Ved lavere indstillinger bliver chatbot-svaret, som forfatterne kalder ‘informativt’, dvs. det vil give et længere svar og indeholde flere faktiske oplysninger; men nogle af disse oplysninger kan være hallucinerede.

Den synthetiske data, som systemet blev trænet på, brugte Wikipedia som reference for et testdomæne: faktiske biografiske oplysninger om mennesker. Uanset om man mener, at Wikipedia bør være en autoritativ kilde, er værdien af arbejdet at designe enhver type system, der kan begrænse LLM’ers naturlige tendens til at give svar, selv når det ikke har nogen svar at give.

Et eksempel fra FactScore-projektet, der drev kurateringen af datasettet for denne artikel, ved at bruge Wikipedia som referenceautoritet for biografiske detaljer. Kilde

Forfatterne bemærker, at høj-sikkerheds-sammenhænge som medicinske og juridiske områder kræver konservative og pålideligt faktuelle udgangspunkter, hvorimod mange andre typer brugere kræver en mere fleksibel og kreativ, fortolkende type udgangspunkter (dvs. diskursiv skrivning og akademisk analyse, blandt andre).

De observerer*:

‘[Nuværende] LLM’er tilbyder ingen indbygget mekanisme til at kontrollere denne balance.

‘Selv om brugere kan forsøge at guide modellens adfærd med prompts som “vær mere faktuel”, finder vi, at frontier-modellerne ikke pålideligt tilpasser deres udgangspunkter i forhold til sådanne prompts på denne opgave.

‘På FactScore, finder vi, at off-the-shelf-modeller ofte ikke opfylder selv moderate til strenge mål. Denne åbning motiverer en kontrollerbar alternativ, der giver brugerne mulighed for at anmode om en bestemt sandhedsniveau og få modellen til at tilpasse sine svar derefter.’

Kun Fakta

For at forstå artiklen og de løsninger, den tilbyder, er det nødvendigt at gennemgå sin egen definition af ‘informativitet’. Forfatterne fastslår, at kvantificeringen af en informativ besvarelse er lig med ‘mængden af understøttet indhold i udgangspunktet, målt som antallet af validerede atomare udsagn, normaliseret efter udgangspunktslængde’.

Andetsteds i artiklen fastslås det, at informativitet er ‘det samlede antal atomare faktiske oplysninger i udgangspunktet, uanset om de er korrekte eller ej’.

Yderligere bemærker forskerne, at LLM’ers tendens til at variere mellem faktuel nøjagtighed og subjektive gæt er en meget menneskelig egenskab, og en, der er dokumenteret af forskellige videnskabelige studier*:

‘[LLM’ers viden] er urent pålidelig: nogle udsagn er stærkt understøttet, mens andre er spekulative, forældede eller usikre. Generering kræver derfor at beslutte, hvor meget at sige og hvor forsigtigt at sige det, og skaber en spænding mellem faktuel præcision og informativitet.

‘Mennesker træffer lignende valg: startende med høj-reliabilitets-faktiske oplysninger og tillægger lavere-sikkerheds detaljer kun, når de bedes om det.’

Selv om eksperimenterne kun blev udført på den mid-size Mistral-model, burde principperne fungere på en række størrelser og platforme, fordi det indebærer en ny kvantificering af data som en tilføjelse til en LLM’s interne skema; og en ændring af denne type er ikke arkitektur-specifik.

Den nye artikel har titlen Factuality on Demand: Controlling the Factuality-Informativeness Trade-off in Text Generation og kommer fra syv forskere på Columbia University, New York University og NYU Shanghai.

Metode og Data

Den nye tilgang, der præsenteres i artiklen, kaldes Factuality-Controlled Generation (FCG), og introducerer en virtuel dial, der giver brugerne mulighed for at specificere, hvor nøjagtig de ønsker, at chatbot-svaret skal være. ‘I essensen,’ fastslår artiklen, ‘FCG forbedrer modellen med en kontrollerbar “knap” for sandhedsniveau’.

Modellen tager både en bruger-spørgsmål og et ønsket sandhedsniveau, og genererer derefter et svar, der kun indeholder information, som den selv betragter som tilstrækkeligt pålidelig, mens den stadig forsøger at være så detaljeret som muligt inden for denne tillidsbegrænsning.

Ved hjælp af (ovenstående) FactScore-systemet blev det segmenterede output fra prøve-spørgsmål vurderet for nøjagtighed, en kvalitet defineret som sandhedsniveau-overholdelse:

Træningsdata-pipeline for FCG: en sprogmodel genererer et initialt svar, bryder det ned i atomare faktiske oplysninger, rangerer dem efter tillid og kasserer de mindst pålidelige, indtil det ønskede sandhedsniveau er opnået. Kilde

Fordi ingen eksisterende dataset matchede FCG’s krav, skabte forfatterne et syntetisk dataset ved at lade GPT-4^†-sprogmodellen først generere et ubegrænset svar, og derefter fjerne de ‘laveste-tillids’-faktiske oplysninger, indtil svaret opfyldte et givet nøjagtighedsniveau.

Tidligere arbejde foreslog, at træning kun på ground-truth-data kunne gøre modellerne mindre faktuelle, ved at afværge dem fra at tilbyde nogen ekstra detaljer overhovedet. Derfor blev FCG-træningseksemplerne minimalt redigeret, og modellens egen formulering og rytme blev bevaret, mens kun nok til at opfylde det krævede mål-niveau blev fjernet.

Ved at anvende denne redigeringsproces på tværs af et udvalg af mål-niveauer, fra 10% til et strengt niveau på 100%, blev et syntetisk dataset skabt, hvor hvert spørgsmål var parret med multiple filtrerede svar.

I hver version blev kun de faktiske oplysninger, som modellen selv betragtede som tilstrækkeligt pålidelige til at opfylde det anmodede niveau, beholdt; disse eksempler blev derefter brugt som træningsdata for superviseret fine-tuning.

Det endelige dataset bestod af 3.302 (spørgsmål, kontrol, svar) triples til træning og 396 til validering, bygget fra 500 enheder, som blev delt i 450 til træning og 50 til udvikling. Yderligere 183 forskellige enheder blev brugt til test.

Træning og Tests

Forfatterne fine-tuned den Mistral-7B-Instruct-v0.2 LLM-model på forskellige læringsrater (3e-6, 1e-5, 3e-5) for at nå det optimale (ustated) LR, i 30 epoch, med en batch-størrelse på 256 (n.b. træningshardwaren er ikke specificeret).

FCG blev testet mod to baseline-modeller. Den første var Ingen sandheds-kontrol (NFC), hvor modellen blot blev bedt om at svare på et spørgsmål, såsom Fortæl mig om X, uden nogen omtale af nøjagtighed eller tillid. Denne version reflekterer den standardmæssige adfærd for en LLM, uden nogen mekanisme for filtrering eller begrænsning.

Den anden metode, kaldet Factuality-Controlled Inference (FCI), brugte de samme tillids-niveauer-prompts uden nogen fine-tuning. For eksempel kunne modellen blive bedt om ‘Udgangspunkt, som du er 90% sikker på’. I dette tilfælde lignede instruktionerne dem, der blev brugt under træning, men modellen havde ingen forudgående erfaring med sådanne begrænsninger:

Sammenligning af de tre testede tilgange: baseline med ingen kontrol; en version, der bruger sandheds-prompts uden træning; og den fuldt trænede model, der lærte at følge nøjagtigheds-indstillinger gennem eksponering for filtreret data.

Initialt blev der lavet en test for sandhedsniveau-overholdelse:

Ydelse ved tre mål-niveauer. Kun den fuldt trænede model var i stand til at producere fuldt faktuelle udgangspunkter, og den overgik begge baseline-modellerne over hele linjen, især ved højere grænser.

Da den blev testet mod sandhedsniveauer på 80%, 90% og 100%, var det kun den fuldt trænede model, der konsekvent kunne opfylde målene. Overraskende nok hjalp det ikke at tilføje tillids-instruktioner uden at træne modellen til at følge dem. I nogle tilfælde gjorde det tingene værre; for eksempel opfyldte kun 3,8% af output fra den prompted model 90%-målet, sammenlignet med 5,5% fra versionen uden instruktion overhovedet:

Dette antyder, fastslår forfatterne, at den grundlæggende Mistral-7B-model ikke var i stand til at fortolke prompts som ‘vær 90% sikker’ på en nyttig måde, og at den ekstra instruktion kan have forstyrret dens normale udgangspunkt.

I modsætning hertil svarede den trænede model pålideligt på kontrollignalerne, og producerede 18,7% overholdelige output ved 80%, 12,6% ved 90% og 23,6% ved 100%; og den var den eneste metode, der kunne generere fuldt faktuelle svar:

‘Disse forbedringer indikerer, at evnen til at kontrollere sandhedsniveau kan være indprentet via superviseret træning. FCG-modellen har lært at tilpasse sit indhold og kun inkludere faktiske oplysninger, som den er tilstrækkeligt sikker på, hvorimod den off-the-shelf-model ikke kunne effektivt udnytte kontrollignalerne på egen hånd.’

I en separat test, designet til at bekræfte, at modellen havde lært at fortolke kontrollignalerne, kontrollerede forskerne, om gennemsnits-sandhedsniveauet af svarene steg, da højere sandhedsniveauer blev anmodet.

Intet sådant mønster opstod før træning, men efterfølgende viste resultaterne en konstant stigende tendens, hvor højere anmodet tillid producerede korresponderende mere nøjagtige svar:

Da mål-sandhedsniveauet steg, producerede den fuldt trænede model stadig mere faktuelle udgangspunkter i svarene, hvorimod baseline-modellerne viste ingen konsekvent ændring over samme niveau.

Balance mellem sandhedsniveau og ‘rigdom’ blev også undersøgt. Output blev vurderet ikke kun for nøjagtighed, men også for, hvor meget verificeret information der blev beholdt under stadig strengere sandhedsniveauer. Som vist i grafen nedenfor, blev FCG-modellen fundet at overgå begge baseline-modellerne på de fleste niveauer:

En graf, der repræsenterer sandhedsniveau-informativitet-balancen over tre metoder. Den fuldt trænede model blev fundet at tilbyde en bedre balance mellem sandhed og detaljer end begge baseline-modeller. Ved sammenlignelige nøjagtighedsniveauer blev mere faktisk indhold beholdt, og ved det højeste niveau var den den eneste metode, der kunne producere fuldt verificerede svar, der ikke var tomme.

Ved et mål-niveau på omkring 90% blev flere faktiske oplysninger beholdt af FCG end af nogen anden metode, og over hele nøjagtighedsniveauerne producerede ingen baseline-modeller konsekvent bedre resultater.

Forskellen var mest slående ved det strengeste niveau, hvor FCG fortsat producerede ikke-nul informativitet, hvorimod baseline-modellen med prompts alene blev tvunget til at fjerne alt. I disse tilfælde ville blot en enkelt lav-tillids udsagn få hele svaret til at blive kasseret.

I modsætning hertil var den trænede model i stand til at omforme sit udgangspunkt for at beholde kun de faktiske oplysninger, som den selv betragtede som fuldt pålidelige, og undgå den tilbagegang til tavshed, der ramte de andre.

Sandhedsniveau blev direkte begrænset af kontrollindstillingen, mens informativitet blev optimeret ved at lade modellen inkludere så meget pålideligt indhold som muligt. Ved højere indstillinger blev kun pålidelige udsagn beholdt; ved lavere indstillinger blev mere spekulative detaljer tilladt, og svarets længde øgedes, men nøjagtigheden reduceredes.

Forfatterne konkluderer:

‘[Når] et højt sandhedsniveau er påkrævet, prioriterer modellen faktisk verificerede udsagn, mens den stadig inkluderer så meget relevant information som muligt. Omvendt har modellen mulighed for at inkorporere en bredere række detaljer, herunder nogle, der er mindre verificerede eller mere spekulative, hvilket resulterer i højere informativitet (flere faktiske oplysninger nævnt) på bekostning af en vis nøjagtighed.

‘Dette adfærdsmønster er i overensstemmelse med vores design af træningsdata: da vi altid fjernede de mindst nødvendige faktiske oplysninger, lærte modellen “hvis du skal være x% sand, fjern de mindst sikre detaljer, men behold alt andet”.’

Artiklen afslutter med håbet om, at den nye metode vil blive prøvet med større modeller og anvendt på mere komplekse opgaver, blandt andre mulige fremtidige udvidelser af arbejdet.

Konklusion

Løsningen, der tilbydes her, adresserer en af de mest alvorlige og ofte nævnte fejl i selv den nyeste generation af Large Language Models – deres tendens til at favorisere smalltalk over nøjagtighed, åbenbart blot for at ‘holde samtalen i gang’, og til at præsentere enten forældede eller fuldt hallucinerede oplysninger som faktuelle.

For ChatGPT-brugere vil ethvert selvbevidst svar, der ikke er forudgået af et kort ‘søger på nettet’-widget, enten komme fra modellens kunskabsafskæringsdato eller kunne lige så godt være hallucination som faktisk.

Imidlertid øger web-søgninger latency og LLM-værtsens kørselsomkostninger, og som enhver bruger ved, køres de selektivt; eller på brugerens anmodning; eller som en ‘specialindstilling’, der kan medføre ekstra token-gebyrer.

Ikke desto mindre kan disse interne økonomiske aspekter have en kritisk effekt på LLM-spørgsmål i visse domæner eller for visse typer spørgsmål. Enhver metode, der kan påføre et skema relateret til nøjagtighed af output, er velkommen forskning.

* Min konvertering af forfatternes inline-citation til hyperlinks.

^† Full version ikke angivet.

Offentliggjort fredag, 6. februar 2026. Ændret i de følgende fem minutter på grund af en gentaget ord.