Kieltämallien “totuusvivun” antaminen

Tosi vai puhelias: valitse yksi. Uusi koulutusmenetelmä antaa käyttäjille mahdollisuuden kertoa tekoälychatboteille, kuinka “tosi” ne pitäisi olla, muuttaen tarkkuuden säätimellä, jonka voi kääntää ylös tai alas.

Uusi tutkimusyhteistyö Yhdysvaltojen ja Kiinan välillä tarjoaa jotain, mitä lähes kaikki tekoälychatbotien käyttäjät arvostaisivat: virtuaalisen “vivun”, joka kertoo botalle, pitäisikö se olla “puhelias” vai “tosi”.

Järjestelmä luotiin hienosäätämällä Mistral-7B -mallia synteettisillä tiedoilla, jotta “totuus”-asteikon skeema voitiin painaa malliin. Tämän korjauksen jälkeen Mistral-malli pystyy säätämään vastauksessa olevien tosiasioiden määrää; mitä korkeampi “totuus”-arvo, jonka käyttäjä antaa, sitä vähemmän – mutta varmempi – vastaus on.

Alhaisilla asetuksilla chatbotin vastaus muuttuu siitä, mitä tutkimuksen tekijät kutsuvat “tiedoksi”, eli se antaa pidemmän vastauksen ja sisältää enemmän tosiasioita; mutta joitakin tosiasioita voi olla hallusinoitu.

Synteettiset tiedot, joilla järjestelmä koulutettiin, käyttivät Wikipediaa viitealueena: todelliset biografiset tosiasiat ihmisistä. Riippumatta siitä, pitäisikö Wikipediaa pitää auktoriteettina, työn arvo on suunnittelemisessa minkä tahansa järjestelmän, joka voi rajoittaa LLM:ien luontaisen vastausvapautumisen, vaikka se ei ole antanut mitään vastausta.

Esimerkki FactScore-projektista, joka mahdollisti aineiston kokoamisen tarkasteltavaksi tutkimukseen, käyttäen Wikipediaa viiteviranomaisena biografisille tiedoille. Lähde

Tutkijat huomauttavat, että korkean varmuuden asiayhteydet, kuten lääketieteelliset ja oikeudelliset alat, vaativat konservatiivisia ja luotettavasti tosiasiallisia tulosteita, kun taas monet muut käyttäjät vaativat enemmän joustavaa ja luovaa, tulkinnollista tulostetta (esim. esseet ja akateeminen analyysi).

He huomauttavat*:

[Nykyiset] LLM:llä ei ole sisäänrakennettua mekanismia, jolla voidaan säätää tätä tasapainoa.

Käyttäjät saattavat yrittää ohjata mallin käyttäytymistä ohjaamalla “ole enemmän tosiasiallinen”, mutta havaitsemme, että eturintamallit eivät luotettavasti sovella tuloksiaan tällaisiin ohjauksiin tässä tehtävässä.

FactScoressa havaitsemme, että valmiit mallit usein epäonnistuvat tyydyttämään jopa kohtuullisen tiukkoja kohdearvoja. Tämä aukko motivoi hallittavaa vaihtoehtoa, joka antaa käyttäjille mahdollisuuden pyytää tiettyä tosiasiallisuuden tasoa ja mallin sovittaa tuloksiaan sen mukaan.

Vain Faktaa

Tutkimuksen ymmärtämiseksi ja ratkaisujen tarjoamiseksi on tarpeen tarkastella omaa “tiedokkuuden” määritelmää uudelleen. Tutkijat toteavat, että “tiedokkaan” vastauksen määritys on “tukeutuvan sisällön määrä tulosteessa, mitattuna validoiden atomisten lauseiden määränä, normalisoituna tulosteiden pituuden mukaan”.

Muissa kohdissa tutkimus toteaa yksinkertaisemmin, että tiedokkuus on “kaikkien atomisten tosiasioiden määrä tulosteessa, riippumatta siitä, ovatko ne oikein vai ei”.

Lisäksi tutkijat toteavat, että LLM:ien taipumus vaihdella tosiasiallisen tarkkuuden ja subjektiivisten arvioiden välillä on erittäin inhimillinen piirre, ja se on dokumentoitu monissa tieteellisissä tutkimuksissa*:

[LLM:n tietämys] on epätasaisesti luotettavaa: jotkut lauseet ovat vahvasti tuettuja, kun taas toiset ovat spekulatiivisia, vanhentuneita tai epävarmoja. Generointi vaatii päätöksiä siitä, miten paljon sanotaan ja miten varovasti sanotaan, luoden jännitteen tosiasiallisen tarkkuuden ja tiedokkuuden välillä.

Ihmiset tekevät samanlaisia valintoja: aloittaen korkean luotettavuuden tosiasioista ja lisäämällä alempiarvoisia yksityiskohtia vain, kun pyydetään.

Vaikka kokeet tehtiin vain keskikokoisella Mistral-mallilla, sovellettavat periaatteet pitäisi toimia useilla skaala- ja alustoilla, koska se sisältää uuden kvantifiointi -datan, joka on lisätty LLM:n sisäiseen skeemaan; ja tällainen muutos ei ole arkkitehtuurisidonnaista.

Uusi tutkimus on nimeltään Factuality on Demand: Controlling the Factuality-Informativeness Trade-off in Text Generation, ja se tulee seitsemältä tutkijalta Columbian yliopistosta, New Yorkin yliopistosta ja NYU Shanghaista.

Menetelmä ja Data

Tutkimuksessa esitetty uusi lähestymistapa on kutsuttu Factuality-Controlled Generation (FCG), ja se esittelee virtuaalisen “vivun”, joka antaa käyttäjille mahdollisuuden määritellä, kuinka tarkka he haluavat chatbotin vastauksen olevan. ‘Olennaisesti’, tutkimus toteaa, ‘FCG parantaa mallia säädettävällä “vivulla” tosiasiallisuuden hallitsemiseksi’.

Malli ottaa sekä käyttäjän kysymyksen että halutun tosiasiallisuuden tason, ja generoi vastauksen, joka sisältää vain niitä tietoja, joita se pitää riittävän luotettavina, samalla yrittäen olla mahdollisimman yksityiskohtainen annetun luotettavuusrajoituksen puitteissa.

Käyttäen (edellä mainittua) FactScore-järjestelmää, segmentoitu tuloste näytetään näytteellisistä kysymyksistä tarkasteltavaksi tarkkuuden suhteen, joka on määritelty tosiasiallisuuden noudattamisena:

FCG:n koulutusdatan putki: kielen malli generoi alkuväittämän, jakaa sen atomisiin tosiasioihin, arvioi niiden luotettavuutta ja hylkää vähiten luotettavat, kunnes haluttu totuuden taso saavutetaan. Lähde

Koska ei ollut olemassa olevaa tietojoukkoa, joka olisi vastannut FCG:n vaatimuksia, tutkijat loivat synthetisen tietojoukon, jossa GPT-4^† -kielen malli generoi ensin rajoittamattoman vastauksen, ja sitten poisti “alhaisimman luotettavuuden” tosiasiat, kunnes vastaus täytti annetun tarkkuuden.

Aiemmat tutkimukset osoittivat, että koulutus vain todellisilla tiedoilla voi tehdä malleista vähemmän tosiasiallisia, koska se estää niitä esittämästä mitään ylimääräistä yksityiskohtaa. Siksi FCG:n koulutuseksimerkit olivat vähäisiä, säilyttäen mallin oman sanamuodon ja rytmin, ja poistamalla vain tarpeeksi tietoja, jotta vaadittu luotettavuus saavutettaisiin.

Soveltamalla tätä editointiprosessia laajalle tarkkuuden tasoja, 10 prosentista jyrkkään 100 prosentin kynnykseen, syntetinen tietojoukko luotiin, jossa jokainen kysymys oli parittainen useiden suodatettujen vastauksien kanssa.

Jokaisessa versiossa säilytettiin vain ne tosiasiat, joita malli piti riittävän luotettavina täyttämään pyydetyt luotettavuuden vaatimukset; nämä esimerkit käytettiin koulutusdatana FCG:n hienosäätöä varten.

Lopullinen tietojoukko koostui 3 302 (kysymys, ohjaus, vastaus) -tripelistä koulutukseen ja 396 validointiin, jotka muodostettiin 500 entiteetistä, jaettuna 450 koulutukseen ja 50 kehitykseen. Lisäksi 183 erillistä entiteettiä käytettiin testaamiseen.

Koulutus ja Testit

Tutkijat hienosäätivät Mistral-7B-Instruct-v0.2 LLM -mallin eri oppimisnopeuksilla (3e-6, 1e-5, 3e-5) saadakseen optimaalisen (ilmoittamattoman) LR:n 30 epookin ajan, eräkoon 256 (huom. koulutuslaite ei ole määritelty).

FCG testattiin kahtaa vertailukohdetta vastaan. Ensimmäinen oli Ei Tosiasiallisuuden Hallintaa (NFC), jossa malli sai vain pyynnön, kuten Kerro X:n elämäkerrasta, ilman mainintaa tarkkuudesta tai luotettavuudesta. Tämä versio heijastaa LLM:n oletusarvoisen käyttäytymisen, ilman mekanismia tulosten suodattamiseksi tai rajoittamiseksi.

Toinen menetelmä, jota kutsutaan Tosiasiallisuuden Hallitsemiseksi (FCI), käytti samaa luotettavuustasoa ohjaamalla ilman hienosäätöä. Esimerkiksi malli sai ohjeen “Vastaa 90 prosentin luotettavuudella”. Tässä tapauksessa ohje muistutti koulutuksessa käytettyjä rajoituksia, mutta malli ei ollut aiemmin nähnyt tällaisia rajoituksia:

Kolmen testatun lähestymistavan vertailu: vertailukohta ilman hallintaa, versio, joka käyttää tosiasiallisuusohjeita ilman koulutusta, ja hienosäätöinen malli, joka oppi seuraamaan tarkkuusasetuksia filtteröidyn datan avulla.

Aluksi tehtiin testi tosiasiallisuuden noudattamisesta:

Suorituskyky kolmessa kohde-tarkkuustasossa. Vain hienosäätöinen malli pystyi tuottamaan täysin tosiasiallisia vastauksia, ja se ylitti molemmat vertailukohdat kaikilla tasoilla, erityisesti korkeammilla kynnyksillä.

Kun testattiin tosiasiallisuuden kynnyksellä 80 prosenttia, 90 prosenttia ja 100 prosenttia, vain hienosäätöinen malli pystyi johdonmukaisesti täyttämään kohdearvot. Yllättäen, yksin ohjausten lisääminen ilman koulutusta ei auttanut. Joidenkin tapauksissa se teki tilannetta jopa huonommaksi; esimerkiksi vain 3,8 prosenttia ohjatun mallin tuloksista täytti 90 prosentin kynnyksen, verrattuna 5,5 prosenttiin vertailukohdasta ilman ohjausta:

Tämä osoittaa, tutkijat toteavat, että perus-Mistral-7B-malli ei pystynyt tulkitsemaan ohjeita, kuten “ole 90 prosentin luotettava”, järkevällä tavalla, ja että lisäohjeus saattoi jopa häiritä sen normaalia tulostetta.

Toisin sanoen, koulutettu malli vastasi luotettavasti ohjaussignaaleihin, tuottaen 18,7 prosenttia täsmällisiä tuloksia 80 prosentin kynnyksellä, 12,6 prosenttia 90 prosentin kynnyksellä ja 23,6 prosenttia 100 prosentin kynnyksellä; ja se osoittautui ainoaksi menetelmäksi, joka pystyi tuottamaan täysin tosiasiallisia vastauksia:

Nämä parannukset osoittavat, että tosiasiallisuuden hallinta voidaan todella istuttaa valvotun koulutuksen avulla. FCG-malli on oppinut sovittamaan sisältöään ja sisällyttämään vain ne tosiasiat, joissa se on riittävän varma. Sen sijaan valmiit mallit eivät voineet käyttää ohjaussignaalia ominaisuutenaan.

Erillisessä testissä, jolla varmistettiin, että malli oli todella oppinut tulkkaamaan ohjaussignaalin, tutkijat tarkastivat, kasvaako vastausten keskimääräinen tosiasiallisuus, kun korkeampia totuuden asetuksia pyydettiin.

Ei havaittu tällaista mallia ennen koulutusta, mutta sen jälkeen tulokset paljastivat tasaisen ylöspäin suuntautuvan suunnan, jossa korkeammat pyydetyt luotettavuuden asetukset tuottivat vastaavasti tarkemmin tuloksia:

Kun kohde-totuuden asetus kasvoi, hienosäätöinen malli tuotti vastaavasti tarkemmin tuloksia, kun taas vertailumallit eivät osoittaneet johdonmukaista muutosta samalla aikavälillä.

Tosiasiallisuuden ja “rikkauden” välinen tasapaino tutkittiin myös. Tulokset arvioitiin sekä tarkkuuden että varmistetun tiedon määrän suhteen, kun yhä tiukempia tosiasiallisuuden vaatimuksia asetettiin. Kuten alla olevasta kaaviossa näkyy, FCG-malli osoittautui ylittävän molemmat vertailukohdat useimmilla tasoilla:

Kaavio, joka edustaa tosiasiallisuuden ja tiedokkuuden välistä tasapainoa kolmessa menetelmässä. Hienosäätöinen malli osoittautui tarjoavan paremman tasapainon tosiasiallisuuden ja yksityiskohtaisuuden välillä kuin kumpikaan vertailukohde. Vertailukelpoisilla tarkkuustasoilla enemmän tosiasiallista sisältöä säilytettiin, ja korkeimmassa asetuksessa se oli ainoa menetelmä, joka pystyi tuottamaan täysin varmistettuja vastauksia, jotka eivät olleet tyhjiä.

Korkean 90 prosentin tarkkuuden kohdalla FCG säilytti enemmän tosiasioita kuin mikään muu menetelmä, ja koko tarkkuusalueella mikään vertailukohde ei tuottanut johdonmukaisesti parempia tuloksia.

Erityisesti tiukimmassa asetuksessa FCG jatkoi tarkoituksenmukaista tulostuotantoa, kun taas vertailumalli, joka käytti ohjeita ilman koulutusta, joutui poistamaan kaiken. Silloin yksikin matalan luotettavuuden lause aiheutti koko vastauksen hylkäämisen.

Toisin sanoen, koulutettu malli pystyi muokkaamaan tulostuotantoaan säilyttääkseen ainoastaan ne tosiasiat, joita se piti täysin luotettavina, välttäen sen tyhjyyden, joka vaivasi muita:

Tosiasiallisuus rajoitettiin suoraan ohjausasetuksella, kun taas tiedokkuus optimoitiin sallimalla mallin sisällyttää mahdollisimman paljon luotettavaa sisältöä. Korkeampien asetusten kohdalla ainoastaan luotettavat lauseet säilytettiin; matalampien asetusten kohdalla sallittiin enemmän spekulatiivisia yksityiskohtia, joista seurasi pidentynyt vastaus, mutta vähennettiin tarkkuutta.

Tutkijat johtavat:

[Kun] korkea tosiasiallisuuden rajoitus on voimassa, malli priorisoi tosiasiallisesti verifioidut lauseet samalla, kun se sisällyttää mahdollisimman paljon asiaankuuluvaa tietoa. Toisaalta mallilla on vapaus sisällyttää laajempi valikoima yksityiskohtia, mukaan lukien sellaisia, jotka ovat vähemmän verifioidut tai spekulatiivisia, mikä johtaa suurempaan tiedokkuuteen (enemmän mainittuja tosiasioita) tarkkuuden kustannuksella.

Tämä käyttäytyminen on linjassa koulutusdatamme suunnittelun kanssa: koska poistimme aina vähiten luotettavat tosiasiat, malli oppi “jos sinun on oltava x prosentin tosiasiallinen, hylkää epävarmimmat yksityiskohdat, mutta säilytä kaikki muu”.

Tutkimus päättyy toiveeseen, että uusi metodologia kokeillaan suuremmilla malleilla ja sovelletaan monimutkaisempiin tehtäviin, muun muassa.

Johtopäätös

Ratkaisu, jota tässä tarjotaan, koskee yhtä suurimmista ja useimmin huomatuista ongelmista, joita jopa uusimmissa suurten kielen mallien sukupolvissa on – niiden taipumus suosia puheliasuutta tarkkuuden sijaan, ilmeisesti vain “jatkaa keskustelua”, ja esittää vanhentuneita tai täysin kuvitteellisia tietoja tosiasioina.

ChatGPT-käyttäjille mikä tahansa varma vastaus, jota ei edeltävä “etsintäverkkoa” -virkkeen lyhyt näyttäytyminen, tulee joko mallin tietojen vanhenemispäivämäärästä tai voi yhtä hyvin olla kuvitteellista kuin tosiasiallista.

Kuitenkin verkkohaut eivät lisää viivästystä ja LLM-isännän käyttökustannuksia, ja niitä suoritetaan valikoivasti; joko käyttäjän pyynnöstä; tai erityisasetuksena, joka voi aiheuttaa ylimääräisiä token-maksuja.

Kuitenkin nämä sisäiset taloudelliset seikat voivat vaikuttaa olennaisesti LLM-kyselyihin tietyissä aloissa tai tietyntyyppisissä kyselyissä. Mikä tahansa menetelmä, joka voi asettaa skeeman, joka liittyy tulosteen tarkkuuteen, on tervetullut tutkimus.

* Minun muunnos kirjoittajien sisäisistä viittauksista hyperlinkkeihin.

^† Full version number not given.

First published Friday, 6. helmikuuta 2026. Amended in the following five minutes for a word repetition