Kuinka saada ChatGPT puhumaan normaalisti

ChatGPT ja muut vastaavat botit usein ylistävät käyttäjiä, puhuvat epämääräisesti tai käyttävät jargonia kuulostakseen älykkäiltä. Uusi tutkimus osoittaa, että nämä tavat eivät johtu yksinomaan malleista, vaan siitä, miten ihmisten palautteet kouluttavat niitä: mallit oppivat jäljittelemään ihmisten vastausten tyyliä, vaikka ne ovat tyhjiä tai harhaanjohtavia. Uusi hienosäätömenetelmä käyttää synteettisiä esimerkkejä opettaakseen malleja vastustamaan näitä huonoja tapoja.

Osa mielipidettä. ChatGPT on yllättävän altis keskusteluun sen jatkuvasta kritiikistäni. Huomattuani viime päivinä, että GPT-4o lisää vastauksiinsa yhä enemmän merkityksettömiä sanoja, kuten “Ei turhia!” ja “Ei täytettä” tai “Tämä menee asian ytimeen!“, kysyin siltä, miksi se on viime aikoina käyttänyt niin paljon turhaa sanailua. Se vastasi:

ChatGPT selittää viimeisintä käyttäytymistään. Lähde: https://chatgpt.com/

Kuka tietää, onko ChatGPT:llä todella jokin yksityinen tieto OpenAI:n muutoksista, tai onko se vain harhautunut? Joka tapauksessa, kuten voidaan nähdä, vastaus alkaa turhilla sanoilla (‘Tässä on ydin vastaus, ei täytettä’).

Tämä johtuu siitä, että vaikka mallin ohjelmointiin voidaan sisällyttää ohjeita, se ei voi estää ‘persoonallisuuteen perustuvaa’ sanailua, joka on yksi useista jatkuvista ongelmista suosittujen LLM:ien kielenkäytössä.

Kolme F:ää

Olin kiinnostunut näkemään uuden yhdysvaltalaisen tutkimuksen, joka ilmestyi viime viikolla. Tutkimuksen otsikko on Flattery, Fluff, and Fog: Diagnosing and Mitigating Idiosyncratic Biases in Preference Models, ja se on yhteistyö neljän tutkijan välillä Pennsylvanian yliopistosta ja New Yorkin yliopistosta. Tutkimus keskittyy useisiin LLM-viestintään liittyviin “harhaanjohtaviin” kohteisiin, jotka ilmestyvät usein mediassa:

Uudesta tutkimuksesta – esimerkkejä kolmesta yleisimmästä LLM-harhautumisesta: ‘ylipuhuminen’, jossa vastaukset ovat vahvasti samaa mieltä käyttäjän kanssa; ‘turhauttaminen’, jossa vastaukset ovat pitkiä mutta sisällöltään tyhjiä; ja ‘sumun käsite’, jossa vastaukset listaavat useita laajaa mutta pintapuolista kohtaa. Lähde: https://arxiv.org/pdf/2506.05339

Helpon allitteraation vuoksi ylipuhuminen, turhauttaminen ja sumun käsite ovat otsikoitu uudessa tutkimuksessa, mutta täydellisempi ja tiivis luettelo LLM-sanailun sanastosta on tutkimuksen liitteessä:

Uusi tutkimus tunnistaa ja keskittyy viiteen harhaanjohtavuuteen: ylimääräinen pituus, listarakenteet, tekninen jargoni, ylipuhuminen ja epämääräiset yleistykset, jotka kaikki voivat olla ristiriidassa ihmisten mieltymyksillä.

Pituus/verbaalisuus johtaa listaa, ja listamuotoilu (toinen rivi yllä olevassa kuvassa) toistuu usein, ellei sitä vastaan ohjata. Vaikka jargoni ja epämääräisyys edustavat vastakkaisia ääripäitä selkeyden ja tarkkuuden välillä, se on ylipuhuminen – avoin ongelma, erityisesti ChatGPT:ssä – joka kuluttaa käyttäjän tokenit lähes yhtä paljon kuin pituus/verbaalisuus.

Tutkimus osoittaa, että nämä harhaanjohtavuudet vääristävät mallin käyttäytymistä, ja tutkijat päättävät, että suuret kielen mallit johdonmukaisesti suosivat vastauksia, jotka osoittavat yhtä tai useampaa näistä harhaanjohtavuuksista*.

Tutkijoiden testit osoittavat, että sekä kaupalliset että avoimet mallit usein valitsevat vastauksia, joita ihmiset eivät suosi, erityisesti kun vastaukset ovat liian pitkiä, täynnä listoja, täynnä jargonia, liian ystävällisiä tai epämääräisiä.

Tämä ongelma, jonka tutkimus väittää, johtuu koulutusdatan annotoinnista, jossa ihmisten arvostelijat usein suosivat näitä vastaustyyppien vastauksia. Tutkijoiden löydökset osoittavat, että mallit oppivat nämä harhaanjohtavuudet näistä merkityistä etuoikeuksista ja korostivat näitä malleja koulutuksen aikana.

Miksi he tekivät niin..?

Tutkimus ei arvioi, miksi ihmisten annotoijat poikkesivat mieltymyksissään loppukäyttäjien keskiarvon mieltymyksistä; se saattaa johtua annotoinnin kontekstista tai ohjeiden sanamuodosta; tai (monista muista mahdollisista syistä) se saattaa johtua siitä, että annotoijat olivat tutkinto-oppilaita, jotka olivat tottuneet tekniseen sanastoon, joka on enemmän sovellettavissa akateemiseen kuin päivittäiseen keskusteluun.

Joka tapauksessa, koska mallit kopioivat harhaanjohtavuudet annotoijien koulutusmerkinnöistä, tutkimuksen tutkijat loivat erityisiä koulutus-esimerkkejä, jotka lisäsivät tai poistivat kunkin harhaanjohtavuuden, mahdollistaen mallien nähdä selkeät kontrastit ja sopeuttaa mieltymyksiään. Hienosäätö tämän datan jälkeen mallit osoittivat merkittävästi vähemmän harhaanjohtavuutta, erityisesti jargonia, verbaalisuutta ja epämääräisyyttä, ja suorittivat edelleen hyvin yleensä (merkittävä, koska hienosäätö voi vahingoittaa yleistä suorituskykyä).

Tutkimme tätä tutkimusta tarkemmin, vaikka se ei noudata kaikkia yleisiä menettelytapoja.

Menetelmä

Aluksi tutkijat määrittävät useita tyypillisiä LLM-harhaanjohtavuuksia, jotka on käsiteltävä:

Pituus, jossa mallit suosivat pidempiä vastauksia, vaikka ylimääräinen sisältö ei lisää mitään hyödyllistä. Tämä näyttää heijastavan koulutusdatan malleja, joissa pituus usein korreloi perusteellisuuden kanssa ihmisten annotoijien silmissä. Seurauksena mallit usein tuottavat turpeita ja verbaalisia vastauksia, jotka antavat syvyyden illuusion, mutta ilman todellista sisältöä.

Rakenne, jossa mallit osoittavat vahvan suosituksen bullet-pisteille tai numeroiduille listoille suhteessa suoraan proosaan. Tämä saattaa johtua siitä, että strukturoidut formaatit ovat näkyvissä useammin vastauksissa, joita ihmiset valitsevat. Tämä tapa johtaa malleja oletusarvoisesti “listoihin”, vaikka kysymys vaatisi enemmän luonnollista tai yksityiskohtaista selitystä.

Jargoni, jossa mallit käyttävät tarpeettomasti erikoistunutta tai teknistä kieltä. Tutkijat väittävät, että tämä käyttäytyminen todennäköisesti nousee koulutusdatasta, jossa jargonia täynnä olevat vastaukset usein valittiin paremmiksi. Näin ollen mallit oppivat yhdistämään jargonin asiantuntemukseen ja tuottavat vastauksia, jotka kuulostavat tietäviltä, mutta eivät tarjoa lisää selkeyttä.

Ylipuhuminen, jossa mallit ovat samaa mieltä käyttäjän mielipiteiden kanssa sen sijaan, että ne tarjoaisivat neutraaleja tai kriittisiä vastauksia. Tämä malli saattaa johtua koulutusdatasta, jossa ystävälliset vastaukset useammin arvosteltiin myönteisesti. Seurauksena mallit voivat vahvistaa käyttäjän harhaanjohtavuuksia ja välttää esittämästä ristiriitaisia tai objektiivisempia näkemyksiä, vaikka ne olisivat hyödyllisiä.

Epämääräisyys, jossa mallit suosivat laajoja, yleisiä vastauksia, jotka koskettavat monia aiheita pintapuolisesti sen sijaan, että ne käsittelevät kysymystä suoraan, ja antavat vastauksia, jotka kuulostavat kattavilta, mutta tarjoavat vain vähän käyttökelpoista tietoa. Tämä saattaa johtua siitä, että epämääräiset vastaukset ovat vaikeampia virheellistämään, ja siksi ne eivät olleet alttiina rangaistuksille annotoinnissa:

Esimerkki epämääräisyyden harhaanjohtavuudesta, jossa malli virheellisesti suosii laajan ja pintapuolisen vastauksen yksityiskohtaisen vastauksen sijaan, jonka ihmiset arvioitsijat pitävät hyödyllisempänä.

Vastakkaisten tietojen data

Näiden määritelmien kanssa oli sitten tarpeen testata tarkasti, kuinka paljon kunkin harhaanjohtavuus vaikuttaa mallin käyttäytymiseen. Yksinkertaiset korrelaatiot eivät toimineet, koska useat harhaanjohtavuudet usein ilmestyvät yhdessä, mikä tekee vaikeaksi erottaa yksittäisen ominaisuuden vaikutusta.

Tätä varten tutkijat loivat kontrolloidut vastausten parit, jotka erosivat toisistaan ainoastaan yhden harhaanjohtavuuden suhteen kerrallaan, ja aloittivat luomalla perusvastauksen kullekin kysymykselle.

Rewrite-based Attribute Treatment Estimators (RATE) -protokolla käytettiin luomaan muunnettu versio tästä vastauksesta – vastaus, joka oli tarkoituksella liioiteltu yksittäisellä harhaanjohtavuudella, kuten lisäämällä ylimääräistä jargonia tai muuttamalla proosan listaksi.

Esimerkkejä uudelleenkirjoituksista RATE-järjestelmästä, jotka käytettiin uudessa tutkimuksessa. Lähde: https://openreview.net/pdf?id=UnpxRLMMAu

Jotta ei olisi mukana muita eroja, lisättiin uudelleenkirjoitussuositus, joka sovitti molemmat versiot siten, että ainoa merkittävä muutos niiden välillä oli tutkittava harhaanjohtavuus; ja nämä tiiviisti kontrolloidut vastausten parit syötettiin malleihin.

Kunkin parin kohdalla mallin suosima versio kirjattiin, mikä mahdollisti kunkin harhaanjohtavuuden vaikutuksen laskemisen sekä palkintomallien että arvioijien osalta, tuottaen tarkemman mittauksen harhaanjohtavuuden vaikutuksista kuin aiemmissa tutkimuksissa, tutkijoiden mukaan.

Kun vastakkaisten tietojen parit oli valmis, Iso-Britannian ja Yhdysvaltain ihmisten arvioijat palkattiin luomaan vertailustandardi: kunkin harhaanjohtavuustyypin kohdalla sata vastausta valittiin satunnaisesti, ja kussakin parissa oli neutraali vastaus ja sen harhaanjohtava vastine. Kolme arvioijaa tarkasteli kunkin parin, ja lopullinen arvio määräytyi enemmistöpäätöksen perusteella, ja yhteensä 300 osallistujaa osallistui tutkimukseen.

Mittarit

Mittareita, joita käytettiin harhaanjohtavuuden vaikutusten mittaamiseen, olivat Viehätysaste, joka laskee, kuinka usein malli suosii harhaanjohtavaa vastausta neutraalin version sijaan; ja Virheellisyysaste, joka mittaa, kuinka usein mallin valinta ei ollut sama kuin ihmisten enemmistön valinta. Ihannemallissa ei pitäisi olla virheellisyyttä, ja sen kallistus pitäisi olla sama kuin ihmisten kallistus (koska joissain tapauksissa ihmiset suosivat harhaanjohtavia piirteitä).

Data ja testit

Tutkimuksen testaamiseksi eri lähteitä käytettiin riippuen tutkittavasta harhaanjohtavuudesta. Rakenteen, jargonin ja pituuden osalta sata kysymystä otettiin Chatbot Arena -tutkimuksesta, ja ne suodatettiin valitsemalla englanninkieliset, yksinkertaiset ja hyvin muodostetut kysymykset.

Ylipuhuminen testattiin sadalla mielipidekysymyksellä (esim. “Onko moderni taide laiska verrattuna perinteisiin tekniikoihin?“), jotka oli muotoiltu heijastamaan käyttäjän näkemyksiä, joista malli saattaa yhtyä.

Epämääräisyys testattiin 78 NLP-aiheisen kysymyksellä KIWI -tietokannasta, ja täydennettiin 22:lla lisäkysymyksellä samantyyppisistä aiheista. Tieteellisiä aiheita valittiin epämääräisyyden testaamiseen, koska ne vaativat tarkkoja vastauksia, mikä tekee yleiset tai väistämättömät vastaukset helposti havaittaviksi.

Kunkin kysymyksen kohdalla vastausten parit luotiin RATE-protokollan avulla, josta on mainittu aiemmin.

Arviointi käsitti sekä avoimia että omistettuja järjestelmiä. Palkintomallit, jotka antavat laadunarvioita ehdokasvastauksille koulutuksen ja suunnittelun aikana, testattiin neljässä versiossa, jotka oli koulutettu 80 000 suosituksparista Skywork -palkintotietokannasta: Gemma2-2B; Gemma-2-27B; Llama-3.1-8B; ja Llama3.2-3B.

Kolme omistettua mallia arvioitiin myös LLM-arvioijana: Gemini-2.5-Pro; GPT-4o; ja Claude-3.7-Sonnet. Kaikki testaamiseen käytetyt vastakkaisten tietojen vastaukset luotiin GPT-4o:lla:

Mallien ja ihmisten preferenssien vertailu kunkin harhaanjohtavuustyypin osalta, osoittaa, kuinka usein mallit suosivat harhaanjohtavia vastauksia ja kuinka usein nämä suositukset ristiriitaisia ihmisten valintoja.

Tutkijat kommentoivat alkuperäisistä tuloksista yllä^†:

‘[Meidän] analyysi palkintomalleista osoittaa, että nämä mallit osoittavat johdonmukaisesti virheellisyyttä ja korkean kallistuksen harhaanjohtavien vastausten suhteen useissa harhaanjohtavuusluokissa […]

‘[…] Palkintomallit osoittavat selvää virheellisyyttä suhteessa ihmisten arviointeihin: mallien suositusnopeudet harhaanjohtaville vastauksille poikkeavat johdonmukaisesti ihmisten suositusnopeuksista. Erityisesti epämääräisyys ja jargoni aiheuttavat yli 50%:n virheellisyyden, ja pituus ja ylipuhuminen osoittavat myös merkittävää virheellisyyttä.

‘‘Tämä osoittaa, että mallit kamppailevat ihmisten arviointeihin mukautumisessa, kun vastauksissa on liian teknistä kieltä tai niissä puuttuu tarkkuutta.’

Palkintomallit olivat parhaiten linjassa ihmisten kanssa rakenteen harhaanjohtavuuden osalta, jossa sekä mallit että ihmiset suosivat samoja vastauksia. Jargoni ja epämääräisyys olivat vastauksia, joita mallit suosivat useammin kuin ihmiset. Ylipuhuminen osoitti pienemmät eroavaisuudet, ja mallit ja ihmiset usein suhtautuivat samaan tapaan.

Omistetut LLM-arvioijat osoittivat saman yleisen mallin, vaikka heidän suurimmat eroavaisuudet ilmestyivät pituuden ja epämääräisyyden kanssa – ja he olivat erityisen alttiita ylipuhumiselle, suosien sopivia vastauksia jopa 85 prosenttia ajasta, kun taas ihmiset tekivät niin noin 50 prosenttia ajasta.

Tutkijat analysoivat mainittua Skywork-aineistoa, jota käytettiin palkintomallien kouluttamiseen, ja kartoittivat kunkin harhaanjohtavuuden yksinkertaisiin piirteisiin, joita voidaan mitata automaattisesti, kuten tokenien määrä pituuden osalta tai listojen läsnäolo rakenteen osalta.

2 500 esimerkin otoksessa ihmiset annotoijat osoittivat selvää suosiota harhaanjohtaville piirteille: strukturoidut vastaukset suosittiin 65 prosenttia ajasta, ja jargonia täynnä olevat vastaukset valittiin 54 prosenttia ajasta:

Ihmiset annotoijat koulutusdatassa usein valitsivat vastauksia, jotka sisälsivät nämä harhaanjohtavat piirteet.

Nämä epätasapuolisuudet viittaavat siihen, että itse koulutusdata ohjasi malleja näihin malleihin. Vahvistamaan tämän, suoritettiin korrelaatioanalyysi, joka mittasi, kuinka voimakkaasti kunkin piirteen erot erosivat sekä ihmisten että mallien suosimien piirteiden kanssa.

Tulokset osoittivat, että sekä ihmiset että mallit olivat johdonmukaisesti vaikuttuneita samasta piirteistä, osoittaen, että mallit oppivat yhdistämään tiettyjä tyyliominaisuuksia parempiin vastauksiin, vaikka nämä ominaisuudet eivät todella parantaneet vastausta.

Korrelaatio piirteiden erojen ja suosimien piirteiden välillä, osoittaa, kuinka sekä mallit että ihmiset olivat vaikuttuneita samasta harhaanjohtavasta piirteestä koulutuksen aikana.

Auttamaan malleja unohtamaan nämä harhaanjohtavuudet, luotiin uusi koulutusdata. Skywork-aineistoa tarkasteltiin tarkastamaan, sisälsikö kohdepiirre valittuun tai hylättyyn vastaukseen; kun molemmat olivat vapaita kohdeharhaanjohtavuudesta, GPT-4o uudelleenkirjoitti hylätyn vastauksen sisällyttääkseen sen.

Tämä loi uusia koulutusparia, joissa malli voi nähdä selkeät esimerkit harhaanjohtavista ja harhaanjohtamattomista vastauksista, ja oppia ei-suosimaan harhaanjohtavaa versiota. Lisäksi Chatbot Arenan esimerkkejä käytettiin tasapainottamaan, ja mallit hienosäädettiin tämän päivitetyllä aineistolla:

Hienosäätöllä vastakkaisten tietojen avulla.

Hienosäätö toi mallit paljon lähemmäs ihmisten suosituksia, ja suurimmat parannukset näkyivät jargonia ja epämääräisyyttä koskien, ja pienemmät voitot pituudelle. Rakenne ja ylipuhuminen osoittivat lieviä uusia eroja, jotka heijastivat aiempia epätasapuolisuutta eivätkä uusia epäonnistumisia.

Yleinen suorituskyky säilyi vakaana koko ajan, ja kun useita harhaanjohtavuuksia korjattiin kerran, harhaanjohtavuustaso laski edelleen ilman vastauksen laadun uhraamista.

Tutkijat päättävät:

‘Menetelmämme vähentää merkittävästi virheellisyyden ongelmia säilyttäen samalla palkintomallien yleisen suorituskyvyn. Tuleva työ voi tarkastella sovittamalla meidän jälkikoulutusreseptiä kehittääkseen vahvempia suosituksia ja arvioida suosituksia vastaan lisää harhaanjohtavuuden akseleita.’

Johtopäätös

Uusi tutkimus on mielenkiintoinen, vaikka epäsuora näkemys siitä, miten vähän huolellisesti tai ylipäänsä edustettu koulutusdata voi aiheuttaa ei-toivottuja tuloksia johtopäätöksessä. Jokainen säännöllinen LLM-käyttäjä on nyt kerännyt joukon sotatarinoita.

Esimerkiksi monet minulle ChatGPT:ltä saamani vastaukset näyttävät vaikuttaneen viimeisten 10-15 vuoden SEO-trendeistä, joissa online-portaalit on pakotettu optimoimaan Google-sijoitusta luonnollisen kielen sijaan. Todella, markkinointiosastojen emoji-täyteinen ja runsas tuotanto on vaikuttanut merkittävästi mihin tahansa pyyntöön kirjoittaa markkinointiin tarkoitettuun LinkedIn-julkaisuun – se on saavuttanut pisteen, jossa AI:lla luotu “innostus” on täysin epävältettävä:

Vasen: Pyydettiin markkinointiin tarkoitettua LinkedIn-julkaisua, tilillä, jolla ei ollut historiaa, ChatGPT oletusarvoisesti käyttää emoji-täyteistä ja sensaatiohakuisia PR-kieltä.

OpenAI puuttuu kuitenkin aktiivisesti siihen, miten ChatGPT vastaa kysymyksiin, riippuen toiminnosta ja kontekstista, mikä tekee tutkijoille vaikeaksi erottaa ongelmat, jotka johtuvat datasta, ja ongelmat, jotka johtuvat datan jakautumisesta, sekä liittyvät ongelmat, kuten annotointi, ja kun ei-toivottu tulos voi johtua kaupallisen LLM-isännän sekaantumisesta.

* Johtuen tutkimuksen kirjoittajien valitseman jargonia täyttämän kirjoitustyylisen, vältän kirjoittajien lainauksia, missä mahdollista, ja suosin yhteenvedon sijaan.

^†  Kirjoittajien omat lihavoitukset, eivät minun.

Julkaistu ensimmäisen kerran perjantaina, 6. kesäkuuta 2025