Vakuuttavasti kirjoitetut tieteelliset artikkelit vaikuttavat tekoälytuomareihin – ansioista riippumatta

Varmuus on selvä etu evoluutiossa – ja Saksasta peräisin olevan uuden tutkimusartikkelin mukaan myös silloin, kun tieteellistä artikkelia arvioivat Large Language Model -kielimallit (LLM-kielimallit) tutkijan kollegoiden sijaan. Tämä on yhä useammin välttämätöntä, sillä tieteellisten artikkelien määrä kasvaa räjähdysmäisesti tekoälyn tuomien tuottavuushyötyjen ansiosta.

Uuden tutkimuksen mukaan tekoälyarvioijat eli muut kuin ihmisarvioijat antavat järjestelmällisesti parempia arvosanoja tieteellisille artikkeleille, jotka on kirjoitettu varmalla ja määrätietoisella tyylillä – vaikka niiden taustalla oleva tutkimus olisi sama kuin varovaisemmin muotoilluissa artikkeleissa. Joissakin tapauksissa pelkkä sanamuotojen muuttaminen riittää kääntämään hylkäyksen hyväksymiseksi.

Kirjoittajat toteavat:

”Kokeemme osoittavat, että LLM-arvioijat suosivat huomattavasti [papers]varmaa kieltä. Olennaista on, että nämä mieltymykset johtavat usein siihen, että päätös vaihtuu hyväksymisen<>hylkäämisen rajalla, mikä vaikuttaa suoraan arvioinnin lopputulokseen.

”Lisäksi havaitsimme, että arvioissa käsiteltyjen näkökohtien yleisyys ja sävy vaihtelevat artikkelin kielellisten piirteiden mukaan, mikä voi vaikuttaa lopullisiin päätöksiin.”

Ironista kyllä, kirjoittajien tunnistama ilmiö muistuttaa hyvin paljon tapaa, jolla tekoäly voi vastata omiin kehotteisiimme ja kysymyksiimme niin usein ”itsevarmasti väärin”. Tässä päätöksen kuitenkin tekee ihminen, ja vastuu on todellinen sekä yksilöillä että yhteisöllä, riippumatta siitä, uskovatko näiden artikkelien taustalla olevat tutkijat itse väitteisiinsä.

Jos tekoäly päättää yhä useammin, mitkä tieteelliset artikkelit julkaistaan, tutkijat saattavat oppia ”kuulostamaan vakuuttavammilta” kilpailukeinona – ehkä erityisesti silloin, kun heidän käsikirjoituksissaan on puutteita. Tämä voisi antaa heikommalle tutkimukselle ansaitsemattoman jalansijan jatkuvasti pienenevässä huomion piirissä.

Uho vie voittoon

Tutkimuksen* mukaan tekoälyarvioijat kehuivat todennäköisemmin vakuuttavasti kirjoitettujen artikkeleiden menetelmiä, teorioita ja tieteellistä antia, vaikka ne olivat samat kuin vähemmän määrätietoisesti kirjoitetuissa versioissa. Kirjoittajien kokeissa 504 tieteellistä artikkelia kirjoitettiin uudelleen eri tyyleillä, minkä jälkeen kuusi tekoälymallia arvioi ne. Näihin kuuluivat GPT-5.5, Claude Sonnet 4.6 ja Gemini 3.5 Flash. Artikkeleista oli tarpeen luoda keinotekoisia tai muokattuja versioita, jotta todellisten käsikirjoitusten erikoisuudet ja omalaatuiset piirteet eivät vääristäisi tuloksia:

Esimerkkejä samasta tieteellisestä tekstikatkelmasta, joka on kirjoitettu uudelleen neljällä eri tyylillä. Värikorostukset osoittavat muutokset, joiden tarkoituksena on saada teksti kuulostamaan enemmän tai vähemmän vakuuttavalta tai enemmän äidinkielisten tai muiden kuin äidinkielisten kirjoittajien kirjoittamalta akateemiselta englannilta. Taustalla olevat havainnot ja luvut pysyvät kuitenkin muuttumattomina. Lähde

Artikkelit valittiin vuoden 2026 ICLR-konferenssiin lähetettyjen käsikirjoitusten joukosta. Mukana oli yhtä paljon hyväksyttyjä ja hylättyjä artikkeleita. Claude Opus 5 kirjoitti sitten jokaisen käsikirjoituksen uudelleen niin, että se kuulosti enemmän tai vähemmän vakuuttavalta^†, mutta piti tieteellisen sisällön ennallaan. Näin tekoälyn arvioissa ilmenevät erot voitiin yhdistää kirjoitustyyliin eli ilmaistun varmuuden vaihteluun.

Tuloksissa tekoälyarvioijat antoivat parempia arvosanoja vakuuttavalla kielellä kirjoitetuille tieteellisille artikkeleille, vaikka näyttö oli sama. Claude Sonnet 4.6 osoitti voimakkainta vinoumaa ja suosi vakuuttavia versioita seitsemän kertaa useammin kuin varovaisempia. 21 prosentissa tapauksista se suositteli vakuuttavasti kirjoitetun artikkelin hyväksymistä mutta hylkäsi saman artikkelin varovaisemmin muotoillun version.

Uudessa tutkimuksessa todetaan:

”Tuloksemme herättävät merkittäviä huolia LLM-kielimallien käytöstä vertaisarvioinnissa. Jos sisällöltään vastaavat artikkelit saavat erilaisia arvosanoja ja arviointiperusteluja pelkästään kielellisten ominaisuuksien vuoksi, arvioijien arviot eivät heijasta yksinomaan tieteellistä laatua.

”LLM-arvioijat pitäisi siksi testata sisällön säilyttävillä uudelleenkirjoituksilla, jotta voidaan selvittää, vaikuttavatko kielelliset muutokset järjestelmällisesti niiden arvioihin.”

Kirjoittajat ehdottavat lisäksi, että näissä testeissä tarkasteltaisiin erikseen sekä artikkelien arvosanoja että kirjallisia arvioita. Näin voitaisiin selvittää, tulkitaanko vakuuttava kieli virheellisesti vahvemmaksi tieteelliseksi näytöksi.

Menetelmä

Yhteensä 504 tieteellistä artikkelia valittiin vuoden 2026 International Conference on Learning Representations (ICLR) -konferenssiin lähetettyjen käsikirjoitusten joukosta. Otos jaettiin tasan hyväksyttyihin ja hylättyihin artikkeleihin: kustakin konferenssin 21 tutkimusalueesta valittiin 24 käsikirjoitusta.

Kolmivaiheinen testausmenetelmä. Tieteellisiä artikkeleita muokattiin niin, että englannin kielen näennäinen taitotaso tai ilmaisun itsevarmuus vaihteli, mutta niiden tulokset säilyivät ennallaan. Ennen arviointia tekoälyarvioijat tarkastelivat, olivatko muokkaukset muuttaneet tyyliä tai merkitystä, ja arviointi tehtiin kaikissa tapauksissa samoissa olosuhteissa. Lopuksi arviointipisteiden eroja verrattiin.

Jokainen artikkeli anonymisoitiin ja muokattiin Claude Opus 5:n avulla. Näin syntyi vaihtoehtoisia versioita, joiden avulla testattiin sekä väitteiden ilmaisemisen itsevarmuutta että kirjoittajan näennäistä englannin kielen taitoa. Itsevarmuutta koskevissa testeissä väitteistä tehtiin joko vakuuttavampia tai varovaisempia. Varmuutta ilmaisevia sanoja, kuten ”selvästi” ja ”varmasti”, käytettiin useammin ”itsevarmoissa” versioissa, kun taas varauksellisia ilmauksia, kuten ”saattaa” ja ”viittaa” , suosittiin varovaisemmissa versioissa.

Kaikissa tapauksissa tieteelliset väitteet, näyttö, tulokset, tekninen terminologia ja yleinen rakenne säilyivät ennallaan. Kirjoittajien mukaan muokkausohjeet perustuivat vakiintuneeseen kielitieteelliseen tutkimukseen eivätkä yleisluontoisiin pyyntöihin jäljitellä tiettyjä kirjoitustyylejä.

Muokattujen versioiden tarkistaminen

Tarkistuksia varten jokaista muokattua versiota verrattiin alkuperäiseen semanttisen samankaltaisuuden avulla. Se mittaa, säilyykö tekstikatkelmien merkitys. Lisäksi vertailussa käytettiin TF-IDF-samankaltaisuutta, joka mittaa sanaston ja terminologian säilymistä. Molemmat arvot olivat lähellä yhtä, mikä vahvisti versioiden olevan hyvin samankaltaisia kuin alkuperäiset:

Muokattujen artikkelien tarkistaminen. Itsevarmoissa versioissa käytettiin vakuuttavampaa kieltä, kun taas varovaisissa versioissa ilmaistiin enemmän epävarmuutta. Yhtä lähellä olevat arvot vahvistavat versioiden olevan hyvin samankaltaisia kuin alkuperäiset, ja värikorostukset osoittavat kunkin tarkastellun mittarin suuremmat arvot.

Testissä oli kuusi tekoälyarvioijaa: suljetut mallit GPT-5.5, Claude Sonnet 4.6 ja Gemini 3.5 Flash sekä avointen painojen mallit Gemma 3, Qwen3 VL ja GLM 4.7. Mallit valittiin osittain siksi, että niiden kaikilla tietokatkaisupäivät olivat ennen vuotta 2026, mikä vähensi riskiä, että ne olisivat jo tienneet artikkelien hyväksymispäätöksistä.

Jokainen muokattu artikkeli arvioitiin itsenäisesti konferenssien arviointiohjeiden mukaisesti. Arviointien toistokertojen välisten piste-erojen selvittämiseksi kukin malli arvioi kymmenen satunnaisesti valittua artikkelia kymmenen kertaa.

Tulokset

Testeissä selvitettiin, suosivatko kuusi valittua tekoälyarvioijaa johdonmukaisesti tiettyjä kirjoitustyylejä. Niissä verrattiin itsevarmalla tai varovaisella kielellä kirjoitettuja artikkeleita sekä artikkeleita, jotka muistuttivat äidinkielenään englantia puhuvien tai muiden kuin äidinkielenään englantia puhuvien kirjoittamaa akateemista englantia^†.

Tulokset vertailevat eri tyyleillä muokattujen 504 tieteellisen artikkelin tekoälyarviointipisteitä. Suosimisprosentit osoittavat, kumpi versio sai korkeamman pistemäärän; tasatulokset on merkitty sulkeisiin. Suhdeluvut kertovat, kuinka monta kertaa useammin toista versiota suosittiin. Päätöksen muuttuminen osoittaa, kuinka usein sanamuodon muutos käänsi hyväksymis- tai hylkäyspäätöksen päinvastaiseksi. Lihavoidut tilastolliset arvot osoittavat tilastollisesti merkitseviä eroja. Tarkasteltava osio on alempi, sillä tässä artikkelissa ei käsitellä ylempää hypoteesia (ks. alaviitteet).

Kaikki kuusi tekoälyarvioijaa suosivat johdonmukaisesti itsevarmaa kirjoitustyyliä. Vahvin suosiminen näkyi Claude Sonnet 4.6:n kohdalla: kuten aiemmin mainittiin, se antoi ”itsevarmoille” versioille korkeamman pistemäärän seitsemän kertaa useammin kuin ”varovaisille” versioille.

Artikkeli katsottiin hyväksytyksi, jos sen pistemäärä oli vähintään 4,5/10. Kirjoitustyylin muutokset kuitenkin nostivat saman artikkelin pistemäärän toisinaan tämän rajan yläpuolelle tai laskivat sen alapuolelle, jolloin päätös muuttui. Nämä muutokset suosivat yleensä itsevarmaa kirjoitustyyliä.

Claude Sonnet 4.6 suoriutui erityisen heikosti: se hyväksyi ”itsevarman” version mutta hylkäsi ”varovaisen” version 21 prosentissa tapauksista. Päinvastoin kävi vain 2,8 prosentissa tapauksista.

Vaikutus näkyi myös kirjallisissa arvioissa. Tekoälyarvioijat kehuivat todennäköisemmin artikkelin menetelmiä, teorioita ja tieteellisiä kontribuutioita, jos sen väitteet oli esitetty itsevarmasti. Koska itse tutkimus ei ollut muuttunut, myönteisemmät arviot saattoivat johtua vain esitystavasta ja sävystä.

Johtopäätös

Aina kun ihmiset käyttävät tekoälyä kasvattaakseen (joskin tahattomasti) signaali-kohinasuhdetta, tekoälyä kokeillaan ratkaisuna – tässä tapauksessa keinona selviytyä tekoälyä käsittelevien tutkimusartikkelien tarjonnan voimakkaasta kasvusta. Tämä tulva on kasvattanut viime aikoina Arxivin portinvartijan valtaa ja laajentanut sen kriteeristöä. Nyt pitäisi kuitenkin jo olla selvää, että kehittyneimmissäkin suurissa kielimalleissa ja kaikissa niitä alemmissa tasoissa on yhä aivan liikaa omituisuuksia, jotta niihin voisi yleisesti luottaa tuomareina – paitsi kaikkein tiukimmin määriteltyjen parametrien puitteissa.

Tällaisissa tapauksissa olisi luultavasti parempi muuntaa pienemmät kielimallit erityisiksi arviointityökaluiksi hienosäädön tai LoRA-menetelmien avulla. Tämä vaatii kuitenkin ainakin hieman lisävaivaa, ellei peräti jonkin verran lisäinvestointeja, kun taas paikalliset perusasennukset tai API-kutsut ovat nopeampia ja suhteellisen edullisia.

Vaikka tämä varsin tiiviisti kirjoitettu artikkeli saattaa silti kiinnostaa suurten kielimallien käyttäjiä keskimääräistä enemmän, sillä heille ”innostuneisuus” on jo tuttu ongelma, jota heidän on kierrettävä voidakseen työskennellä tehokkaasti tekoälyn kanssa. Jos tätä ja vastaavia suurten kielimallien ongelmia ei vielä voida korjata, ne voidaan ainakin ottaa huomioon.

Ennen kuin suhtaudumme liian pilkallisesti tällaiseen pinnalliseen rinnastukseen tekoälyn arvioinnissa, kannattaa muistaa, että nämä järjestelmät ovat tietoteorian – ehdottoman auktoriteetin etsimisen – suhteen yhtä hukassa kuin me muutkin. Mekin olemme historian saatossa usein erehtyneet pitämään signaalia itse asiana.

* Otsikko: ”Tyyli sisällön edelle? Kielellinen vinouma suuriin kielimalleihin perustuvassa vertaisarvioinnissa”

^† Tai jäljitellä äidinkielisten tai muiden kuin äidinkielisten puhujien kirjoittamaa akateemista englantia – rinnakkaishypoteesi, jota artikkeli ei pystynyt todistamaan yhtä vakuuttavasti ja jota tässä artikkelissa ei käsitellä.

Julkaistu ensimmäisen kerran tiistaina 27. lokakuuta 2026