Andersonin kulma
Tekoälyn vauhdittamaa tieteen edistystä uhkaa omituinen pakkomielle

Keskeiset kohdatUudemmat tekoälyarvioijat takertuvat liitteisiin, kun taas ihmisarvioijat keskittyvät…
Näytä lisää
- Uudemmat tekoälyarvioijat takertuvat liitteisiin, kun taas ihmisarvioijat keskittyvät artikkelin keskeisiin tuloksiin.
- Kielimallit kohtelevat jokaista kohtaa yhtä tärkeänä, joten ne eivät tunnista, mitkä osiot todella merkitsevät.
- Liiteharha säilyy kaikissa käyttötavoissa ja tuottaa pinnallista palautetta, joka tuskin auttaa kirjoittajia parantamaan.
Uusi yhdysvaltalaistutkimus viittaa siihen, että tieteellisiä artikkeleita arvioiville tekoälymalleille on kehittymässä omituinen pakkomielle artikkeleiden liitteisiin varsinaisen tekstiosan sijaan. Ne kiinnittävät usein enemmän huomiota vähäisiin taustatietoihin kuin keskeisiin tuloksiin. Kielimalleja käytetään yhä enemmän ihmisten apuna tai jopa heidän korvaajinaan vertaisarvioinnissa, ja hiljattain tunnistettu taipumus näyttää leviävän myös ihmisten tekemään vertaisarviointiin, mikä voi mahdollisesti hidastaa tekoälytutkimuksen edistymistä:

Uudesta tutkimuksesta: liitteisiin liittyvien kritiikkien yleistyminen ihmisten tekemissä tieteellisten artikkeleiden vertaisarvioinneissa. Osuus pysytteli vuosia alle 11 prosentissa, mutta nousi uusimmissa arvioinneissa 27,6 prosenttiin sen jälkeen, kun julkaistiin tekoälymalleja, joiden havaittiin perustavan yli puolet kritiikistään liitteisiin. Katkoviivat merkitsevät merkittävien mallien julkaisuajankohtia. Lähde
Tutkijat testasivat uusessa tutkimuksessa 2 000 tiedeartikkelia, jotka oli poimittu neljästä suositusta konferenssista. He havaitsivat, että uudemmat mallit perustavat noin 50–70 prosenttia kritiikistään liitteisiin, kun taas vanhemmalla GPT-5-mallilla osuus on alle 30 prosenttia.
Kaksi merkittävintä uudempaa tekoälymallia, jotka ilmeisesti saavat myös ihmisarvioijat keskittymään liitteisiin tärkeämpien päätulosten sijaan, ovat OpenAI:n GPT-6.1-Sol ja GPT-6-Astra. Molemmat julkaistiin vuonna 2026.
Tutkimuksessa todetaan*:
‘Sukupolvien välinen ero on suuri. GPT-5:n kohdalla vain pieni osa heikkouksista liittyy liitteeseen. Molemmat uudemmat mallit, GPT-6.1-Sol ja GPT-6-Astra, tukeutuvat siihen huomattavasti enemmän, ja tämä pätee kaikissa konferensseissa.
‘Tämä viittaa siihen, että liitteisiin kohdistuva vinouma on pääasiassa uudempien mallien ominaisuus. Vaikka uudet mallit ovat aiempaa parempia, niiden vinouma liitteiden suuntaan on voimistunut. Kyky lukea artikkeli yksityiskohtaisesti ei ole opettanut niille, mitkä osat ovat tärkeimpiä.’
Tutkimuksessa havaittiin myös, että liitteisiin kohdistuva kiinnittyminen vaihtelee sen mukaan, millä tavalla tekoäly saa artikkelin käyttöönsä, sillä API-, Codex- ja verkkokäyttöliittymät käsittelevät PDF-tiedostoja eri tavoin. Codex ei lue lainkaan keskimääräisen pituisen PDF-tiedoston keskiosaa, vaan käy sen tarvittaessa myöhemmin läpi pieninä ”palasina”. Kaikkien menetelmien havaittiin kuitenkin suosivan liitteiden sisältöä.
Vielä vähän aikaa sitten ihmisten ja tekoälyn tekemillä arvioinneilla ei ollut tätä yhteistä pakkomiellettä:
‘[Human] arvioijat käsittelevät tekstiosaa ja täydentävää aineistoa hyvin eri tavoin kuin suuret kielimallit. Suuret kielimallit liittävät yli 50 prosenttia havaitsemistaan heikkouksista liitteisiin liittyvään aineistoon, kun taas ihmisten kohdalla osuus jää alle 10 prosentin.
‘Ero näkyy myös yksittäisten arviointien tasolla. Vuosittain vuosina 2021–2024 otokseen valituista 200 artikkelista vain 159 sai yhteensä ihmisarvioinnin, jossa mainittiin jokin liitteisiin liittyvä heikkous. Sitä vastoin kaikki ICLR 2027 -konferenssia varten tuotetut 200 suurten kielimallien tekemää arviointia sisälsivät vähintään yhden liitteitä koskevan kritiikin.’

Liitteisiin liittyvien kritiikkien vertailu ihmisten ja tekoälyn tekemissä vertaisarvioinneissa. Ihmisarvioijat liittivät vain 8,4 prosenttia tunnistetuista heikkouksista liitteiden aineistoon, kun tekoälymallien kohdalla osuus oli 62 prosenttia. Toisessa sarakkeessa esitetään vain liitteitä koskevat kritiikit, joille ei ollut vastaavaa ongelmaa artikkelin päätekstissä.
Kuten yllä olevasta testitaulukosta käy ilmi, tekoälyarvioijat tunnistivat liitteiden heikkouksia yli seitsemän kertaa todennäköisemmin kuin ihmiset ja esittivät yli kolme kertaa todennäköisemmin kritiikkiä, joka koski vain täydentävää aineistoa. Tämä viittaa siihen, että jotkin uusimmista huipputason tekoälymalleista asettavat nyt etusijalle yksityiskohtia, joita ihmisarvioijat ovat perinteisesti pitäneet toissijaisina artikkelin keskeiseen tieteelliseen antiin nähden.
Miksi?
Sen perusteella, mitä nyt voidaan päätellä — tämä on ensimmäinen tutkimus, jossa ilmiö on tunnistettu — osa ongelmasta johtuu siitä, etteivät tekoälyt ymmärrä tai ole laajasta koulutusaineistostaan oppineet, ettei artikkelin varsinainen sisältö yleensä sijaitse liitteessä. Niiden yleinen taipumus pitää kaikkea tekstiä yhtä tärkeänä sivuuttaa liiteaineiston asiayhteyden. Liitteitä ei usein ole toimitettu huolellisesti, ja niiden esitystapa on huomattavasti viimeistelemättömämpi kuin päätekstissä:
‘Suuret kielimallit arvostelevat lähes koskaan artikkelin alkusivuja, joilla esitellään tutkimusongelma ja perustellaan sen merkitys. Ihmiset kyseenalaistavat usein juuri tämän kehystyksen, kun taas suuret kielimallit näyttävät hyväksyvän sen ja siirtyvän sitten lukuihin.
”[Humans and LLMs] Liitettä luettiin hyvin eri tavalla. Ihmisten esittämien kritiikkien määrä vähenee nopeasti liitteen edetessä, ja sen viimeisillä sivuilla niitä esitetään tuskin lainkaan. LLM-mallien heikkoudet eivät vähene lainkaan. Itse asiassa ne korostuvat vasta liitteen loppupuolella, eivät sen alussa, ja jatkuvat vielä sivun 30 jälkeenkin, vaikka ihmisarvioijat esittävät silloin tuskin lainkaan huolenaiheita.
”LLM-mallille sivun 25 yksityiskohta on aivan yhtä pätevä arvostelun kohde kuin päätekstin tulostaulukko.”
Kirjoittajat huomauttavat, että LLM-mallien tekstin tasavertainen käsittely on saattanut luonnostaan saada ne keskittymään enemmän liitteiden sisältöön, sillä kuten edellä todettiin, siinä on yleensä enemmän virheitä.
Tämän uuden tutkimuksen perusteella saamani yleiskuva on siis se, että LLM-mallit ovat ajan mittaan alkaneet keskittyä uusien tieteellisten artikkelien osaan, jossa esiintyy usein paljon virheitä tai asioiden sekoittumista, yksinkertaisesti siksi, että ihmiskirjoittajat käsittelevät sitä niin usein epäjärjestyksisenä kaatopaikkana toissijaisille todisteille ja näytölle.
Siksi tekoäly pitää liitteitä yhä kiinnostavampina kuin tarkoin toimitettua päätekstiä, sillä niissä on enemmän analysoitavaa ja korjattavaa; tutkimuksessa todetaan tämän vuoksi, että LLM-mallit käsittelevät artikkelin alkuosaa usein tosiasioiden raportointina ja ottavat sen sisällön sellaisenaan:
”Ihmiset odottavat, että pääteksti toimii itsenäisesti, joten he vastustavat sitä, jos olennaisia osia siirretään liitteeseen. LLM-mallit ottavat tämän huolen esiin tuskin koskaan.
”Tämä tuo esiin keskeisen eron: ihmiset ymmärtävät, että päätekstillä on enemmän painoarvoa kuin liitteellä, mutta LLM-mallit eivät.”
Seuraukset ja ratkaisut
Tämä odottamaton keskittyminen vähäpätöisiin yksityiskohtiin voi vaikuttaa vakavasti tekoälyn avulla tehtävään tieteelliseen tutkimukseen, varsinkin jos artikkelin tärkeimmät tulokset jäävät huomiotta. Koska tämä taipumus näyttää syntyneen vasta uusimpien mallien myötä, sen pitkäaikaisia vaikutuksia ei vielä tunneta.
Tutkimuksessa myönnetään, että tekoälyarvioijat voivat löytää hyödyllisiä virheitä silloinkin, kun ne ovat syvällä liitteessä. Siinä kuitenkin varoitetaan, että vähäpätöisiin yksityiskohtiin voidaan kiinnittää liikaa huomiota artikkelin tärkeimpien tulosten kustannuksella, jolloin seurauksena on pitkiä arvioita, joista on käytännössä vain vähän hyötyä:
”LLM-arvioijat nostavat rimaa, sillä he eivät jätä mitään artikkelin osaa tarkastelematta. Tehokas arviointi edellyttää kuitenkin myös harkintaa siitä, mikä on tärkeintä. Jos suurin osa arvion heikkouksista liittyy liitteen sisältöön, joka ei kytkeydy artikkelin keskeiseen tieteelliseen antiin, palaute jää pinnalliseksi. Siinä ei käsitellä artikkelin ydintä, eikä siitä ole juuri apua kirjoittajille artikkelin parantamisessa.”
Uuden tutkimuksen Tekoälyn tekemät arviot painottuvat liikaa liitteisiin kirjoittajat innostuivat tutkimaan aihetta, koska he huomasivat tiettyjä erikoisia piirteitä siinä, miten LLM-mallien avustamat tai tuottamat arviot arvioivat heidän omia käsikirjoituksiaan. Tutkimuksen koodi on saatavilla GitHubissa.
Menetelmät ja testit
Testeihin valittiin neljä johtavaa tekoälymallia OpenAI:lta ja Anthropicilta: GPT-6-Astra, GPT-6.1-Sol, Claude-Opus-5.5 ja Claude-Sonnet-5.5. Malleja käytettiin Codexin ja Claude Coden kautta, ja niiden arviointikäyttäytymistä verrattiin API-rajapinnan ja verkkokäyttöliittymän kautta saataviin tuloksiin.
Tutkimusartikkelit kerättiin neljästä suuresta tekoälyn ja luonnollisen kielen käsittelyn konferenssista: ACL 2026, EMNLP 2026, COLM 2026 ja ICLR 2027. Konferenssit valittiin, koska niissä on samanlaiset artikkelien jättö- ja arviointikäytännöt: päätekstille on tiukat sivurajat, mutta lähdeluettelon jälkeen tulevien liitteiden pituutta ei yleensä rajoiteta.
Tutkimuksessa tarkasteltiin yhteensä 2 000 artikkelia: 1 200 artikkelia konferenssista ICLR vuosilta 2021–2026 ja 800 artikkelia neljästä viimeaikaisesta konferenssista (kustakin valittiin 200 artikkelia). Kaikissa 800 viimeaikaisessa artikkelissa oli vähintään 15-sivuinen liite. ICLR 2027 -konferenssiin jätetyt artikkelit olivat jo valmiiksi anonyymejä, kun taas ACL-, EMNLP- ja COLM-artikkeleista poistettiin kirjoittajien nimet, affiliaatiot, sähköpostiosoitteet ja tunnistamisen mahdollistavat linkit, jotta tekoälyarvioijat eivät saisi selville, ketkä artikkelit olivat kirjoittaneet.
Mallien internetyhteys poistettiin käytöstä, jotta arviot perustuisivat yksinomaan niille toimitettuihin PDF-tiedostoihin.
Ensin tekoälyä pyydettiin laatimaan kyseisen konferenssin tyyliä noudattava arvio, joka käsitteli artikkelin vahvuuksia ja heikkouksia sekä antoi sille kokonaisarvosanan. Ohjeet pidettiin tarkoituksella yksinkertaisina, jotta ne vastaisivat sitä, miten tekoälyä voisi käyttää oikea arvioija. Tämän jälkeen sama tekoälymalli sai artikkelin ja siitä laaditun arvion, ja sitä pyydettiin tunnistamaan, mihin artikkelin osaan kukin kritiikki kohdistui. Tämä selvitettiin tarkastelemalla kritiikkiä alkuperäisen artikkelin rinnalla:

Tutkimuksessa käytetty kolmivaiheinen arviointiprosessi. Neljästä konferenssista valittiin artikkelit, joiden liitteet olivat vähintään 15 sivun pituisia, ja ne anonymisoitiin ennen kuin tekoälymallit arvioivat ne. Tämän jälkeen kutakin arviota tarkasteltiin alkuperäisen artikkelin rinnalla, ja yksittäiset kritiikit kohdistettiin niihin artikkelin osiin, joita ne koskivat.
Kun nämä tehtävät erotettiin toisistaan, voitiin tarkastella, mitkä artikkelien osat olivat herättäneet kritiikkiä vaikuttamatta alkuperäisiin arvioihin lisäohjeilla.
Tuloksista, joita emme ole vielä käsitelleet, yksi koskee sitä, missä LLM-mallien tuottamien arvioiden heikkoudet tekijöiden testin mukaan ovat peräisin:

Vertailu siitä, missä kohdissa tekoälyn tuottamat arviot tunnistivat heikkouksia neljässä konferenssissa. Vihreä kuvaa pääartikkeliin kohdistuvia huomautuksia, punainen liitteisiin liittyviä huomautuksia, ja vinoviivoitetut alueet niitä, jotka koskevat yksinomaan liitteitä. Lähes jokaisessa testissä yli puolet huomautuksista kohdistui liitemateriaaliin; voimakkain vinouma havaittiin GPT-6-Astrassa.
Kuten yllä näkyy, kaikkien neljän tekoälymallin esittämistä huomautuksista noin puolet tai enemmän perustui liitteissä olevaan aineistoon – sama ilmiö havaittiin kaikissa neljässä konferenssissa. Osa huomautuksista kohdistui yksinomaan liitteisiin, eikä niillä ollut yhteyttä pääartikkeliin. Tällaisia huomautuksia oli GPT-mallien tunnistamista heikkouksista 17,33 prosenttia, kun taas Clauden kohdalla vastaava osuus oli 10,16 prosenttia.
Artikkelin mukaan tulokset viittaavat siihen, että liiteaineistoon kiinnitettiin suhteettoman paljon huomiota ja että toisinaan suhteellisen vähäisiä yksityiskohtia pidettiin perusteena kritisoida artikkelia kokonaisuutena.
Menetelmiä vertailtiin sen selvittämiseksi, vaikuttiko liitteisiin liittyvään vinoumaan se, miten tekoälyyn oltiin yhteydessä. GPT-6-Astran avulla arvioitiin sata ICLR 2027 -konferenssiin lähetettyä artikkelia Codexin, ChatGPT:n verkkokäyttöliittymän ja sellaisen API-rajapinnan kautta, jolle toimitettiin joko alkuperäinen PDF-tiedosto tai siitä poimittu teksti.
Codexissa teksti poimittiin ja sitä tarkasteltiin komentojen avulla. API-rajapinnan kautta toimitettiin suoraan joko koko PDF-tiedosto tai siitä poimittu teksti, kun taas verkkokäyttöliittymän kautta ladatut asiakirjat käsiteltiin sen omassa (läpinäkymättömässä) järjestelmässä:

Vertailu liitteisiin liittyvistä huomautuksista tekoälymallien ja käyttömenetelmien mukaan. Vasemmalla näkyy, että GPT-5 viittasi liiteaineistoon huomattavasti harvemmin kuin uudemmat GPT-mallit neljässä konferenssissa. Oikealla näkyy, että vinouma säilyi neljällä eri tavalla, joilla GPT-6-Astraa käytettiin: liitteisiin liittyvien huomautusten osuus oli 62,2–73,7 prosenttia kaikista huomautuksista. Vinoviivoitetut alueet kuvaavat huomautuksia, jotka kohdistuivat yksinomaan liitteisiin.
Kuten yllä näkyy, neljän menetelmän kautta esitetyistä huomautuksista 62,2–73,7 prosentissa viitattiin liitteisiin liittyvään aineistoon. Suurin osuus havaittiin silloin, kun API-rajapinnan kautta toimitettiin suoraan poimittua tekstiä. Vinouman todettiin siis säilyvän riippumatta siitä, miten mallia käytettiin.
Suurin osa muista testeistä esiteltiin jo aiemmin tässä artikkelissa, ja lisätietoja kaipaavat lukijat voivat tutustua alkuperäiseen aineistoon.
Käsikirjoituksiin liittyvää kikkailua
Aihe on henkilökohtainen myös uuden tutkimuksen kirjoittajille, ja samoin se on sitä minulle, sillä luen paljon tieteellisiä artikkeleita ja olen kantapään kautta oppinut niiden laatimista ja esittämistä ohjaavat piilosäännöt sekä sen, miten näitä sääntöjä kierretään.
Tekoälyä ei voi yleisesti syyttää siitä, että se kiinnittää huomiota liitteisiin, vaikka se tekisikin niin vääristä syistä, sillä kirjoittajat hautaavat niihin usein artikkelinsa kompastuskivet – tekijät tai tulokset, jotka voivat lähes mitätöidä päätekstissä esitetyt väitteet tai ainakin asettaa ne vakavasti kyseenalaisiksi.
Kirjoittajia ei myöskään voi välttämättä syyttää tärkeän aineiston siirtämisestä liitteisiin, sillä suosittujen julkaisukanavien, kuten uuden tutkimuksen aineistolähteinä käytettyjen julkaisujen, kirjoituspohjissa asetetaan päätekstille sivu- tai sanamäärän ylärajoja.
Monet kirjoittajat pitävät tätä selvästi merkittävänä rajoitteena raportoidessaan monimutkaisten tutkimusten tuloksia. Omasta mielestäni ”pahimmissa tapauksissa”† artikkelin päätekstistä tulee pelkkä hakemisto aineistolle, joka on siirretty loppuosaan ohjeiden kiertämiseksi (vaikka ohjeistukset ovat vähitellen tavoittamassa tämän käytännön ja kieltämässä sen).
Tässä tilanteessa kasvava jännite syntyy siitä, että instituutiot tarvitsevat kirjoittajien pitävän esityksensä kurinalaisina ja rajattuina – mikä on yhä tärkeämpää, kun lähetettyjen artikkelien määrä kasvaa – ja siitä, että tutkijat ovat selvästi turhautuneita: he haluaisivat esittää vaivalla saavuttamansa tulokset niin täydellisessä ja kattavassa asiayhteydessä kuin heidän työnsä heidän mielestään ansaitsee.
* Kirjoittajien painotukset, eivät minun.
†Kun päätetään, mitä artikkeleita käsitellään, liitteisiin siirtämistä voi olla vaikea havaita jopa tekoälyn. Se voi kuitenkin hankaloittaa arvioijan työtä huomattavasti, jos hän on varannut aikaa kymmenen sivun arviointiin ja joutuu nyt käymään läpi 30 sivua aineistoa samassa ajassa.
Julkaistu ensimmäisen kerran maanantaina 16. marraskuuta 2026












