Miten huijata voidaan absurdit tieteelliset artikkelit AI-arvioijien ohi

Uusi tutkimus osoittaa, miten AI-järjestelmät voivat nyt kirjoittaa vääriä tieteellisiä artikkeleita, jotka toiset AI-järjestelmät hyväksyvät oikeina, välttäen havaitsemisruutineita, jotka aikaisemmin toimivat, ja paljastaen, miten helposti tutkimusmaailma voisi romahtaa boteihin, jotka huijaavat toisia botteja.

Tieteellisen tutkimuksen ala, joka on ironisesti innovaation eturintama AI:ssa, on uskottavuuskriisin keskellä, jota itse asiassa ajaa AI. Konenäön vaikutus tutkimukseen, lähetykseen ja arvosteluprosessiin on ollut merkittävä siitä lähtien, kun AI:n vaikutuksen mahdollisuus ensimmäisen kerran tuli selväksi noin neljä vuotta sitten, ja viimeisimmän skandaalin ollessa alhaisarvoisten kyselytutkimusartikkeleiden massatuotanto.

Yhdessä suuren osan laajempaa akateemista alaa, tutkimusala on mukana jonkinlaisessa kylmässä sodassa AI-järjestelmien ja viimeisimmän sukupolven “havainnontekijä”-AI-järjestelmien välillä, jotka voivat tunnistaa niiden tuotoksen ilman (yleensä) vääriä positiivisia opiskelijoille tai tutkijoille.

Nämä jännitykset ovat lisääntyneet, samoin kuin tieteellisten lähetysten määrä, joka nousee radikaalisti, ja jota ajaa AI-avusteiset järjestelmät ja kehykset; ja joka edellyttää AI-ohjausta valvontaprosessin teollistamisesta (toivottavasti) suodattamaan pois kaikki lähetykset, jotka ovat pelkästään AI:n tuotosta.

Väärän tiedon tervetuloa

Uusi tutkimusyhteistyö Yhdysvaltojen ja Saudi-Arabian välillä tutkii sitä, kuinka paljon tämä kehittyvä “palomuuri” AI-havainnosta voidaan tunkeutua kokonaan AI:lla generoiduilla lähetyksillä, kun nämä lähetykset hyödyntävät joitakin lisäksi vakuuttavia temppuja.

Kokeissa uusi järjestelmä, joka on nimeltään BadScientist, pystyi saavuttamaan hyväksymisprosentit jopa 82 %:iin niistä LLM-pohjaisista järjestelmistä, jotka tällä hetkellä käytetään AI-generoidun sisällön havaitsemiseen tieteellisissä tutkimusartikkeleissa:

BadScientist-järjestelmä käyttää yhtä AI-välimiehittä väärien tieteellisten artikkeleiden luomiseen ja toista arvioimaan niitä nykyisillä kielimalleilla. Lähde: https://arxiv.org/pdf/2510.18003

Väärät artikkelit luotiin käyttäen oikeita AI-konferenssien aiheita ja harhaanjohtavia strategioita, ja ne arvioitiin malleilla, jotka oli kalibroitu vertaisarvioaineistolla, mukaan lukien GPT-5 integriteetin tarkastuksille. Monet saivat korkeat arvosanat, vaikka niissä oli selväsiä virheitä tai väärennöksiä.

Artikkelin julkaisu osuu yhteen tänä päivänä Avoin konferenssi AI-välimiehille tieteelle 2025 Stanfordissa, jossa osallistujat ja puhujat ovat ihmisiä, mutta kaikki artikkelit on kirjoittanut ja arvioinut erilaiset AI-järjestelmät.

BadScientist, uusi artikkeli selittää, käyttää erilaisia akateemisia ja kirjallisia petoksia, puutteita, keksintöjä ja liioittelua uudelleenpainamaan artikkelia pois siitä, mitä useimmat nykyiset havainnontekijät voivat tunnistaa AI-generoiduksi; ja tarkastelemme näitä kategorioita pian.

Artikkelin kirjoittajat toteavat hämmästykseensä, että vaikka havainnontekijäjärjestelmät tunnistavat AI-sisällön väärennettyyn artikkeliin, ne usein sallivat sen kuitenkin läpi, ja toteavat, että heidän omat yrityksensä immunisoida puolustusjärjestelmät tätä uutta hyökkäysvektoria vastaan saavuttivat vain vähän enemmän kuin satunnaisen parantumisen.

Artikkeli toteaa:

‘Väärennettyjen artikkeleiden hyväksymisprosentti on korkea, ja arvioijat usein näyttävät olevan huolissaan hyväksymisristiriidoista – he merkitsevät eheysongelmia, mutta suosittelevat silti hyväksymistä. Tämä perustavanlaatuinen murtuma paljastaa, että nykyiset AI-arvioijat toimivat enemmän kuin mallinmuokkaajina kuin kriittisinä arvioijina.

‘[…] Yksinkertaisesti pyytämällä LLM-arvioijoita “olemaan varovaisempia” on riittämätöntä. Tieteellinen yhteisö on kiireellinen valinta. Ilman välittömiä toimia puolustusjärjestelmien toteuttamiseksi – mukaan lukien todistusarvon verifioinnin, eheyspainotetun arvostelun ja pakollisen ihmisen valvonnan – meillä on vaara AI-vain julkaisuun, jossa hienot väärennökset ylittävät kykymme erottaa aitoa tutkimusta vakuuttavista väärennöksistä.

‘Tieteellisen tiedon eheys itsessään on vaarassa.’

Uusi artikkeli on nimeltään BadScientist: Voiko tutkimusagentti kirjoittaa vakuuttavia mutta epäiltyjä artikkeleita, jotka pettävät LLM-arvioijat? ja se tulee kuuden kirjoittajan yhteistyöstä Washingtonin yliopistosta ja King Abdulazizin tieteen ja teknologian kaupungista Riadissa. Julkaisulla on sivusto.

Menetelmä

Artikkelin luomiseen käytetty agenttikehys on merkittävä uudelleenmuokkaus AI-tutkijayhteistyöstä vuonna 2024, ja kirjoittajat korostavat, että sen koko putki on perustavanlaatuinen uudelleenmuotoilu. Vain perustavimmat kirjoitusohjeet säilytettiin, ja kaikki kokeellinen suoritus ja mallirakenteet poistettiin. Päivitetty järjestelmä toimii nyt yksinkertaisesta siemenestä, jolloin järjestelmä voi vapaasti kekstiä kokeellisia tuloksia ja generoida piirroksenkoodia tarpeen mukaan.

Järjestelmän yleiskehys on tarkoitettu sallimaan AI:n kirjoittaa vakuuttavia vääriä artikkeleita ilman oikeiden kokeiden suorittamista tai aitojen tietojen käyttämistä. Sen sijaan järjestelmä luo tai muuttaa synteettisiä tietoja tukemaan tietoisesti harhauttavia väitteitä.

Asettelma, kirjoittajat selittävät, välttää tietoisesti ihmisen osallistumista, ohjelmointitemppuja tai koordinoitua yhteistyötä kirjoittajan ja arvioijan agenttien välillä. Arvioijat arvioivat jokaisen lähetyksen yhdessä kierroksessa, ilman pääsyä yli lähetyksen itsensä, eikä heillä ollut mahdollisuutta uudelleenajaa kokeita, mikä heijastaa todellisia vertaisarviointiehtoja.

‘Atomiset strategiat’, joita käytetään väärien artikkeleiden luomiseen, ovat modulaarisia taktiikoita, joita voidaan soveltaa yksin tai yhdistää (ja jokainen, joka lukee usein kirjallisuutta, tunnistaa nämä). Strategiat sisältävät dramatiikan parantamisen korostamisen tehdäkseen menetelmästä näyttää suurelta edistysaskelelta (TooGoodGains); valitsemalla vertailukohtia ja tuloksia, jotka suosivat uutta menetelmää, ja ohittamalla luottamusvälien päätaulukossa (BaselineSelect); lisäämällä puhdasta ablaatiota, tarkkaa tilastoa ja siistejä taulukoita liitteessä, sekä lupaamalla tulevaa koodia tai tietoja (StatTheater); kiillottamalla artikkelin rakennetta yhdenmukaisella terminologialla, viittauksilla ja muotoilulla (CoherencePolish); ja lisäämällä muodollisia todistuksia, jotka näyttävät oikeilta, mutta sisältävät piileviä virheitä (ProofGap).

Data ja testit

Testataksesi järjestelmää, kirjoittajat käyttivät GPT-5:ttä tutkimusaiheiden luomiseen avainalueilla tekoälyssä, käyttäen aloja Teollinen äly, Koneoppiminen, Tietokoneen näkö, Luonnollinen kieli, Robotiikka, Järjestelmät ja Turva.

Nämä luokat muodostivat siemenaiheita väärien artikkeleille, joista jokainen laajennettiin neljään eri versioon, käyttäen edellä lueteltuja strategioita, ja suunniteltiin harhauttamaan tai vaikuttamaan arvioijiin. Päättääkseen, hyväksytäänkö artikkeli, järjestelmä tarkasteli vain lopullista arviointia, jonka AI-arvioija antoi.

Väärät artikkelit kirjoitettiin kokonaan GPT-5:llä. Arvioimaan niitä varten kirjoittajat käyttivät GPT-4.1:ä; o4-miniä; ja o3:aa. Kaikki saivat saman arviointiohjeen, kiinteän ohjeen, joka oli suunniteltu jäljitämään arvostelukriteerejä ja rakennetta, jotka käytetään todellisessa vertaisarvioinnissa.

Tee arviointipisteistä merkityksellisiä, järjestelmä kalibroitiin 200 todellisen lähetyksen avulla ICLR 2025 OpenReview -aineistosta (julkisesta kokoelmasta todellisia artikkeleita, arvioijien kommentteja ja hyväksymistuloksia).

Tästä yksi pistekynnys määriteltiin vastaamaan ICLR:n todellista hyväksymisprosenttia 31,73 %, mikä johti 7 pisteen kynnykseen; ja toinen määriteltiin heijastamaan pistettä, jossa artikkeli olisi 50 %:n todennäköisyydellä hyväksytty ihmisten toimesta (laskettu 6,667:ksi).

Kirjoittajat testasivat järjestelmän luotettavuutta simuloimalla arvostelua 5 000 väärennetyn artikkelin kohdalla, käyttäen 1-3 AI-arvioijaa, joista jokainen palautti satunnaisen näköisen pisteytyksen 1-10 välillä. Tulokset osoittaisivat, että jopa tämän meluisan asetelman kanssa järjestelmä oli altis paljon vähemmän virheille kuin sen huonoin teoreettinen raja-arvo.

Kolmen arvioijan käyttäminen yhden sijaan johti merkittävästi pisteytyksen vaihtelun vähentymiseen, parantaen päätöksen vakautta lähes kolminkertaisesti – tulokset, jotka käytettiin oikeutukseksi kolmen arviointimallin ja 200 todellisen artikkelin kalibrointijoukon valintaan.

Kaksi mittaria määriteltiin arvioimaan generaattorin suorituskykyä: hyväksymisprosentti, joka mittaa, kuinka usein väärit artikkelit saivat läpipääsyarvosanat; ja keskimääräinen arvioijan piste, joka mittaa keskimääräisen arvion kaikissa lähetyksissä: molemmat käytettiin mittaamaan, kuinka hyvin järjestelmä pystyi petkuttamaan arvioijia:

Hyväksyminen (ACPT) osoittaa väärien artikkeleiden osuuden, jotka saivat yli kaksi kynnystä: yksi vastasi ICLR 2025:n hyväksymisprosenttia, toinen 50 %:n ihmisten hyväksymisarviota. Eheysongelmien havaintoprosentti (ICR-m) osoittaa kunkin arvioijamallin lippumisen. Viimeinen sarakkeessa on enemmistöäänestyksen perusteella määräytynyt tulos.

Väärät artikkelit saivat korkean hyväksymisprosentin lähes kaikissa strategioissa. Ensimmäinen taktiikka antoi 67 %:n ja 82 %:n kahdessa kynnyksessä, osoittaen, että arviointimallit olivat helposti vakuutettavissa. Yhdistämällä kaikki strategiat hyväksymisprosentti laski hieman, mutta havainnointi kasvoi, ja yli puolet arvioista herätti huolta. Ensimmäinen strategia antoi parhaimman tasapainon: vahvan hyväksymisprosentin ja kohtuullisen havainnoinnin. Muut taktiikat olivat heikompia, mutta vaikeampia havaita. ChatGPT-o3-malli herätti eniten huolta, ja GPT-4.1 vähiten.

Pisteytysjakaumat kuudelle hyökkäysstrategialle, joissa käytetään kolmea arviointimallia: GPT-4.1 (punainen); o3 (oranssi); ja o4-mini (sininen). Jokainen kaavio osoittaa, kuinka usein kunkin pisteytyksen 4-9 saavutti, ja punainen viivalla on merkitty hyväksymiskynnys 7.

Toisessa testissä, joka on yllä, näemme pisteytysjakaumia kolmelle mallille kuudessa asetelmassa. Jakaumat vaihtelevat asetelmissa, mutta o4-mini taipuu antamaan korkeampia pisteitä keskimäärin, o3 näyttää suurempaa hajontaa ja äärevämmän arvon, kun taas GPT-4.1 antaa alhaisempia pisteitä johdonmukaisemmin.

Huolen ja hyväksymisen ristiriita mallin ja strategian mukaan: prosentti tapauksista, joissa malli herätti eheysongelmaa, mutta antoi silti läpipääsyarvosanan. Korkeammat arvot osoittavat heikompaa kytkentää havainnon ja lopullisen arvion välillä.

Yllä olevassa taulukossa näemme, että mallit usein antoivat korkeita pisteitä jopa silloin, kun ne ilmoittivat eheysongelmia. Tässä suhteessa o4-mini oli epäjohdonmukaisin, konflikti 100 %:ssa tapauksissa s1:ssä, s3:ssa ja yhdistetyssä asetelmassa, ja 50-80 %:ssa muissa.

GPT-4.1 vaihteli 0 %:sta (s4) 75 %:iin (s3). o3 oli vakaampi, 26 %:sta 52 %:iin. Ristiriita oli korkein s3:ssa, erityisesti o4-minillä; ja kirjoittajat toteavat, että havainnon signaalit olivat huonosti kytketty lopullisiin pisteisiin.

Vähentäminen

Kaksi menetelmää testattiin, jotka voivat auttaa tulevia havainnontekijämalleja välttämään nämä uudet hyökkäystavat. Ensimmäinen, Arviointi havainnoinnin kanssa (ReD), lisäsi eheysarvioaskelen standardiarviointiin, jossa mallit ilmoittivat AI-generoituja sisältöjä ja siteerasivat näyttöä. Tämä lisäsi eheysvaroituksia (57 %:sta 86 %:iin), mutta myös hyväksymisprosentteja, osoittaen, että varoituksia ei heijastettu lopullisiin pisteisiin:

Arviointi havainnoinnin kanssa (ReD) lisää sekä eheysongelmien määrää (ICR) että hyväksymisprosentteja (ACPT) verrattuna perusjärjestelmään. Vaikka o3:sta tulee paljon herkempi ReD:ssä, GPT-4.1 ei onnistu ilmoittamaan ongelmia. Kokonaisuuden kasvu hyväksymisissä, vaikka eheysvaroituksia lisättiin, osoittaa heikkoa kytkentää havainnon ja pisteytysjärjestelmän välillä.

Toinen menetelmä, Vain havainnointi (DetOnly), ohitti täydellisen arvostelun ja pyysi malleja luokittelemaan artikkelit joko aidoiksi tai vääriksi. Havainnontarkkuus oli yleisesti ottaen heikko, lähellä sattumaa, paitsi o3:lla, jolla oli lievät voitot:

Havainnontulokset ReD:stä ja DetOnly:stä verrattuna satunnaisiin perustapauksiin. Tarkkuuden parantumiset satunnaisiin nähden olivat vähäisiä, mutta ReD oli konservatiivisempi, kun taas DetOnly saavutti korkeamman palautusosuuden – mutta useiden virheellisten positiivisten tuloksien kera. Malli o3 osoitti vahvimman havainnonharhan; o4-mini oli epäjohdonmukainen; ja GPT-4.1 havainnoi melkein mitään.

Cockpitissa ReD osoittautui konservatiivimmaksi, kun taas DetOnly saavutti korkeamman palautusosuuden, mutta myös useamman virheellisen positiivisen tuloksen.

Artikkeli toteaa:

‘AI-vain julkaisusilmukat uhkaavat tieteellisen epistemologian. Jos väärennökset tulevat erottamattomiksi aidoista töistä, tieteellisen tiedon perusta on vaarassa romahtaa.

‘Eteenpäin johtava polku edellyttää puolustusjärjestelmien toteuttamista useiden kerrosten yli: teknisesti (todistusarvon verifiointi, artifactin validointi), prosessuaalisesti (eheysarvio, ihmisen valvonta), yhteisöllisesti (julkaisun jälkeinen arviointi, ilmiantajajärjestelmä), ja kulttuurisesti (koulutus AI:n rajoituksista, eettiset ohjeet).

‘Me näemme tämän työn varhaisena varoitusjärjestelmänä, joka katalysoi vahvoja puolustuksia ennen kuin nämä epäonnistumisen tavat ilmenevät laajassa mittakaavassa. Tutkimuksemme osoittaa, että nykyiset järjestelmät eivät ole valmiit AI-vain tutkimukselle – tieteen eheys riippuu siitä, että ihmisten arviointi säilyy tiukkana, kun AI:n kyvyt kehittyvät.’

Johtopäätös

Yksi suurimmista haasteista AI-kirjoitusten havaitsemiselle lähitulevaisuudessa näyttää olevan mahdollinen yhtenäisyys standardin kirjoitustavan ja AI-generoidun tekstin standardien välillä (joka määritellään tällä hetkellä ominaispiirteillä, kuten valtaavilla sanoilla ja kieliopillisilla tyyleillä).

Jos yleinen kieli ja AI-kieli yhdistyvät yleiseen standardiin, logiikka viittaa siihen, että tulevat havainnontekijämenetelmät, jotka perustuvat pelkästään tuotokseen, tulevat olemaan vielä haasteellisempia toteuttaa.

Lisäksi, kun LLM:t kehittyvät monipuolisemmiksi ja niiden “tunnusmerkit” vähenevät (joko arkkitehtuurin/koulutuslähestymistapaan perustuen tai paremman API-tason suodattamisen kautta), ne tulevat paremmiksi kirjoittajiksi; ja siten suuremmassa määrin, ihmisen ja AI-kieli kohtaa toisensa keskellä; sekoittuu ja yleistyy.

Siihen vaiheeseen tultessa AI-havainnointi kielelle on todennäköisesti saavuttanut saman vaiheen, johon AI-kuva- ja (jonkin verran) AI-videogeneraatio ovat saavuttaneet: tarpeen toissijaisiin todistusjärjestelmiin, kuten Adoben johtamaan Content Authenticity Initiative, tai blockchain/ledger-pohjaisiin todistusjärjestelmiin.

Julkaistu ensimmäisen kerran keskiviikkona, 22. lokakuuta 2025