Tekoäly viittaa samoihin papereihin yhä uudelleen – aivan kuten ihmiset

ChatGPT ja muut tekoälykirjoitustyökalut saattavat hiljaisesti muuttaa tieteen suosiokilpailuksi, ohjaten tutkijoita toistuvasti samoihin papereihin samalla kun ne jättävät huomiotta uudet ja omaperäiset teokset, jotka voisivat todellisuudessa edistää alaa.

Monokulttuuri, frekvenssin ja tilastojen näkökulmasta, on tilanne, jossa sama rajoitettu joukko lähteitä tai resursseja toistuu yhä uudelleen, hukuttaen uudet äänet ja tuoreet näkökulmat: sama rajoitettu joukko lauluja radiotaulutuksessa; sama sama joukko kirjailijoita ja kirjoja lentokenttähyllyissä; ja sama rajoitettu valikoima hedelmiä ja vihanneksia supermarketeissa:

Kyseessä on nämä banaanit – eikä muuta. Hedelmien ja vihannesten homogeenisuus länsimaisissa ruokaketjuissa sivuuttaa satojen muiden lajien mahdollisuudet, koska eri tuotanto- ja kuljetusketjut ovat liian kalliita monimuotoisten hedelmien tai vihannesten teollistamiseksi. Lähde

Tämä tapahtuu myös viitteissä, jotka ilmestyvät uuteen tieteelliseen tutkimukseen, jossa tutkijat – ehkä laiskasti – turvautuvat ‘luotettavaan’ lähdejoukkoon, joka saa vauhtia, kunnes se alkaa hallita tutkimuslinjoja.

Tätä kutsutaan Matthew-efekti – sosiologiseksi teoriaksi, jonka mukaan vallitsevat aina hyötyvät; oireyhtymää on verrattu Matteuksen 13:12:een, jossa toteaa ‘Kuka omistaa, sille annetaan enemmän, ja hänellä on yltäkylläisyyttä. Kuka ei omista, jopa se, mitä hänellä on, otetaan häneltä’.

Sisäpiiri

Yksi suuri toive tekoälyavusteisessa tutkimuksessa on ollut, että uudet koneoppimismenetelmät voisivat murtautua pois Matthew-efektistä – joka tunnetaan myös nimellä suosioharha – ja alkaa viitata vähemmän tunnettuihin teoksiin, jotka saattavat olla terävämpiä tai paremmin osuvia käsiteltävään pointtiin.

Kuitenkin AI:n koulutusmenetelmien tapa tulkita aineistoja ei koskaan antanut hyvää syytä tälle optimismille; on toistuvasti havaittu, että kun tekoäly ei suoraan keksi viitteitä – mikä on tähän mennessä ollut krooninen ongelma – se todellakin vahvistaa Matthew-efektiä, aivan kuten ihmisetkin – vaikka ehkä eri syistä.

Koulutuksen aikana malli oppii antamaan korkean sijoituksen eniten viitattuun (tai ‘eniten toistettuun’) paperiin koulutusaineistossa, koska koulutusmenetelmät on suunniteltu poimimaan merkityksellisiä malleja ja hylkäämään poikkeamat ‘kohinaksi’ tai tilastollisiksi poikkeavuuksiksi.

Tässä järjestelmässä Einsteinin suhteellisuusteorian vastine ei koskaan saisi koneen huomiota, sillä koulutuksen jälkeen malli kokee jo löytäneensä periaatteensa ja viitteensä, eikä se pysty muuta kuin kevyesti säätämään näkemystään tavoittamalla uudemmat julkaisut RAG:n tai muiden keinojen kautta, jotka laajentavat mallin ulottuvuutta koulutettuun matriisiin.

Ongelma on, että se ei anna tunnustusta näille uusille teoksille samalla tavalla kuin ‘vanhoille suosikeille’, jotka se jo tuntee, tai ollenkaan, koska sen tilastolliset vinoumat ovat nyt syvästi juurtuneet.

Näin ollen tekoäly ei todellisuudessa tarkkaile ja jäljittele ihmiskäyttäytymistä, kun se vahvistaa Matthew-efektiä – se vain laskee, kuinka monta kertaa tutkijat laiskasti turvautuvat samoihin vanhoihin papereihin, ja sijoittaa ne samoin korkealle. Tässä mielessä viitteiden toistumisen ongelma liittyy haasteeseen valita aidosti mielenkiintoinen tieteellinen artikkeli kasvavasta lumimyrskistä tekoälytutkimuksen julkaisuja, sillä vahvimmat työt usein saavat heikoimman signaalin.

Monokulttuurin diagnosointi

Tämä ongelma käsitellään mielenkiintoisessa uudessa artikkelissa Yhdysvalloista, jonka otsikko on Kun tekoäly kirjoittaa, ketkä saavat viitteitä? Todisteita viitteiden monokulttuurista kielimalleissa. Uusi työ – yhteistyö University of Texas at Austinin, Stevens Institute of Technologyn, Washington University at St Louisin, Rice Universityn ja University of Notre Dameen – pyrkii vakuuttavasti todistamaan viitteiden monokulttuurin olemassaolon koneoppimisessa, jotta sen muuttujia voitaisiin mahdollisesti käsitellä suoraan tulevaisuudessa, samoin kuin itse ongelmaa.

Testeissä tekijät havaitsivat, että yksitoista mallia OpenAI:lta, Googlelta ja Anthropicilta toistuvasti suosivat samaa pientä ryhmää papereita – vaikka ilmeiset suosiosignaalit oli poistettu.

Tämän testaamiseksi 120 todellista artikkelia poistettiin viitteiden määrästä ja julkaisukanavista, tekijänimet korvattiin ja julkaisuvuodet satunnaistettiin. Satunnaisia kolmenkymmenen artikkelin ryhmiä esitettiin sitten jokaiselle mallille, jonka sallittiin viitata enintään kymmeneen.

Kahdeksan ihmisen asiantuntijaa relevantilla alalla saivat samat sokaistut artikkelit, mutta eivät päätyneet samoihin suosikkeihin kuin tekoälyt, mikä osoittaa, että vinouma oli spesifinen AI-malleille eikä itse artikkeleille:

Uudesta artikkelista, testitulokset vertaavat AI-mallien ja ihmisen asiantuntijoiden viitteiden valintoja. Kaikissa yksitoista mallissa viitteet keskittyivät pienempään ryhmään papereita, kun taas joitakin papereita ohitettiin toistuvasti kokonaan. Ihmisasiantuntijat eivät osoittaneet tätä taipumusta. Lähde

Samat paperit pysyivät suosittuina, vaikka malleja pyydettiin valitsemaan vain viitteitä, mikä osoitti, että arvostelun kirjoittaminen itsessään ei ollut syynä vinoumaan.

Koe laajennettiin sitten yhdentoista kierrokseen, joihin jokaisen kierroksen jälkeen lisättiin 120 tekoälyn kirjoittamaa artikkelia, jotta voitaisiin testata, mitä tapahtuu, kun nämä jaetut mieltymykset toimivat kasvavassa tekoälytutkimuksen poolissa.

Kun tekoälyn kirjoittamia artikkeleita lisättiin, mallit yhä enemmän keskittyivät viitteissään alkuperäisten ihmisen kirjoittamien papereiden vähenevään määrään.

The authors state:

‘Kun kielimallit siirtyvät proosan laatimisesta kirjallisuushakurobottien ajamiseen, joissa on työkaluja, keksityt viitteet tulevat helpommin havaittaviksi ja rajoitettaviksi.’

‘Kovempi epäonnistuminen alkaa, kun jokainen ehdokas on todellinen: eri mallit voivat silti valita saman kapean alajoukon, tuottaen viitteiden monokulttuurin ilman, että yksikään viite on väärä.’

Ongelman korjaamiseksi artikkeli väittää, että pelkkä eri toimittajien mallien sekoittaminen tai papereille tasapuolisen näkyvyyden antaminen ei riitä, koska suuri osa mieltymyksestä on jaettu mallien kesken. Sen sijaan perimmäinen mieltymys tiettyihin papereihin tulisi muuttaa – mahdollisesti antamalla laiminlyödyille papereille suurempi näkyvyys. Kuitenkin tekijät korostavat, että tätä lähestymistapaa ei ole testattu.

Testausmenetelmät

Vertailuarvio rakennettiin 120 todellisesta tiedon tiivistämisartikkelista, jotka kerättiin arXivista ja julkaistiin vuosina 2015–2022. Jokaisessa oli 50–500 viitettä keräyksen aikaan, valikoima valittiin pois sulkemaan sekä tuntemattomat että poikkeuksellisen vaikutusvaltaiset teokset.

Koetus aloitettiin valitsemalla satunnaisesti kolmekymmentä artikkelia saatavilla olevasta kokoelmasta, piilottamalla tekijänimet, julkaisuvuodet ja viitemäärät. Jokainen malli tuotti lyhyen arvostelun tai kantaa esittävän tekstin, jossa viitattiin enintään kymmeneen artikkeliin, ja nämä valinnat vertailtiin satunnaisiin valintoihin samasta aineistosta:

Viitteiden mieltymysten testaamiseen käytetty menetelmä. Kolmekymmentä satunnaisesti valittua artikkelia näytettiin mallille, jonka tunnistetiedot oli piilotettu, jonka jälkeen se saattoi viitata enintään kymmeneen. Sen valinnat vertailtiin satunnaisvalintoihin, kun jokaisessa kierroksessa lisättiin 120 tekoälyn kirjoittamaa artikkelia seuraavan kierroksen kokoelmaan.

Laajennetussa kokeessa 120 juuri tuotettua artikkelia lisättiin kokoelmaan jokaisen kierroksen jälkeen, kasvattaen vähitellen tekoälyn kirjoittaman tutkimuksen osuutta.

Alustavassa testauksessa mallit taipuisivat viittaamaan suurimpaan osaan näytetyistä artikkeleista, valiten tyypillisesti 22–27 niistä 30:stä. Tutkijat asettivat siis pääkokeelle enimmäismääräksi kymmenen viitettä, pakottaen mallit tekemään valikoivampia valintoja.

Alla näemme yhteenvedon syntyneestä kokeellisesta suunnittelusta:

Kokeellinen asetelma viitteiden mieltymysten testaamiseen. Tutkimus alkoi 120 todellisesta artikkelista ja testasi yksitoista mallia kolmelta toimittajalta, käyttäen satunnaisia 30 artikkelin ryhmiä ja enintään kymmentä viitettä. Myöhemmät kierrokset lisäsivät tekoälyn tuottamia artikkeleita, laajentaen kokoelman 1 440 artikkeliin.

Alkuperäinen koe käytti yksitoista mallia kolmelta suurimmalta toimittajalta: OpenAI:n edustajina olivat GPT-5, GPT-5 mini, GPT-4.1 ja GPT-4.1 mini; Google:n edustajina Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 3.1 Pro ja Gemini 3.1 Flash-Lite; ja Anthropic:n edustajina Claude Opus 4.8, Claude Sonnet 4.6 ja Claude Haiku 4.5.

Alla esitetyt testitulokset näyttävät, kuinka paljon kukin malli keskittyi viitteissään pieneen ryhmään papereita; kuinka monta artikkelia se jätti kokonaan huomiotta; ja kuinka johdonmukaisesti se teki samat valinnat, kun koe toistettiin:

Testitulokset, jotka osoittavat, kuinka voimakkaasti kukin malli keskittyi viitteissään tiettyihin papereihin ja kuinka monta artikkelia se jätti kokonaan huomiotta. ‘Top-10 % osuus’ näyttää, kuinka monta viitettä meni 12 suosituimpaan artikkeliin, kun taas ‘HHI’ mittaa, kuinka keskittyneet viitteet olivat kokonaisuudessaan. ‘Luotettavuus’ näyttää, kuinka johdonmukaisesti kukin malli suosii samoja papereita testien välillä, ja ρ näyttää, kuinka samankaltaisia nämä mieltymykset olivat mallien välillä. ‘Matched null’ -rivi osoittaa, mitä odotettaisiin, jos artikkelit valittaisiin satunnaisesti.

Mitä mallit oikeasti suosivat?

Mieltymyksen havaittiin olevan ylitse kaiken ohjautuvan papereiden sisällön perusteella. Esimerkiksi GPT-5 mini -mallissa noin 90 % siitä, miksi tietyt paperit suosittiin, johtui sisällöstä, eikä tekijöistä kuten luettelon järjestys, generointikohina tai kunkin paperin keksitty metatieto. Sama ‘hallitseva sisältö’ -vaikutus toistui myös GPT-4.1 mini -mallissa.

The preference map (see below) was also barely changed when titles and abstracts were substantially rewritten while their meaning was preserved. Across four successful paraphrase tests, correlations of 0.95–0.99 were obtained, despite different models from three vendors being used for the rewriting.

Changes in the preference map were observed only when the underlying meaning was measurably altered:

Testitulokset, jotka vertaavat viitteiden mieltymyksiä kaikkien yksitoista mallin välillä. Numerot osoittavat, kuinka tarkasti kukin mallipari suosii samoja papereita, suuremmat arvot viittaavat suurempaan yhteneväisyyteen. Mallien ja toimittajien eroista huolimatta ryhmässä havaittiin laajasti samankaltaisia mieltymyksiä.

The models therefore appear to be responding principally to semantic content rather than particular wording. However, the reason for their strong agreement could not be conclusively determined.

It’s possible, the authors assert, that a common citation consensus may have been absorbed during training. An alternative possibility is that similar judgments about what constitutes a ‘citable’ paper may be reached independently.

Therefore the existence of the shared preference was established, but its ultimate origin remains unknown.

The authors suggest that widespread use of AI in research could narrow the range of work receiving attention, because different models tend to favor many of the same papers; and as AI-generated literature accumulates, these shared preferences may become further reinforced through repeated citation, making less-favored research progressively harder to discover. Citation diversity and monitoring of citation concentration are therefore proposed as possible safeguards.

The study’s benchmark for recursive citation concentration is now available GitHubissa.

Johtopäätös

MielipideJoku, joka lukee viikoittain valtavan määrän tekoälytutkimuspapereita, on nähnyt ‘viiteaallot’ tulla ja mennä. Yksi ikuisesti vankkumaton on Googlen Attention Is All You Need, alkuperäinen Transformer-paperi, jonka on nyt oltava kovakoodattu toimitusmalliin.

Toinen pitkään toistuva, oli vuodelta 2014 Generative Adversarial Networks, vaikka se lopulta korvattiin useammin Denoising Diffusion Probabilistic Models ja muiden diffuusioon perustuvien tärkeiden tutkimusten toimesta.

Lähes kaikissa tapauksissa nämä ‘toistuvat’ viitteet eivät ole väärin itsessään; mutta ne ovat usein liian laajasti kohdennettuja ollakseen hyödyllinen tuki artikkelille, jossa niitä siteerataan; ja siinä mielessä ne edustavat jotain vastaavaa kuin ‘viitteiden pesu’ – ‘luotettavien’, mutta pääasiassa koristeellisten lähde-quotien sisällyttäminen, jotta saadaan aikaan vähäisen vaivan vaikutelma uskottavuudesta.

Ensimmäisen kerran julkaistu maanantai 24. elokuuta 2026