Tekoälygeneroitu kieli saastuttaa tieteellistä kirjallisuutta

Ranskalaiset ja venäläiset tutkijat ovat julkaisseet tutkimuksen, joka osoittaa, että tekoälypohjaiset todennäköisyystekstigeneraattorit, kuten GPT-3, tuottavat “kidutettua kieltä”, viittauksia olemattomiin lähteisiin ja ad hoc -kuvien uudelleen käytön kunnioitettuihin tieteellisen kirjallisuuden julkaisukanaviin.

Ehkä eniten huolestuttaa se, että tutkimuksessa tarkastelluissa artikkeleissa on myös tieteellisesti epätarkkaa tai ei-toistettavaa sisältöä, jota esitetään objektiivisen ja systemaattisen tutkimuksen tuloksina, mikä osoittaa, että generatiiviset kielimallit käytetään ei vain kirjoittajien rajoitettujen englannin taitojen täydentämiseen, vaan myös itse tutkimustyön tekemiseen (ja, usein, tekemiseen huonosti).

Raportti, jonka nimi on Kidutetut lauseet: Epäilyttävä kirjoitustyyli tieteessä, on laadittu Ranskan ja Venäjän tutkijoiden toimesta, mukaan lukien Toulousen yliopiston tietojenkäsittelyosaston tutkija Alexander Magazinov, joka on tällä hetkellä Tel Avivin yliopistossa.

Tutkimus keskittyy erityisesti nonsenssikirjoitusten kasvuun Elsevierin Microprocessors and Microsystems -julkaisussa.

Toisella nimellä

Autoregressiiviset kielimallit, kuten GPT-3, koulutetaan suurilla datamäärillä, ja ne on suunniteltu paraphraasioon, tiivistämiseen, kokoamiseen ja tulkintaan kyseisestä datasta koherentteiksi generatiivisiksi kielimalleiksi, jotka pystyvät tuottamaan luonnollista puhetta ja kirjoitusta, säilyttäen alkuperäisen aineiston alkuperäisen tarkoituksen.

Koska nämä kehykset rangaistaan usein koulutusvaiheessa tarjoamalla suoraan ja “ei-absorboitua” alkuperäisen aineiston toisto, ne etsivät väistämättä synonyymejä – jopa vakiintuneille lauseille.

Tutkijat löysivät poikkeuksellisen määrän epäonnistuneita yrityksiä luoda luovia synonyymejä koneoppimisen alan tunnetuille lauseille:

syvä neuroniverkko: syvä neuronijärjestelmä
tekoälyverkko: (väärennetty | tekoäly) neuronijärjestelmä
matkapuhelinverkko: monikäyttöinen järjestelmä
verkkohyökkäys: järjestelmän (hyökkäys | hyökkäys)
verkkoyhteys: järjestelmän yhteys
suuri data: (valtava | suuri | valtava | jättimäinen) tieto
tietovarasto: tieto (varasto | jakelukeskus)
tekoäly (AI): (väärennetty | ihmisten tekemä) tietoisuus
korkean suorituskyvyn laskenta: eliten laskenta
sumu/tiheä/pilvi-laskenta: sumuinen laskenta
grafiikkaprosessori (GPU): suunnittelun valmistusyksikkö
keskusprosessori (CPU): keskinen valmistusyksikkö
työvirta-moottori: työprosessin moottori
kasvojen tunnistus: kasvojen tunnistaminen
puheentunnistus: puheen tunnistaminen
keskiarvoisen neliövirheen suhde: keskiarvoisen neliövirheen (virhe | virhe)
keskiarvoisen itseisarvon virhe: keskiarvoisen (suoran | ylin) (virhe | virhe)
signaali-melusuhde: (liike | lippu | osoitin | merkki | signaali) melun suhde
globaalit parametri: maailmanlaajuiset parametri
satunnainen pääsy: (satunnainen | epäsäännöllinen) pääsy
satunnainen metsä: (satunnainen | epäsäännöllinen) (takamaa | metsä | runsas alue)
satunnainen arvo: (satunnainen | epäsäännöllinen) arvo
muurahaisparvi: maanalaisten hyönteisten (valtio | maakunta | alue | seutu | asutus)
muurahaisparvi: maanalaisten ötököiden (valtio | maakunta | alue | seutu | asutus)
jäännösenergia: jäännösvitaliteetti
kinetiikkaenergia: liike-energia
naiv Bayes: (uskoollinen | viattoman | hyväuskoinen) Bayes
henkilökohtainen digitaalinen avustaja (PDA): henkilökohtainen tietokoneavustaja

Toukokuussa 2021 tutkijat kysyivät Dimensions -tieteellisestä hakukoneesta tällaista vääristynyttä, automaattista kieltä, varoen estämään legitimiitä lauseita, kuten “valtava tieto” (joka on voimassa oleva lause, eikä vääristynyt synonyymi “suurelle datalle”). Tässä vaiheessa he huomasivat, että Microprocessors and Microsystems -julkaisussa oli eniten vääristyneiden paraphrasien esiintymisiä.

Tällä hetkellä on edelleen mahdollista hakea (arkistokuva, 15/07/2021) useita tieteellisiä artikkeleita järjettömälle lauseelle “syvä neuronijärjestelmä” (ts. “syvä neuroniverkko”), ja muut edellä mainitut lauseet antavat samanlaisia osumia.

Haku ‘syvä neuronijärjestelmä’ (‘syvä neuroniverkko’) -tulokset Dimensionsissa. Lähde: https://app.dimensions.ai/

Microprocessors -julkaisu perustettiin vuonna 1976, ja se nimettiin uudelleen Microprocessors and Microsystems -julkaisuksi kaksi vuotta myöhemmin.

Nonsenssin kasvu

Tutkijat tutkivat aikajaksoa, joka kattoi helmikuun 2018 ja kesäkuun 2021, ja he havaitsivat jyrkkään nousuun julkaisujen määrässä viimeisen kahden vuoden aikana, ja erityisesti viimeisen 6-8 kuukauden aikana;

<img class="wp-image-176627 size-full" src="https://www.unite.ai/wp-content/uploads/2021/07/microprocessors_rise_in_volume.jpg" alt="Korrelaatio vai syy-seuraus? Microprocessors and Microsystems -julkaisujen määrän kasvu näyttää sattuvan yhteen ‘nonsenssi’-tekstin ja synonyymien kasvun kanssa näennäisesti kunnioitettavissa julkaisuissa.” width=”1153″ height=”411″ /> Korrelaatio vai syy-seuraus? Microprocessors and Microsystems -julkaisujen määrän kasvu näyttää sattuvan yhteen ‘nonsenssi’-tekstin ja synonyymien kasvun kanssa näennäisesti kunnioitettavissa julkaisuissa. Lähde: https://arxiv.org/pdf/2107.06751.pdf

Lopullinen tutkijoiden kokoama tietokanta sisältää 1 078 täysimittaista artikkelia, jotka on hankittu Elsevierin kautta Toulousen yliopistosta.

Kiinan tieteellisten artikkeleiden vähenevä toimittajien valvonta

Tutkimusraportti toteaa, että vuonna 2021 merkittävästi lyhentynyt aika, joka on varattu toimittajien arviointiin, on alle 40 päivää; kuusinkertainen lasku standardissa arviointiajassa, josta on nähtävissä helmikuusta 2021 lähtien.

Suurin osa liputetuista artikkeleista on peräisin Kiinan mantereen kirjoittajien yhteyksistä: 404 artikkelista, jotka hyväksyttiin alle 30 päivässä, 97,5 % on Kiinaan liittyviä. Toisaalta, tapauksissa, joissa toimittajien prosessi kesti yli 40 päivää (615 artikkelia), Kiinaan liittyvät julkaisut edustivat vain 9,5 % kyseisestä luokasta – kymmenkertaista epätasapainoa.

Raportti johtaa liputettujen artikkeleiden tunkeutumisen toimittajien prosessin puutteista ja mahdollisesta resurssipulasta kasvavan julkaisumäärän edessä.

Tutkijat olettavat, että GPT-tyyliset generatiiviset kielimallit ja samanlaiset kieligeneraattorit ovat tuottaneet suuren osan liputettujen artikkeleiden tekstistä; kuitenkin, generatiivisen mallin abstrahoinnin tapa tekee tämän vaikeaksi todistaa, ja pääasiallinen näyttö perustuu yleisen viisauden arviointiin huonoista ja tarpeettomista synonyymeistä ja tarkkaan tarkasteluun artikkeleiden loogisesta johdonmukaisuudesta.

Tutkijat toteavat myös, että generatiiviset kielimallit, joita he uskovat olevan osallisina tässä nonsenssin tulvassa, pystyvät ei vain luomaan ongelmallisia tekstejä, vaan myös tunnistamaan ja liputtamaan ne järjestelmällisesti, samalla tavalla kuin tutkijat itse ovat tehneet manuaalisesti. Työ esittää tällaisen toteutuksen, jossa käytetään GPT-2:ta, ja tarjoaa kehyksen tuleville järjestelmille, joilla voidaan tunnistaa ongelmalliset tieteelliset julkaisut.

“Saastuneiden” julkaisujen määrä on paljon suurempi Elsevierin julkaisussa (72,1 %) verrattuna muihin tutkituihin julkaisuihin (13,6 % enimmillään).

Ei pelkästään semantiikkaa

Tutkijat korostavat, että monissa kyseessä olevista julkaisuissa ei ole vain väärää kieltä, vaan myös tieteellisesti epätarkkoja lauseita, mikä osoittaa, että generatiiviset kielimallit eivät ole ainoastaan parantamassa kirjoittajien rajoitettuja kielitaitoja, vaan ne voivat olla myös osallisina joitain artikkeleiden ydinteoreemojen ja tietojen muodostamisessa.

Toisissa tapauksissa tutkijat esittävät “uudelleen synteesin” tai “spinnauksen” abstrahoidusta (ja paremmasta) aiemmasta työstä, jotta voidaan täyttää “julkaise tai kuole” -tutkimuskulttuurin paineita, ja mahdollisesti myös parantaa kansallisia ranking-listoja maailmanlaajuisessa ennakointitutkimuksessa, pelkästään julkaisujen määrän kautta.

<img class="wp-image-176628 size-full" src="https://www.unite.ai/wp-content/uploads/2021/07/GPT-detected-nonsense.jpg" alt="Merkityksettömiä sisältöä julkaisussa. Tässä tapauksessa tutkijat löysivät, että teksti on johdettu ad hoc -periaatteella EDN-artikkelista, josta myös liittyvä kuva on otettu ilman mainintaa. Alkuperäisen sisällön uudelleenkirjoittaminen on niin äärimmäistä, että se tekee siitä merkityksettömän.” width=”1155″ height=”223″ /> Merkityksettömiä sisältöä julkaisussa. Tässä tapauksessa tutkijat löysivät, että teksti on johdettu ad hoc -periaatteella EDN-artikkelista, josta myös liittyvä kuva on otettu ilman mainintaa. Alkuperäisen sisällön uudelleenkirjoittaminen on niin äärimmäistä, että se tekee siitä merkityksettömän.

Tutkijat analysoivat useita Elsevier -julkaisuja ja löysivät lauseita, joista he eivät kyenneet johtamaan mitään merkitystä; viittauksia olemattomiin lähteisiin; viittauksia muuttujiin ja teoreemoihin kaavoissa, jotka eivät todellakaan olleet läsnä tukevassa aineistossa (joka viittaa kielipohjaiseen abstraktioon tai “hallusinaatioon” näennäisesti faktuaalisista tiedoista); ja kuvien uudelleen käytön ilman alkuperäisen lähteen mainintaa (jota tutkijat kritisoivat ei tekijänoikeudellisesta näkökulmasta, vaan tieteellisen tarkkuuden puutteen merkkinä).

Viittausvirheet

Viittaukset, jotka oli tarkoitus tukea tieteellisen artikkelin argumentteja, havaittiin monissa liputetuissa esimerkeissä olevan “joko rikkoontuneita tai johtavia epäoleellisiin julkaisuihin”.

Lisäksi “liittyvän työn” viittaukset sisälsivät usein sellaisia kirjoittajia, joita tutkijat uskoivat olevan “hallusinoitu” GPT-tyylisellä järjestelmällä.

Harhainen huomio

Toinen jopa edistyneiden kielimallien, kuten GPT-3, heikkous on taipumus menettää fokus pitkässä keskustelussa. Tutkijat löysivät, että liputetut artikkelit usein ottavat aiheen esille alussa, jota ei koskaan palata, kun se on aluksi mainittu esitutkimuksissa tai muualla.

He myös olettavat, että joitakin pahimpia esimerkkejä tapahtuu, kun lähdeteksti kulkee useiden käännöskoneiden läpi, ja jokainen niistä vääristää merkitystä edelleen.

Lähteet ja syyt

Yrittäessään selvittää, mikä on tämän ilmiön taustalla, tutkimuksen tekijät ehdottavat useita mahdollisuuksia: että “paperimyllyjen” sisältöä käytetään lähtöaineistona, joka tuo epätarkkuuksia jo varhaisessa vaiheessa prosessia, joka lopulta tuottaa lisää epätarkkuuksia; että artikkeleiden kääntämistökaluja, kuten Spinbotia, käytetään maskiimaan plagiointia; ja että julkaisupaine johtaa alivaruutetuilla tutkijoilla käyttämään GPT-3-tyylisiä järjestelmiä joko täydentämään tai kokonaan luomaan uusia tieteellisiä artikkeleita.

Tutkijat päättävät kutsumalla toimittajia ja kustantajia, kuten Elsevieriä, ottamaan käyttöön tiukemmat seulontamenetelmät ja arviointiprosessit, ja laajasti arvostelevat nykyisiä standardeja ja käytäntöjä tässä suhteessa, ehdottaen, että “petos syntetisillä teksteillä uhkaa tieteellisen kirjallisuuden eheyttä”.