AI-genereret sprog begynder at forurene videnskabelig litteratur

Forskere fra Frankrig og Rusland har offentliggjort en studie, der viser, at brugen af AI-drevne probabilistiske tekstgenereringsmodeller som GPT-3 introducerer ‘torteret sprog’, citater af ikke-eksisterende litteratur og ad hoc, ukrediteret genbrug af billeder i tidligere respektable kanaler for offentliggørelse af ny videnskabelig litteratur.

Måske er det mest bekymrende, at de studerede artikler også indeholder videnskabeligt ukorrekte eller ikke-reproducibler indhold, der præsenteres som resultater af objektiv og systematisk forskning, hvilket indikerer, at generative sprogmodeller ikke kun bruges til at støtte de begrænsede engelske færdigheder hos artiklens forfattere, men faktisk til at udføre det hårde arbejde (og, uvægerligt, til at gøre det dårligt).

Rapporten rapporten, med titlen Tortured phrases: A dubious writing style emerging in science, er blevet samlet af forskere fra Computer Science Department på University of Toulouse og Yandex-forsker Alexander Magazinov, der i øjeblikket er på Tel Aviv University.

Studiet fokuserer særligt på væksten af meningsløse AI-genererede videnskabelige publikationer i Elsevier-tidsskriftet Microprocessors and Microsystems.

Under et andet navn

Autoregressive sprogmodeller som GPT-3 er trænet på store mængder data og er designet til at paraphrasere, sammenfatte, samle og fortolke den bidragende data i kohærente generative sprogmodeller, der kan reproducere naturligt sprog og skrivemønstre, mens de bevare den oprindelige intention bag træningsdataene.

Siden sådanne rammer ofte straffes under modellens træningsfase for at tilbyde direkte og ‘ikke-absorberet’ regurgitation af de oprindelige data, søger de uvægerligt efter synonyme – selv for velkendte fraser.

De åbenbart AI-skabte/hjulpet videnskabelige indsendelser, som forskerne har fundet, indeholder et ekstraordinært højt antal mislykkede forsøg på at skabe kreative synonyme for kendte fraser i maskinlæringssektoren:

dyb neuralt netværk: ‘dybt neuralt organisation’
kunstig neuralt netværk: ‘(falsk | kunstig) neuralt organisation’
mobil netværk: ‘versatil organisation’
netværksangreb: ‘organisation (overfald | angreb)’
netværksforbindelse: ‘organisation association’
big data: ‘(enorm | kæmpe | kolossal) information’
data lager: ‘information (lager | distributionscenter)’
kunstig intelligens (AI): ‘(falsk | menneskeskabt) bevidsthed’
højpræstationsberegning: ‘eliteregning’
dis/tåge/sky beregning: ‘diseregning’
grafikprocessor (GPU): ‘designforberedningsenhed’
centralprocessor (CPU): ‘fokuserende forberedningsenhed’
arbejdsgangs motor: ‘arbejdsprocess motor’
ansigtsgenkendelse: ‘ansigtsgenkendelse’
stemmegenkendelse: ‘diskursgenkendelse’
gennemsnitlig kvadratisk fejl: ‘gennemsnitlig kvadratisk (fejl | mislykkelse)’
gennemsnitlig absolut fejl: ‘gennemsnitlig (absolut | højeste) (fejl | mislykkelse)’
signal til støj: ‘(bevægelse | flag | indikator | signal) til (larm | uro | støj)’
globale parametre: ‘verdensomspændende parametre’
tilfældig adgang: ‘(tilfældig | uregelmæssig) adgang til’
tilfældig skov: ‘(tilfældig | uregelmæssig) (skov | skovområde | frodig område)’
tilfældig værdi: ‘(tilfældig | uregelmæssig) værdi’
myrekoloni: ‘underjordisk insekt (stat | provins | område | region | bosættelse)’
myrekoloni: ‘underjordisk kryb (stat | provins | område | region | bosættelse)’
tilbageværende energi: ’tilbageværende livskraft’
kinetisk energi: ‘motor livskraft’
naiv Bayes: ‘(naiv | uskyldig | lettroende) Bayes’
personlig digital assistent (PDA): ‘personlig computeriseret samarbejdspartner’

I maj 2021 spurgte forskerne Dimensions akademiske søgemaskine efter denne type forvredet, automatiseret sprog, og tog sig af at ekskludere legitime fraser som ‘enorm information’ (som er en gyldig frase og ikke en mislykket synonym for ‘big data’). På dette tidspunkt observerede de, at Microprocessors and Microsystems havde det højeste antal forekomster af mishandlet paraphrasering.

På nuværende tidspunkt er det stadig muligt at hente (arkivsnapshot, 15/07/2021) en række videnskabelige artikler for den nonsensfrase ‘dybt neuralt organisation’ (dvs. ‘dyb neuralt netværk’), og andre i listen ovenfor giver lignende resultater.

Søgeresultater for ‘dybt neuralt organisation’ (‘dyb neuralt netværk’) på Dimensions. Kilde: https://app.dimensions.ai/

Microprocessors-tidsskriftet blev grundlagt i 1976 og omdøbt til Microprocessors and Microsystems to år senere.

Vækst i nonsenssprog

Forskerne studerede en periode, der dækkede februar 2018 til juni 2021, og observerede en stejl stigning i antallet af indsendelser over de sidste to år, og især over de sidste 6-8 måneder:

Korrelation eller årsag? Stigningen i indsendelser til Microprocessors and Microsystems-tidsskriftet synes at sammenfalde med væksten af ‘nonsens’-tekst og synonyme i åbenbart respektable indsendelser. Kilde: https://arxiv.org/pdf/2107.06751.pdf

Den endelige dataset, som samarbejderne har samlet, indeholder 1.078 fuldlængdeartikler, der er hentet via Elseviers abonnement på University of Toulouse.

Formindsket redaktionel oversigt for kinesiske videnskabelige artikler

Rapporten observerer, at tidsperioden for redaktionel vurdering af de markerede indsendelser bliver radikalt forkortet i 2021, faldende til under 40 dage; en seksdobling af den standardtid for peer-review, tydelig fra februar 2021.

Det største antal markerede artikler stammer fra forfattere med tilknytning til Fastlandskina: af 404 artikler, der er accepteret på under 30 dage, er 97,5% relateret til Kina. Omvendt, i tilfælde, hvor den redaktionelle proces oversteg 40 dage (615 artikler), udgjorde kinesiske tilknytninger kun 9,5% af denne kategori – en tidobling af uligheden.

Rapporten tilskriver infiltrationen af de markerede artikler til mangler i den redaktionelle proces og en mulig mangel på ressourcer over for en voksende mængde af indsendelser.

Forskerne formoder, at GPT-lignende generative modeller og lignende typer af sproggenereringsrammer er blevet brugt til at producere en stor del af teksten i de markerede artikler; dog gør måden, hvorpå en generativ model abstraherer sine kilder, det svært at bevise, og det primære bevis ligger i en sund fornuftsvurdering af dårlige og unødvendige synonyme og en omhyggelig undersøgelse af indsendelsens logiske sammenhæng.

Forskerne observerer yderligere, at de generative sprogmodeller, som de mener bidrager til denne flod af nonsens, er i stand til ikke kun at skabe de problematiske tekster, men også til at genkende og markere dem systematisk, på samme måde som forskerne selv har gjort manuelt. Arbejdet detaljerer en sådan implementering, der bruger GPT-2, og tilbyder en ramme for fremtidige systemer til at identificere problematiske videnskabelige indsendelser.

Forekomsten af ‘forurenet’ indsendelser er langt højere i Elsevier-tidsskriftet (72,1%) sammenlignet med andre tidsskrifter, der er studeret (13,6% maksimum).

Ikke kun semantik

Forskerne understreger, at mange af de tidsskrifter i spørgsmålet ikke kun bruger det forkerte sprog, men indeholder videnskabeligt ukorrekte udsagn, hvilket indikerer, at generative sprogmodeller ikke kun bruges til at forbedre de begrænsede sprogfærdigheder hos bidragydende forskere, men kan faktisk bruges til at formulerer en del af de centrale teorier og data i artiklen.

I andre tilfælde formoder forskerne en effektiv ‘gen-syntese’ eller ‘omformulering’ af abstraheret (og overlegen) tidligere arbejde, for at imødekomme presset på at offentliggøre regelmæssigt i akademiske forskningskulturer, og muligvis for at forbedre nationale rangeringer for global fremragende i AI-forskning, gennem ren mængde.

Meningsløs indhold i en indsendt artikel. I dette tilfælde fandt forskerne, at teksten var afledt ad hoc fra en EDN-artikel, hvor den ledsagende illustration også var lånt uden tilladelse. Gen-skabelsen af den oprindelige tekst er så ekstrem, at den bliver meningsløs.

Ved at analysere flere af de indsendte Elsevier-artikler fandt forskerne sætninger, som de ikke kunne aflede nogen mening fra; henvisninger til ikke-eksisterende litteratur; henvisninger til variable og teorier i formler, der ikke faktisk optrådte i det underliggende materiale (hvad der antyder sprog-baseret abstraktion eller ‘hallucination‘ af åbenbart faktuel data); og genbrug af billeder uden nogen anerkendelse af deres kilder (hvad forskerne kritiserer ikke fra et ophavsretsperspektiv, men snarere som en indikator for utilstrækkelig videnskabelig rigor).

Citatsvigt

De citater, der er tiltænkt at støtte argumenterne i en videnskabelig artikel, blev i mange af de markerede eksempler fundet at være ‘enten brudt eller førende til ikke-relaterede publikationer’.

Derudover indeholder henvisninger til ‘relateret arbejde’ åbenbart ofte forfattere, som forskerne mener er blevet ‘hallucineret’ af et GPT-lignende system.

Vandrende opmærksomhed

En anden svaghed ved selv de mest avancerede sprogmodeller som GPT-3 er deres tendens til at tabe fokus over en lang diskurs. Forskerne fandt, at de markerede artikler ofte bringer en sag op tidligt i artiklen, som faktisk aldrig vender tilbage efter, at den er blevet behandlet i forløbige noter eller andre steder.

De formoder også, at nogle af de værste eksempler opstår gennem multiple rejser af kilde-tekst gennem en række oversættelsesmotorer, hvor hver enkelt forvrænger meningen yderligere.

Kilder og årsager

I forsøget på at afdække, hvad der ligger bag dette fænomen, foreslår rapportens forfattere en række muligheder: at indhold fra paper mills bruges som kilde-materiale, hvilket introducerer ukorrekte oplysninger meget tidligt i en proces, der vil uundgåeligt producere yderligere ukorrekte oplysninger; at artikel-spinning-værktøjer som Spinbot bruges til at maskere plagiat; og at det overvældende pres for at offentliggøre regelmæssigt fører under-resourcede forskere til at bruge GPT-3-lignende systemer til enten at supplere eller fuldstændigt generere nye akademiske artikler.

Forskerne afslutter med en opfordring til handling for større oversigt og forbedrede standarder i et område af akademisk udgivelse, der synes at blive føde for sit eget emne – maskinlærings-systemer. De opfordrer også Elsevier og andre udgivere til at introducere mere rigorøse screenings- og gennemgangsprocedurer og kritiserer bredt nuværende standarder og praksis på dette område, idet de foreslår, at ‘Bedrag med syntetiske tekster truender integriteten af den videnskabelige litteratur.’