AI-genererad språk börjar förorena vetenskaplig litteratur

Forskare från Frankrike och Ryssland har publicerat en studie som visar att användningen av AI-drivna probabilistiska textgeneratorer som GPT-3 introducerar “plågat språk”, citering av icke-existerande litteratur och ad hoc, ocrediterad återanvändning av bilder i tidigare respektabla kanaler för publicering av ny vetenskaplig litteratur.

Kanske det som är mest oroväckande är att de studerade artiklarna också innehåller vetenskapligt inkorrekt eller icke-reproducerabart innehåll som presenteras som resultat av objektiv och systematisk forskning, vilket indikerar att generativa språkmodeller används inte bara för att förbättra de begränsade engelska färdigheterna hos artiklarnas författare, utan också för att utföra det hårda arbetet som är involverat (och, ofta, för att göra det dåligt).

Rapporten, som heter Plågade fraser: En tvivelaktig skrivstil som växer fram inom vetenskapen, har sammanställts av forskare från datavetenskapsavdelningen vid Universitetet i Toulouse och Yandex-forskaren Alexander Magazinov, som för närvarande är verksam vid Tel Aviv Universitet.

Studien fokuserar särskilt på tillväxten av meningslösa AI-genererade vetenskapliga publikationer i Elseviers tidskrift Mikroprocessorer och mikrosystem.

Med ett annat namn

Autoregressiva språkmodeller som GPT-3 tränas på stora mängder data och är utformade för att parafrasera, sammanfatta, samla och tolka den bidragande datan till koherenta generativa språkmodeller som kan reproducera naturliga tal- och skrivmönster, samtidigt som de behåller den ursprungliga avsikten med träningsdatan.

Sedan sådana ramverk ofta bestraffas under modellträningsstadiet för att erbjuda direkt och “icke-absorberad” återgivning av den ursprungliga datan, söker de oundvikligen efter synonymer – även för etablerade fraser.

De tydligen AI-skapade/hjälpta vetenskapliga inlämningshandlingarna som forskarna grävt fram innehåller ett anmärkningsvärt stort antal misslyckade försök att skapa kreativa synonymer för kända fraser inom maskinlärningssektorn:

djup neural nätverk: ‘djup neural organisation’
konstgjord neural nätverk: ‘(falsk | konstgjord) neural organisation’
mobil nätverk: ‘flexibel organisation’
nätverksattack: ‘organisation (överfall | anfall)’
nätverksanslutning: ‘organisation associering’
stordata: ‘(enorm | stor | enorm | kolossal) information’
datawarehouse: ‘information (lager | distributionscenter)’
konstgjord intelligens (AI): ‘(falsk | människoskapad) medvetande’
högpresterande beräkning: ‘elitberäkning’
dimma/dislighet/molnberäkning: ‘disberäkning’
grafikprocessorenhet (GPU): ‘designförberedelseenhet’
centralprocessorenhet (CPU): ‘fokuserad förberedelseenhet’
arbetsflödesmotor: ‘arbetsprocessmotor’
ansiktsigenkänning: ‘ansiktsbekräftelse’
röstigenkänning: ‘talbekräftelse’
medelkvadratfel: ‘medelkvadrat (misstag | felslut)’
medelabsolut fel: ‘medel (utslag | yttersta) (misstag | felslut)’
signal till brus: ‘(rörelse | flagga | indikator | tecken | signal) till (larm | uppståndelse | brus)’
globala parametrar: ‘globala parametrar’
slumpmässig åtkomst: ‘(godtycklig | oregelbunden) åtkomst’
slumpmässig skog: ‘(godtycklig | oregelbunden) (skog | skogsområde | lummigt område)’
slumpmässigt värde: ‘(godtycklig | oregelbunden) värdering’
myrkoloni: ‘underjordisk insekt (stat | provins | område | region | bosättning)’
myrkoloni: ‘underjordisk krypande (stat | provins | område | region | bosättning)’
kvarvarande energi: ‘återstående livskraft’
kinetisk energi: ‘rörelseenergi’
naiv Bayes: ‘(troende | oskyldig | lättlurad) Bayes’
personlig digital assistent (PDA): ‘personlig datoriserad medarbetare’

I maj 2021 frågade forskarna Dimensions akademiska sökmotor efter den här typen av förvanskad, automatiserad språk, och tog hand om att utesluta legitima fraser som “enorm information” (som är en giltig fras och inte en misslyckad synonym för “stordata”). Vid den här tidpunkten observerade de att Mikroprocessorer och mikrosystem hade det högsta antalet förekomster av misskött parafraser.

För närvarande är det fortfarande möjligt att hämta (arkivsnapshot, 15/07/2021) ett antal vetenskapliga artiklar för den meningslösa frasen “djup neural organisation” (dvs. “djup neural nätverk”), och andra i listan ovan ger liknande träffar.

Sökresultat för ‘djup neural organisation’ (‘djup neural nätverk’) i Dimensions. Källa: https://app.dimensions.ai/

Tidskriften Mikroprocessorer grundades 1976 och bytte namn till Mikroprocessorer och mikrosystem två år senare.

Tillväxt av meningslös språk

Forskarna studerade en period som omfattade februari 2018 till juni 2021, och observerade en brant ökning av volymen av inlämningshandlingar under de senaste två åren, och särskilt under de senaste 6-8 månaderna:

Korrelation eller orsakssamband? Ökningen av inlämningshandlingar till tidskriften Mikroprocessorer och mikrosystem tycks sammanfalla med tillväxten av ‘meningslös’ text och synonymer i tydligen respektabla inlämningshandlingar. Källa: https://arxiv.org/pdf/2107.06751.pdf

Den slutliga datamängden som samlades in av samarbetspartners innehåller 1 078 fullständiga artiklar som erhållits via Elseviers prenumeration vid Universitetet i Toulouse.

Minskad redaktionell granskning för kinesiska vetenskapliga artiklar

Rapporten observerar att den tid som tilldelats för redaktionell bedömning av de flaggade inlämningshandlingarna blir radikalt förkortad 2021, och faller till under 40 dagar; en sexfaldig minskning av den standardtid som krävs för peer review, tydlig från och med februari 2021.

Det största antalet flaggade artiklar kommer från författare med anknytning till Fastlandskina: av 404 artiklar som accepterades på under 30 dagar var 97,5% Kina-relaterade. Omvänt, i de fall där den redaktionella processen översteg 40 dagar (615 artiklar), utgjorde Kina-anknutna inlämningshandlingar endast 9,5% av den kategorin – en tiofaldig obalans.

Rapporten tillskriver infiltrationen av de flaggade artiklarna brister i den redaktionella processen, och en möjlig brist på resurser i mötet med en växande mängd inlämningshandlingar.

Forskarna hypoteserar att GPT-liknande generativa modeller, och liknande typer av språkgenereringsramverk, har använts för att producera en stor del av texten i de flaggade artiklarna; dock gör sättet som en generativ modell abstraherar sina källor det svårt att bevisa, och det främsta beviset ligger i en sunda förnuftets utvärdering av dåliga och onödiga synonymer, och en noggrann granskning av inlämningshandlingens logiska sammanhang.

Forskarna observerar vidare att de generativa språkmodellerna som de tror bidrar till denna flod av meningslös text inte bara kan skapa de problematiska texterna, utan också känna igen och flagga dem systematiskt, på samma sätt som forskarna själva har gjort manuellt. Arbetet presenterar en sådan implementering, med användning av GPT-2, och erbjuder ett ramverk för framtida system för att identifiera problematiska vetenskapliga inlämningshandlingar.

Förekomsten av “förorenade” inlämningshandlingar är betydligt högre i Elseviers tidskrift (72,1%) jämfört med andra tidskrifter som studerats (13,6% som högst).

Inte bara semantik

Forskarna betonar att många av de tidskrifter som är i fråga inte bara använder felaktigt språk, utan innehåller vetenskapligt inkorrekta uttalanden, vilket indikerar att generativa språkmodeller inte bara används för att förbättra de begränsade språkfärdigheterna hos bidragande forskare, utan också för att formulera åtminstone en del av de centrala teorierna och data i artikeln.

I andra fall antar forskarna en effektiv “omformulering” eller “omskrivning” av abstraherad (och överlägsen) tidigare arbete, i syfte att möta trycket av “publicera eller dö” inom akademisk forskning, och möjligen för att förbättra nationella rankingar för global överlägsenhet inom AI-forskning, genom ren volym.

Meningslös innehåll i en inlämnad artikel. I det här fallet fann forskarna att texten hade hämtats, ad hoc, från en EDN-artikel, där den medföljande illustrationen också hade stulits utan angivande av källa. Omformuleringen av den ursprungliga texten var så extrem att den blev meningslös.

Vid analys av flera av de inlämnade Elsevier-artiklarna fann forskarna meningar som de inte kunde tolka; hänvisningar till icke-existerande litteratur; hänvisningar till variabler och teorier i formler som inte faktiskt fanns i det understödjande materialet (vilket antyder språkbaserad abstraktion, eller “hallucination” av tydligen faktiska data); och återanvändning av bilder utan erkännande av deras källor (vilket forskarna kritiserar inte från ett upphovsrättsligt perspektiv, utan snarare som en indikator på bristande vetenskaplig nogrannhet).

Citathaveri

Citationerna som avsåg att stödja argumenten i en vetenskaplig artikel visade sig i många av de flaggade exemplen vara “antingen trasiga eller leder till orelaterade publikationer”.

Dessutom innehåller hänvisningar till “relaterat arbete” ofta författare som forskarna tror har “hallucinerats” av ett GPT-liknande system.

Avvandande uppmärksamhet

En annan brist hos även de mest avancerade språkmodellerna som GPT-3 är deras tendens att förlora fokus över en lång diskurs. Forskarna fann att de flaggade artiklarna ofta tar upp ett ämne tidigt i artikeln som aldrig återkommer efter att det först nämns i preliminära anteckningar eller på annat sätt.

De teoriserar också att vissa av de värsta exemplen sker genom flera resor av källtexten genom en serie översättningsmotorer, var och en som förvränger meningen ytterligare.

Källor och orsaker

I försöket att förstå vad som ligger bakom detta fenomen föreslår rapportens författare ett antal möjligheter: att innehåll från “papperskvarnar” används som källmaterial, vilket introducerar fel redan från början i en process som oundvikligen kommer att producera ytterligare fel; att artikelsnurra-verktyg som Spinbot används för att maskera plagiat; och att trycket att publicera regelbundet leder underresurserade forskare att använda GPT-3-liknande system för att antingen komplettera eller helt generera nya akademiska artiklar.

Forskarna avslutar med en uppmaning till ökad granskning och förbättrade standarder inom ett område av akademisk publicering som tycks bli underlag för sitt eget ämne – maskinlärningssystem. De uppmanar också Elsevier och andra förlag att införa mer rigorösa gransknings- och granskningförfaranden, och kritiserar breda standarder och metoder i detta avseende, och föreslår att “bedrägeri med syntetiska texter hotar integriteten i den vetenskapliga litteraturen”.