I den nye udgivelsesparadigme er AI uundværlig

Traditionelle udgivelsesmodeller reformeres hurtigt, efterhånden som støtten til open access fortsætter med at stige. I fjor steg indsendelserne med 30%, ifølge Springer Nature. Men denne efterspørgsel viser sig at være et tveægget sværd, da tilbagetrukne artikler har nået en rekordhøjde i det sidste årti, og tidsskrifter er oversvømmet med AI-genererede artikler og fabrikeret forskning.

Dette medfører naturligvis flaskehalse, der skader udgivere, forskere og bedømmere. Publikationer kæmper for at overholde redaktionelle tidsplaner, fordi bedømmere hastigt skal evaluere artikler, og forfattere må vente i måneder, om ikke år, på at blive udgivet. Den nuværende fagfællebedømmelsesmodel var aldrig designet til at håndtere dette efterspørgselsniveau.

Midt i dette er det afgørende at anerkende AI’s rolle som et vigtigt støtteværktøj til at styrke de eksisterende fagfællebedømmelsesprocesser og hjælpe branchen med at overvinde sine største barrierer.

Hvorfor traditionelle processer brister

Fagfællebedømmelse er ulønnet arbejde. Bedømmere donerer deres tid som en godgørende gestus over for de akademiske og videnskabelige fællesskaber. Kravene er høje, og belønningerne er mindre tiltrækkende, mens presset stiger. På grund af den stigende efterspørgsel og de overvældende belastninger accepterer færre bedømmere invitationer til at evaluere artikler. Endvidere er det en voksende udfordring for redaktører at finde bedømmere, hvilket forværrer efterslæbet og forlængerer udgivelsesplanerne.

Samtidig står akademikere over for et ‘publicer eller forsvind’ miljø. For at avancere professionelt forventes de at have offentliggjort arbejde i et stadig mere overfyldt landskab. Dette er en universel forventning verden over, og der er et pres for at skille sig ud i støjen, ud over belastningen ved at imødekomme den efterfølgende efterspørgsel. Disse faktorer ligger bag fagfællebedømmelseskrisen, hvor det nuværende system, som det er, ikke er bæredygtigt.

For at præcisere bør AI-værktøjer ikke indføres i fagfællebedømmelsesprocessen for at erstatte menneskelig dømmekraft, men snarere for at styrke den. Forfattere og redaktører forventer et vist niveau af respekt og dedikation i bedømmelsesprocessen, som man også giver forskningen.

Dog kan små fejl let gå ubemærket hen, især når bedømmere skynder sig at gennemgå et stort antal artikler. For at illustrere, en undersøgelse fandt, at i 2020 blev der brugt over 100 millioner timer – svarende til 15.000 år – på globale fagfællebedømmelser.

Det gør dog ikke disse fejl til en acceptabel norm. Det, der kan synes som en ubetydelig forglemmelse, såsom en lille fejl i data, kan skade læsernes opfattelse af forskningskvaliteten.

AI som et støtteværktøj, ikke en erstatning

AI-værktøjer markerer subtile fejl, som ellers kan overses. Citeringsfejl, manglende data og mulige overlap med eksisterende litteratur er blot nogle eksempler på små, men betydningsfulde fejl, som bedømmere kan overse.

Disse værktøjer er designet til at håndtere lavrisikopgaver, så bedømmere kan fokusere på de mere avancerede aspekter af redigering, såsom ekspertanalyse og kontekstuel vurdering. Et værktøj er begrænset til de data, det får, men en menneskelig bedømmer med specialiseret ekspertise kan sætte forskningen i en langt bredere og mere informeret kontekst. Desuden kan en algoritme ikke erstatte den subtile ræsonnement hos faglige eksperter, og den bør det heller ikke. Den kan dog lette nogle af de mindre kritiske byrder, de møder.

AI kan hjælpe bedømmere med at give klarere og mere indsigtsfuld feedback, men kun når det bruges klogt. Det kan assistere med at bekræfte citater, fremhæve metodologiske bekymringer, opdage manglende data og påpege ligheder med tidligere offentliggjort forskning. En anden grund til, at det appellerer til bedømmere, er potentialet i AI-drevet søgning til at holde dem opdateret med ny viden.

Væsentligt er, at brancheledere, såsom seniorredaktører hos Elsevier, støtter vigtigheden af balance. De ser det som et nyttigt værktøj til at forbedre bedømmelseskvaliteten, men kun når det anvendes etisk og altid under menneskelig supervision.

Håndtering af de bredere implikationer af AI-adoption

Bekymringer florerer i det akademiske fællesskab. For nylig fandt forskere, at tilstrømningen af indsendelser efter ChatGPT er steget med 42%, men skrivekvaliteten har desværre lidt. Den samme undersøgelse påpegede også bekymringer omkring, hvordan AI bruges til at informere redaktionelle beslutninger, når den anvendes i fagfællebedømmelser.

Derudover er retningslinjer og reguleringer stadig ved at indhente teknologien for at sikre, at værktøjerne bruges etisk og i moderation. Både enkeltpersoner og publikationer skal forstå de tilknyttede risici. Misbrug af disse værktøjer garanterer bias, hallucinationer, forkerte konklusioner og falske opfattelser.

Det akademiske udgivelsessamfund er også bekymret for privatliv og fortrolighed. Forfattere føler sig ofte urolige, når eksterne værktøjer integreres i bedømmelsesprocessen, især i situationer hvor forskningen indeholder følsomme data. Denne bekymring omkring potentielle lækager er forståelig i betragtning af den tid og indsats, forfattere lægger i deres forskning.

Af disse grunde er opfattelserne af AI i anmeldelsesprocessen temmelig svage. Fælles forskning fra KPMG og University of Melbourne fandt, at 46% af folk er villige til at stole på AI. Undersøgelsen viste også, at et overvældende flertal (70 %) mener, at regulering er nødvendig.

Disse faktorer skal tackles, og det kræver træning og gennemsigtighed omkring, hvordan AI anvendes, uanset i hvilket omfang det bruges i fagfællebedømmelser. Alle, der bruger AI i anmeldelsesprocessen, skal forstå de bedste fremgangsmåder og anvende kritisk tænkning gennem hele processen. Anmeldere og udgivelsesteams vil skulle opbygge deres kompetencer inden for AI og datakompetence, hvilket inkluderer evnen til at fortolke modellens adfærd, genkende begrænsninger og afbøde risici såsom hallucinationer.

Gennemsigtighed er grundlæggende for adoptionsstrategier, og publikationer samt anmeldere skal være forberedte på at tydeliggøre og begrunde brugen af AI. Rutinemæssige revisioner kan hjælpe med at bekræfte præcision og pålidelighed. Det er også afgørende, at publikationer specificerer, hvordan modeller trænes, og hvilke data der styrer dem. I akademia skal forfattere altid demonstrere deres forskningsmetoder og begrundelse. Samme niveau af åbenhed bør gælde for brugen af AI.

Sikkerheden omkring disse værktøjer kan heller ikke ignoreres. Datakryptering tilføjer et nødvendigt lag af cybersikkerhed mod tredjepartstrusler såsom potentielle hackningsforsøg. Endnu engang er revisioner en væsentlig del af at styrke sikkerheden, fordi de er designet til at opdage blinde vinkler, før de forårsager skade.

Branchen står ved en korsvej, enten ved at afvise teknologi for at holde fast i traditionelle modeller for vurdering af forskning eller ved at omfavne den. Det første betyder, at det kun er et spørgsmål om tid, før processen kollapser under efterspørgslen. Det sidste giver derimod udgivere og anmeldere mulighed for ikke blot at følge med, men også at ligge foran den stigende efterspørgsel.