Ny studie viser, at mennesker kan lære at spotte maskin-genereret tekst

Den øgede sofistikation og tilgængelighed af kunstig intelligens (AI) har rejst langvarige bekymringer om dets indvirkning på samfundet. Den seneste generation af chatbots har kun forværret disse bekymringer, med frygt om jobmarkedets integritet og spredning af falske nyheder og misinformationskampagner. I lyset af disse bekymringer søgte et hold af forskere ved University of Pennsylvania School of Engineering and Applied Science at udvikle en metode til at give tech-brugere mulighed for at mindske disse risici.

Træning af dig selv til at genkende AI-tekst

Deres peer-reviewed artikel, præsenteret på mødet i Association for the Advancement of Artificial Intelligence i februar 2023, viser, at mennesker kan lære at spotte forskellen mellem maskin-genereret og menneskeskrevet tekst.

Studiet, ledet af Chris Callison-Burch, associate professor i afdelingen for computer- og informationsvidenskab (CIS), sammen med ph.d.-studerende Liam Dugan og Daphne Ippolito, viser, at AI-genereret tekst kan detekteres.

“Vi har vist, at mennesker kan træne sig selv til at genkende maskin-genereret tekst,” siger Callison-Burch. “Mennesker starter med en vis mængde antagelser om, hvilke fejl en maskine ville gøre, men disse antagelser er ikke nødvendigvis korrekte. Over tid, givet tilstrækkelige eksempler og eksplicit instruktion, kan vi lære at opdage de fejl, som maskiner i øjeblikket gør.”

Studiet bruger data indsamlet ved hjælp af “Real or Fake Text?”, et originalt web-baseret træningsspil. Dette træningsspil transformerer den standardmæssige eksperimentelle metode for detektionsstudier til en mere præcis genskabelse af, hvordan mennesker bruger AI til at generere tekst.

I standardmetoderne bedes deltagere om at angive, på en ja- eller nej-måde, om en maskine har produceret en given tekst. Penn-modellen forfiner standarddetektionsstudiet til en effektiv træningsopgave ved at vise eksempler, der alle starter som menneskeskrevet. Hver eksempel overgår herefter til genereret tekst, og deltagere bedes om at markere, hvor de mener, denne overgang begynder. Trænere identificerer og beskriver funktionerne i teksten, der indikerer fejl, og modtager en score.

Studiets resultater

Studiets resultater viser, at deltagere scorede betydeligt bedre end tilfældigt, og giver bevis for, at AI-tekst er i visse tilfælde detekterbar. Studiet ikke kun tegner et beroligende, ja, spændende, billede af vores fremtidige forhold til AI, men giver også bevis for, at mennesker kan træne sig selv til at detektere maskin-genereret tekst.

“Mennesker er bekymrede for AI af gode grunde,” siger Callison-Burch. “Vores studie giver punkter af bevis for at lette disse bekymringer. Når vi kan udnytte vores optimisme om AI-tekstgeneratorer, vil vi være i stand til at fokusere på disse værktøjers evne til at hjælpe os med at skrive mere kreative og interessante tekster.”

Dugan tilføjer, “Der er spændende positive retninger, som du kan udvikle denne teknologi i. Mennesker er fokuseret på de bekymringsvækkende eksempler, som plagiat og falske nyheder, men vi ved nu, at vi kan træne os selv til at være bedre læsere og skrivere.”

Studiet giver en afgørende første skridt i at mindske de risici, der er forbundet med maskin-genereret tekst. Da AI fortsætter med at udvikle sig, må vores evne til at detektere og navigere i dets indvirkning også udvikle sig. Ved at træne os selv til at genkende forskellen mellem menneskeskrevet og maskin-genereret tekst kan vi udnytte AI’s kraft til at støtte vores kreative processer, samtidig med at vi mindske dets risici.