Ny studie viser, at mennesker kan lære at spotte maskin-genereret tekst

Den øgede sofistikering og tilgængelighed af kunstig intelligens (AI) har rejst langvarige bekymringer om dets indvirkning på samfundet. Den seneste generation af chatbots har kun forværret disse bekymringer, med frygt om jobmarkedets integritet og spredningen af falske nyheder og misinformationskampagner. I lyset af disse bekymringer søgte et hold af forskere ved University of Pennsylvania School of Engineering and Applied Science at udvikle teknologibrugernes evne til at mindske disse risici.

Træning af dig selv til at genkende AI-tekst

Deres peer-reviewed artikel, præsenteret på Association for the Advancement of Artificial Intelligences møde i februar 2023, giver bevis for, at mennesker kan lære at spotte forskellen mellem maskin-genereret og menneskeskrevet tekst.

Studiet, ledet af Chris Callison-Burch, associate professor i afdelingen for datalogi og informationsvidenskab (CIS), sammen med ph.d.-studerende Liam Dugan og Daphne Ippolito, viser, at AI-genereret tekst kan genkendes.

“Vi har vist, at mennesker kan træne sig selv til at genkende maskin-genereret tekst,” siger Callison-Burch. “Mennesker starter med en vis mængde antagelser om, hvilke fejl en maskine ville gøre, men disse antagelser er ikke nødvendigvis korrekte. Over tid, med tilstrækkeligt mange eksempler og eksplicit vejledning, kan vi lære at opdage de fejl, som maskinerne i øjeblikket gør.”

Studiet bruger data indsamlet ved hjælp af “Real or Fake Text?”, et originalt web-baseret træningsspil. Dette træningsspil omdanner den standardmæssige eksperimentelle metode for detektionsstudier til en mere præcis genskabelse af, hvordan mennesker bruger AI til at generere tekst.

I standardmetoderne bedes deltagere om at angive på en ja- eller nej-måde, om en maskine har produceret en given tekst. Penn-modellen forfiner standarddetektionsstudiet til en effektiv træningsopgave ved at vise eksempler, der alle starter som menneskeskrevet. Hver eksempel overgår derefter til genereret tekst, og deltagere bedes om at markere, hvor de mener, denne overgang begynder. Trænere identificerer og beskriver tekstens funktioner, der indikerer fejl, og modtager en score.

Studiets resultater

Studiets resultater viser, at deltagere opnåede betydeligt bedre resultater end tilfældigt, og giver bevis for, at AI-tekst er i vis udstrækning genkendelig. Studiet ikke kun tegner en beroligende, ja, spændende fremtid for vores forhold til AI, men giver også bevis for, at mennesker kan træne sig selv til at genkende maskin-genereret tekst.

“Mennesker er bekymrede for AI af gyldige årsager,” siger Callison-Burch. “Vores studie giver bevis for at lette disse bekymringer. Når vi kan udnytte vores optimisme om AI-tekstgeneratorer, vil vi være i stand til at fokusere på disse værktøjers evne til at hjælpe os med at skrive mere kreative, mere interessante tekster.”

Dugan tilføjer, “Der er spændende positive retninger, som du kan udvikle denne teknologi i. Mennesker er fokuseret på de bekymringsvækkende eksempler, som plagiarism og falske nyheder, men vi ved nu, at vi kan træne os selv til at blive bedre læsere og skrivere.”

Studiet giver et afgørende første skridt i at mindske de risici, der er forbundet med maskin-genereret tekst. Da AI fortsætter med at udvikle sig, skal vores evne til at genkende og navigere i dets indvirkning også udvikle sig. Ved at træne os selv til at genkende forskellen mellem menneskeskrevet og maskin-genereret tekst kan vi udnytte AI’s kraft til at støtte vores kreative processer, samtidig med at vi mindske risiciene.