Ny studie viser at mennesker kan lære å gjenkjenne maskin-generert tekst

Den økende sofistikerte og tilgjengelige kunstig intelligens (AI) har reist langvarige bekymringer om dens innvirkning på samfunnet. Den siste generasjonen av chatboter har bare forverret disse bekymringene, med frykt om jobbmarkedets integritet og spredning av feilinformasjon og desinformasjon. I lys av disse bekymringene, søkte et team av forskere ved University of Pennsylvania School of Engineering and Applied Science å gi teknologibrukerne mulighet til å mildne disse risikoene.

Å trene deg selv til å gjenkjenne AI-tekst

Deres peer-reviewed paper, presentert på møtet til Association for the Advancement of Artificial Intelligence i februar 2023, gir bevis for at mennesker kan lære å se forskjellen mellom maskin-generert og menneske-skrevet tekst.

Studien, ledet av Chris Callison-Burch, associate professor i avdelingen for datavitenskap og informatikk (CIS), sammen med ph.d.-studenter Liam Dugan og Daphne Ippolito, demonstrerer at AI-generert tekst er gjenkjennelig.

“Vi har vist at mennesker kan trene seg selv til å gjenkjenne maskin-generert tekst,” sier Callison-Burch. “Mennesker starter med en bestemt sett av antagelser om hva slags feil en maskin ville gjøre, men disse antagelsene er ikke nødvendigvis korrekte. Over tid, gitt nok eksempler og eksplisitt instruksjon, kan vi lære å oppdage typene feil som maskiner gjør for tiden.”

Studien bruker data samlet inn ved hjelp av “Real or Fake Text?,” et originalt web-basert treningspill. Dette treningspillet transformerer den standard eksperimentelle metoden for detekteringsstudier til en mer nøyaktig rekonstruksjon av hvordan mennesker bruker AI til å generere tekst.

I standardmetodene blir deltakerne bedt om å indikere på en ja- eller nei-måte om en maskin har produsert en gitt tekst. Penn-modellen finjusterer den standard detekteringsstudien til en effektiv treningsoppgave ved å vise eksempler som alle begynner som menneske-skrevet. Hver eksempel går deretter over til generert tekst, og deltakerne blir bedt om å markere hvor de tror denne overgangen begynner. Trenere identifiserer og beskriver tekstens egenskaper som indikerer feil og mottar en poengsum.

Resultatene av studien

Studiens resultater viser at deltakerne scoret betydelig bedre enn tilfeldig sjanse, og gir bevis for at AI-tekst er, i noen grad, gjenkjennelig. Studien ikke bare tegner et trygg, ja, spennende fremtid for vår relasjon til AI, men gir også bevis for at mennesker kan trene seg selv til å detektere maskin-generert tekst.

“Mennesker er bekymret for AI av gyldige grunner,” sier Callison-Burch. “Vår studie gir bevis for å mildne disse bekymringene. Når vi kan håndtere vår optimisme om AI-tekstgenerering, vil vi være i stand til å fokusere på disse verktøyenes evne til å hjelpe oss skrive mer imaginative, mer interessante tekster.”

Dugan legger til: “Det er spennende positive retninger som du kan drive denne teknologien i. Mennesker er fokusert på de bekymringsfulle eksemplene, som plagiat og feilinformasjon, men vi vet nå at vi kan trene oss selv til å bli bedre lesere og skrivere.”

Studien gir et kritisk første skritt i å mildne risikoene forbundet med maskin-generert tekst. Ettersom AI fortsetter å utvikle seg, må også vår evne til å detektere og navigere dens innvirkning utvikle seg. Ved å trene oss selv til å gjenkjenne forskjellen mellom menneske-skrevet og maskin-generert tekst, kan vi utnytte kraften til AI til å støtte våre kreative prosesser samtidig som vi mildner dens risiko.