Ny studie viser at mennesker kan lære å skille maskin-generert tekst fra menneske-skrevet tekst

Den økende sofistikeringen og tilgjengeligheten av kunstig intelligens (AI) har reist langvarige bekymringer om dens innvirkning på samfunnet. Den siste generasjonen av chatbots har bare forverret disse bekymringene, med frykt om jobbmarkedets integritet og spredning av feilaktig nyheter og desinformasjon. I lys av disse bekymringene, søkte et team av forskere ved University of Pennsylvania School of Engineering and Applied Science å gi teknologibrukerne mulighet til å mildne disse risikoene.

Å trene deg selv til å gjenkjenne AI-tekst

Deres peer-reviewed paper, presentert på møtet til Association for the Advancement of Artificial Intelligence i februar 2023, gir bevis for at mennesker kan lære å skille mellom maskin-generert og menneske-skrevet tekst.

Studien, ledet av Chris Callison-Burch, associate professor i Department of Computer and Information Science (CIS), sammen med ph.d.-studenter Liam Dugan og Daphne Ippolito, demonstrerer at AI-generert tekst er gjenkjennelig.

“Vi har vist at mennesker kan trene seg selv til å gjenkjenne maskin-generert tekst,” sier Callison-Burch. “Mennesker starter med en bestemt sett av antagelser om hva slags feil en maskin ville gjøre, men disse antagelsene er ikke nødvendigvis korrekte. Over tid, gitt nok eksempler og eksplisitt instruksjon, kan vi lære å oppdage typene feil som maskiner gjør for tiden.”

Studien bruker data samlet inn ved hjelp av “Real or Fake Text?,” et originalt web-basert treningspill. Dette treningspillet transformerer den standard eksperimentelle metoden for detekteringsstudier til en mer nøyaktig rekonstruksjon av hvordan mennesker bruker AI til å generere tekst.

I standardmetodene blir deltakerne bedt om å indikere på en ja- eller nei-måte om en maskin har produsert en gitt tekst. Penn-modellen finjusterer den standard detekteringsstudien til en effektiv treningsoppgave ved å vise eksempler som alle begynner som menneske-skrevet. Hvert eksempel går deretter over til generert tekst, og deltakerne blir bedt om å merke hvor de tror denne overgangen begynner. Trenere identifiserer og beskriver tekstens egenskaper som indikerer feil og mottar en poengsum.

Resultatene av studien

Studiens resultater viser at deltakerne scoret betydelig bedre enn tilfeldig sjanse, og gir bevis for at AI-tekst er i noen grad gjenkjennelig. Studien ikke bare tegner et trøstende, ja, spennende fremtid for vår relasjon med AI, men gir også bevis for at mennesker kan trene seg selv til å detektere maskin-generert tekst.

“Mennesker er bekymret for AI av gyldige grunner,” sier Callison-Burch. “Vår studie gir bevis for å lettet disse bekymringene. Når vi kan utnytte vår optimisme om AI-tekstgenerering, vil vi kunne bruke oppmerksomheten vår på disse verktøyens kapasitet til å hjelpe oss å skrive mer fantasifulle, mer interessante tekster.”

Dugan legger til: “Det er spennende positive retninger du kan drive denne teknologien i. Mennesker er fokusert på de bekymringsfulle eksemplene, som plagiat og feilaktig nyheter, men vi vet nå at vi kan trene oss selv til å bli bedre lesere og skrivere.”

Studien gir et kritisk første skritt i å mildne risikoene forbundet med maskin-generert tekst. Etterhvert som AI fortsetter å utvikle seg, må også vår evne til å detektere og navigere dens innvirkning utvikle seg. Ved å trene oss selv til å gjenkjenne forskjellen mellom menneske-skrevet og maskin-generert tekst, kan vi utnytte kraften til AI til å støtte våre kreative prosesser samtidig som vi mildner risikoene.