Nieuwe studie toont aan dat mensen kunnen leren om machine-gegenereerde tekst te herkennen

De toenemende geavanceerdheid en toegankelijkheid van kunstmatige intelligentie (AI) heeft langdurige zorgen over de impact op de samenleving opgeroepen. De meest recente generatie chatbots heeft deze zorgen alleen maar verergerd, met vrees voor de integriteit van de arbeidsmarkt en de verspreiding van nepnieuws en desinformatie. In het licht van deze zorgen, heeft een team van onderzoekers aan de University of Pennsylvania School of Engineering and Applied Science geprobeerd om technologiegebruikers te empoweren om deze risico’s te mitigeren.

Zelf trainen om AI-tekst te herkennen

Hun peer-reviewed paper, gepresenteerd op de vergadering van de Association for the Advancement of Artificial Intelligence in februari 2023, biedt bewijs dat mensen kunnen leren om het verschil te zien tussen machine-gegenereerde en door mensen geschreven tekst.

De studie, geleid door Chris Callison-Burch, Associate Professor in de afdeling Computer and Information Science (CIS), samen met Ph.D.-studenten Liam Dugan en Daphne Ippolito, toont aan dat AI-gegenereerde tekst detecteerbaar is.

“We hebben aangetoond dat mensen zichzelf kunnen trainen om machine-gegenereerde teksten te herkennen,” zegt Callison-Burch. “Mensen beginnen met een bepaalde set van aannamen over het soort fouten dat een machine zou maken, maar deze aannamen zijn niet noodzakelijkerwijs correct. Over tijd, met voldoende voorbeelden en expliciete instructie, kunnen we leren om de soorten fouten te herkennen die machines op dit moment maken.”

De studie gebruikt gegevens die zijn verzameld met behulp van “Real or Fake Text?,” een originele web-gebaseerde trainingsgame. Deze trainingsgame transformeert de standaard experimentele methode voor detectiestudies in een meer accurate weergave van hoe mensen AI gebruiken om tekst te genereren.

In standaardmethoden worden deelnemers gevraagd om aan te geven of een machine een bepaalde tekst heeft gegenereerd. Het Penn-model verfijnt de standaard detectiestudie tot een effectieve trainingsopdracht door voorbeelden te laten zien die allemaal beginnen als door mensen geschreven. Elk voorbeeld gaat dan over in gegenereerde tekst, waarbij deelnemers worden gevraagd om aan te geven waar ze denken dat deze overgang begint. Trainees identificeren en beschrijven de kenmerken van de tekst die fouten aangeven en ontvangen een score.

Resultaten van de studie

De resultaten van de studie laten zien dat deelnemers significant beter presteerden dan toeval, wat bewijs levert dat AI-gegenereerde tekst tot op zekere hoogte detecteerbaar is. De studie biedt niet alleen een bemoedigende, zelfs opwindende, toekomst voor onze relatie met AI, maar biedt ook bewijs dat mensen zichzelf kunnen trainen om machine-gegenereerde tekst te detecteren.

“Mensen zijn bezorgd over AI om geldige redenen,” zegt Callison-Burch. “Onze studie biedt punten van bewijs om deze bezorgdheden te verminderen. Zodra we onze optimisme over AI-tekstgeneratoren kunnen benutten, zullen we in staat zijn om aandacht te besteden aan de capaciteit van deze tools om ons te helpen meer imaginative, meer interessante teksten te schrijven.”

Dugan voegt toe: “Er zijn opwindende positieve richtingen waarin je deze technologie kunt duwen. Mensen zijn gefixeerd op de bezorgde voorbeelden, zoals plagiaat en nepnieuws, maar we weten nu dat we onszelf kunnen trainen om betere lezers en schrijvers te worden.”

De studie biedt een cruciale eerste stap in het mitigeren van de risico’s die geassocieerd zijn met machine-gegenereerde tekst. Naarmate AI blijft evolueren, moet onze capaciteit om de impact ervan te detecteren en te navigeren ook evolueren. Door onszelf te trainen om het verschil te herkennen tussen door mensen geschreven en machine-gegenereerde tekst, kunnen we de kracht van AI benutten om onze creatieve processen te ondersteunen, terwijl we de risico’s ervan mitigeren.