Nieuwe Studie Toont Aan dat Mensen Kunnen Leren Om Machine-gegenereerde Tekst te Recognizeren

De toenemende geavanceerdheid en toegankelijkheid van kunstmatige intelligentie (AI) heeft langdurige zorgen over de impact op de samenleving doen rijzen. De meest recente generatie chatbots heeft deze zorgen alleen maar verergerd, met angsten over de integriteit van de arbeidsmarkt en de verspreiding van nepnieuws en misinformatie. In het licht van deze zorgen, zocht een team van onderzoekers aan de University of Pennsylvania School of Engineering and Applied Science ernaar om technologiegebruikers te empoweren om deze risico’s te mitigeren.

Zichzelf Trainen om AI-tekst te Recognizeren

Hun peer-reviewed paper, gepresenteerd op de bijeenkomst van de Association for the Advancement of Artificial Intelligence in februari 2023, biedt bewijs dat mensen kunnen leren om het verschil te zien tussen machine-gegenereerde en door mensen geschreven tekst.

De studie, geleid door Chris Callison-Burch, Associate Professor in de afdeling Computer and Information Science (CIS), samen met Ph.D.-studenten Liam Dugan en Daphne Ippolito, toont aan dat AI-gegenereerde tekst detecteerbaar is.

“We hebben aangetoond dat mensen zichzelf kunnen trainen om machine-gegenereerde teksten te herkennen,” zegt Callison-Burch. “Mensen beginnen met een bepaalde set van aannamen over het soort fouten dat een machine zou maken, maar deze aannamen zijn niet noodzakelijkerwijs correct. Na verloop van tijd, gegeven voldoende voorbeelden en expliciete instructie, kunnen we leren om de soorten fouten te herkennen die machines op dit moment maken.”

De studie gebruikt gegevens verzameld met behulp van “Real or Fake Text?,” een originele web-gebaseerde trainingsgame. Deze trainingsgame transformeert de standaard experimentele methode voor detectiestudies in een meer accurate weergave van hoe mensen AI gebruiken om tekst te genereren.

In standaardmethoden worden deelnemers gevraagd om aan te geven of een machine een bepaalde tekst heeft gegenereerd. Het Penn-model verfijnt de standaard detectiestudie tot een effectieve trainingsopdracht door voorbeelden te laten zien die allemaal beginnen als door mensen geschreven. Elk voorbeeld gaat dan over in gegenereerde tekst, waarbij deelnemers wordt gevraagd om aan te geven waar ze denken dat deze overgang begint. Trainees identificeren en beschrijven de kenmerken van de tekst die aangeven dat er een fout is gemaakt en ontvangen een score.

Resultaten van de Studie

De resultaten van de studie laten zien dat deelnemers significant beter presteerden dan toeval, wat bewijs levert dat AI-gegenereerde tekst tot op zekere hoogte detecteerbaar is. De studie schetst niet alleen een geruststellende, zelfs spannende, toekomst voor onze relatie met AI, maar biedt ook bewijs dat mensen zichzelf kunnen trainen om machine-gegenereerde tekst te detecteren.

“Mensen zijn bezorgd over AI om geldige redenen,” zegt Callison-Burch. “Onze studie biedt punten van bewijs om deze angsten te verminderen. Zodra we onze optimisme over AI-tekstgeneratoren kunnen benutten, zullen we in staat zijn om aandacht te besteden aan de capaciteit van deze tools om ons te helpen meer imaginative, meer interessante teksten te schrijven.”

Dugan voegt eraan toe, “Er zijn spannende positieve richtingen waarin je deze technologie kunt duwen. Mensen zijn gefixeerd op de zorgwekkende voorbeelden, zoals plagiaat en nepnieuws, maar we weten nu dat we onszelf kunnen trainen om betere lezers en schrijvers te worden.”

De studie biedt een cruciale eerste stap in het mitigeren van de risico’s die verbonden zijn aan machine-gegenereerde tekst. Naarmate AI blijft evolueren, moet onze capaciteit om de impact ervan te detecteren en te navigeren ook evolueren. Door onszelf te trainen om het verschil te zien tussen door mensen geschreven en machine-gegenereerde tekst, kunnen we de kracht van AI benutten om onze creatieve processen te ondersteunen, terwijl we de risico’s mitigeren.