Ny studie visar att människor kan lära sig att upptäcka maskingenererad text

Den ökande sofistikeringen och tillgängligheten av artificiell intelligens (AI) har väckt långvariga farhågor om dess påverkan på samhället. Den senaste generationen chatbots har bara förvärrat dessa farhågor, med farhågor om integriteten på arbetsmarknaden och spridningen av falska nyheter och desinformation. Mot bakgrund av dessa farhågor sökte en grupp forskare vid University of Pennsylvania School of Engineering and Applied Science att ge teknikanvändare möjlighet att mildra dessa risker.

Träna dig själv att känna igen AI-text

Deras peer-reviewed paper, som presenterades vid Association for the Advancement of Artificial Intelligences möte i februari 2023, visar bevis för att människor kan lära sig att se skillnaden mellan maskingenererad och mänsklig text.

Studien, ledd av Chris Callison-Burch, associate professor i avdelningen för datavetenskap och informationsvetenskap (CIS), tillsammans med doktorander Liam Dugan och Daphne Ippolito, visar att AI-genererad text är upptäckbar.

“Vi har visat att människor kan träna sig att känna igen maskingenererad text”, säger Callison-Burch. “Människor börjar med en viss uppsättning antaganden om vilka typer av fel en maskin skulle göra, men dessa antaganden är inte nödvändigtvis korrekta. Över tid, med tillräckligt många exempel och explicit instruktion, kan vi lära oss att upptäcka de typer av fel som maskiner för närvarande gör.”

Studien använder data som samlats in med hjälp av “Real or Fake Text?”, ett originalwebbaserat träningsprogram. Detta träningsprogram omvandlar den standardexperimentella metoden för upptäcktsstudier till en mer exakt återgivning av hur människor använder AI för att generera text.

I standardmetoder ombeds deltagarna att ange på ett ja- eller nej-sätt om en maskin har producerat en given text. Penn-modellen förfinar standardupptäcktsstudien till en effektiv träningsuppgift genom att visa exempel som alla börjar som mänsklig text. Varje exempel övergår sedan till genererad text, och deltagarna ombeds att markera var de tror att denna övergång börjar. Tränarna identifierar och beskriver textens funktioner som indikerar fel och får ett betyg.

Studiens resultat

Studiens resultat visar att deltagarna fick betydligt bättre betyg än vad som förväntades av en slumpmässig chans, vilket visar bevis för att AI-skapad text är, i någon mån, upptäckbar. Studien inte bara ger en lugnande, till och med spännande, framtid för vår relation med AI, utan visar också bevis för att människor kan träna sig att upptäcka maskingenererad text.

“Människor är oroliga för AI av giltiga skäl”, säger Callison-Burch. “Vår studie ger bevis för att dämpa dessa farhågor. När vi kan utnyttja vår optimism om AI-textgeneratorer, kommer vi att kunna ägna uppmärksamhet åt dessa verktygs förmåga att hjälpa oss skriva mer kreativa, mer intressanta texter.”

Dugan tillägger, “Det finns spännande positiva riktningar som du kan driva denna teknik i. Människor är fokuserade på de oroväckande exemplen, som plagiat och falska nyheter, men vi vet nu att vi kan träna oss att bli bättre läsare och skrivare.”

Studien ger ett viktigt första steg i att mildra riskerna som är förknippade med maskingenererad text. När AI fortsätter att utvecklas, måste också vår förmåga att upptäcka och navigera dess påverkan utvecklas. Genom att träna oss att känna igen skillnaden mellan mänsklig och maskingenererad text, kan vi utnyttja kraften i AI för att stödja våra kreativa processer samtidigt som vi mildrar riskerna.