Ny studie visar att människor kan lära sig att känna igen maskingenererad text

Den ökande sofistikeringen och tillgängligheten av artificiell intelligens (AI) har väckt långvariga bekymmer om dess påverkan på samhället. Den senaste generationen av chatbots har bara förvärrat dessa bekymmer, med farhågor om integriteten på arbetsmarknaden och spridningen av falska nyheter och desinformation. I ljuset av dessa bekymmer sökte en grupp forskare vid University of Pennsylvania School of Engineering and Applied Science att ge teknikanvändare möjlighet att mildra dessa risker.

Träna dig själv för att känna igen AI-text

Deras peer-reviewed paper, som presenterades vid februarimötet 2023 för Association for the Advancement of Artificial Intelligence, visar bevis för att människor kan lära sig att se skillnaden mellan maskingenererad och mänsklig text.

Studien, som lett av Chris Callison-Burch, associate professor i avdelningen för datavetenskap och informationsteknik (CIS), tillsammans med doktorander Liam Dugan och Daphne Ippolito, visar att AI-genererad text är upptäckbar.

“Vi har visat att människor kan träna sig själva för att känna igen maskingenererad text”, säger Callison-Burch. “Människor börjar med en viss uppsättning antaganden om vilka slags fel en maskin skulle göra, men dessa antaganden är inte nödvändigtvis korrekta. Över tid, med tillräckligt många exempel och explicit instruktion, kan vi lära oss att upptäcka de typer av fel som maskiner för närvarande gör.”

Studien använder data som samlats in med hjälp av “Real or Fake Text?”, ett original webbaserat träningsprogram. Detta träningsprogram omvandlar den standardiserade experimentmetoden för upptäcktsstudier till en mer exakt återgivning av hur människor använder AI för att generera text.

I standardmetoder ombeds deltagarna att ange på ett ja- eller nej-sätt om en maskin har producerat en given text. Penn-modellen förfinar den standardiserade upptäcktsstudien till en effektiv träningsuppgift genom att visa exempel som alla börjar som mänsklig text. Varje exempel övergår sedan till genererad text, och deltagarna ombeds att markera var de tror att denna övergång börjar. Tränarna identifierar och beskriver textens egenskaper som indikerar fel och får ett poäng.

Studiens resultat

Studiens resultat visar att deltagarna presterade betydligt bättre än slumpmässigt, vilket ger bevis för att AI-skapad text är, i viss mån, upptäckbar. Studien inte bara skisserar en lugnande, till och med spännande, framtid för vår relation med AI, utan ger också bevis för att människor kan träna sig själva för att upptäcka maskingenererad text.

“Människor är oroliga för AI av giltiga skäl”, säger Callison-Burch. “Vår studie ger bevis för att mildra dessa ångest. När vi kan utnyttja vår optimism om AI-textgeneratorer, kommer vi att kunna ägna uppmärksamhet åt dessa verktygs förmåga att hjälpa oss skriva mer fantasifulla, mer intressanta texter.”

Dugan tillägger, “Det finns spännande positiva riktningar som du kan driva denna teknik i. Människor är fokuserade på de oroande exemplen, som plagiat och falska nyheter, men vi vet nu att vi kan träna oss själva för att bli bättre läsare och skrivare.”

Studien ger ett avgörande första steg i att mildra riskerna som är förknippade med maskingenererad text. När AI fortsätter att utvecklas, måste också vår förmåga att upptäcka och navigera dess påverkan utvecklas. Genom att träna oss själva för att känna igen skillnaden mellan mänsklig och maskingenererad text, kan vi utnyttja AI:s kraft för att stödja våra kreativa processer samtidigt som vi mildrar dess risker.