Nuovo studio dimostra che le persone possono imparare a riconoscere il testo generato dalle macchine

L’aumento della sofisticazione e dell’accessibilità dell’intelligenza artificiale (AI) ha sollevato preoccupazioni di lunga data sul suo impatto sulla società. L’ultima generazione di chatbot ha solo exacerbato queste preoccupazioni, con timori sulla integrità del mercato del lavoro e la diffusione di notizie false e disinformazione. Alla luce di queste preoccupazioni, un team di ricercatori della University of Pennsylvania School of Engineering and Applied Science ha cercato di potenziare gli utenti di tecnologia per mitigare questi rischi.

Addestrarsi a riconoscere il testo AI

Il loro articolo peer-reviewed, presentato alla riunione di febbraio 2023 dell’Association for the Advancement of Artificial Intelligence, fornisce prove che le persone possono imparare a riconoscere la differenza tra testo generato dalle macchine e testo scritto da esseri umani.

Lo studio, guidato da Chris Callison-Burch, Associate Professor nel Dipartimento di Computer e Scienza dell’Informazione (CIS), insieme agli studenti di dottorato Liam Dugan e Daphne Ippolito, dimostra che il testo generato dall’AI è rilevabile.

“Abbiamo dimostrato che le persone possono addestrarsi a riconoscere i testi generati dalle macchine”, afferma Callison-Burch. “Le persone iniziano con un certo insieme di ipotesi su quali errori una macchina potrebbe fare, ma queste ipotesi non sono necessariamente corrette. Nel tempo, con abbastanza esempi e istruzioni esplicite, possiamo imparare a riconoscere i tipi di errori che le macchine stanno attualmente facendo.”

Lo studio utilizza dati raccolti utilizzando “Real or Fake Text?”, un gioco di addestramento web-based originale. Questo gioco di addestramento trasforma il metodo sperimentale standard per gli studi di rilevamento in una ricostruzione più precisa di come le persone utilizzano l’AI per generare testo.

In metodi standard, i partecipanti sono invitati a indicare in modo yes-or-no se una macchina ha prodotto un dato testo. Il modello di Penn raffina lo studio di rilevamento standard in un compito di addestramento efficace mostrando esempi che iniziano tutti come testo scritto da esseri umani. Ogni esempio si trasforma poi in testo generato, chiedendo ai partecipanti di segnalare dove credono che questo passaggio inizi. I partecipanti identificano e descrivono le caratteristiche del testo che indicano errori e ricevono un punteggio.

Risultati dello studio

I risultati dello studio mostrano che i partecipanti hanno ottenuto punteggi significativamente migliori del caso casuale, fornendo prove che il testo creato dall’AI è, in qualche misura, rilevabile. Lo studio non solo delinea un futuro rassicurante, anche emozionante, per la nostra relazione con l’AI, ma fornisce anche prove che le persone possono addestrarsi a rilevare il testo generato dalle macchine.

“Le persone sono ansiose per l’AI per ragioni valide”, afferma Callison-Burch. “Il nostro studio fornisce punti di evidenza per alleviare queste ansie. Una volta che possiamo sfruttare il nostro ottimismo sui generatori di testo AI, saremo in grado di dedicare attenzione alla capacità di questi strumenti di aiutarci a scrivere testi più immaginativi, più interessanti.”

Dugan aggiunge, “Ci sono direzioni positive emozionanti che puoi spingere in questa tecnologia. Le persone sono ossessionate dagli esempi preoccupanti, come il plagio e le notizie false, ma adesso sappiamo che possiamo addestrarci a essere lettori e scrittori migliori.”

Lo studio fornisce un passo cruciale per mitigare i rischi associati al testo generato dalle macchine. Man mano che l’AI continua a evolversi, così deve fare anche la nostra capacità di rilevare e navigare nel suo impatto. Addestrandoci a riconoscere la differenza tra testo scritto da esseri umani e testo generato dalle macchine, possiamo sfruttare il potere dell’AI per supportare i nostri processi creativi mentre mitigiamo i suoi rischi.