Nouvelle étude montre que les personnes peuvent apprendre à détecter le texte généré par machine

L’augmentation de la sophistication et de l’accessibilité de l’intelligence artificielle (AI) a soulevé des préoccupations de longue date quant à son impact sur la société. La dernière génération de chatbots n’a fait qu’exacerber ces préoccupations, avec des craintes concernant l’intégrité du marché du travail et la propagation de fausses nouvelles et de désinformation. À la lumière de ces préoccupations, une équipe de chercheurs de la School of Engineering and Applied Science de l’Université de Pennsylvanie a cherché à habiliter les utilisateurs de technologie à atténuer ces risques.

Formation pour reconnaître le texte AI

Leur article examiné par des pairs, présenté à la réunion de février 2023 de l’Association pour l’avancement de l’intelligence artificielle, fournit des preuves que les personnes peuvent apprendre à détecter la différence entre le texte généré par machine et le texte écrit par l’homme.

L’étude, menée par Chris Callison-Burch, professeur agrégé au département de l’informatique et des sciences de l’information (CIS), ainsi que les étudiants en doctorat Liam Dugan et Daphne Ippolito, démontre que le texte généré par AI est détectable.

“Nous avons montré que les personnes peuvent se former pour reconnaître les textes générés par machine”, déclare Callison-Burch. “Les gens commencent avec un certain ensemble d’hypothèses sur les types d’erreurs qu’une machine ferait, mais ces hypothèses ne sont pas nécessairement correctes. Au fil du temps, avec suffisamment d’exemples et d’instructions explicites, nous pouvons apprendre à détecter les types d’erreurs que les machines commettent actuellement.”

L’étude utilise des données collectées à l’aide de « Real or Fake Text? », un jeu de formation en ligne original. Ce jeu de formation transforme la méthode expérimentale standard pour les études de détection en une reproduction plus précise de la façon dont les gens utilisent l’AI pour générer du texte.

Dans les méthodes standard, les participants sont invités à indiquer de manière oui/non si une machine a produit un texte donné. Le modèle de Penn affine la méthode de détection standard en une tâche de formation efficace en montrant des exemples qui commencent tous comme du texte écrit par l’homme. Chaque exemple passe ensuite à du texte généré, en demandant aux participants de marquer où ils pensent que cette transition commence. Les stagiaires identifient et décrivent les caractéristiques du texte qui indiquent une erreur et reçoivent un score.

Résultats de l’étude

Les résultats de l’étude montrent que les participants ont obtenu des scores significativement meilleurs que le hasard, fournissant des preuves que le texte créé par l’AI est, dans une certaine mesure, détectable. L’étude ne présente pas seulement un avenir rassurant, voire excitant, pour notre relation avec l’AI, mais fournit également des preuves que les personnes peuvent se former pour détecter le texte généré par machine.

“Les gens sont anxieux à propos de l’AI pour des raisons valables”, déclare Callison-Burch. “Notre étude fournit des points de preuve pour atténuer ces anxiétés. Une fois que nous pouvons exploiter notre optimisme à l’égard des générateurs de texte AI, nous serons en mesure de consacrer notre attention à la capacité de ces outils à nous aider à écrire des textes plus imaginatifs, plus intéressants.”

Dugan ajoute : “Il y a des directions positives excitantes que vous pouvez pousser cette technologie. Les gens sont fixés sur les exemples inquiétants, comme le plagiat et les fausses nouvelles, mais nous savons maintenant que nous pouvons nous former pour être de meilleurs lecteurs et rédacteurs.”

L’étude constitue une première étape cruciale pour atténuer les risques associés au texte généré par machine. À mesure que l’AI continue d’évoluer, notre capacité à détecter et à naviguer dans son impact doit également évoluer. En nous formant pour reconnaître la différence entre le texte écrit par l’homme et le texte généré par machine, nous pouvons exploiter le pouvoir de l’AI pour soutenir nos processus créatifs tout en atténuant ses risques.