Novo Estudo Mostra que as Pessoas Podem Aprender a Identificar Textos Gerados por Máquina

A crescente sofisticação e acessibilidade da inteligência artificial (IA) levantou preocupações de longa data sobre seu impacto na sociedade. A última geração de chatbots apenas exacerbou essas preocupações, com medos sobre a integridade do mercado de trabalho e a propagação de notícias falsas e desinformação. Em face dessas preocupações, uma equipe de pesquisadores da Escola de Engenharia e Ciência Aplicada da Universidade da Pensilvânia buscou empoderar os usuários de tecnologia para mitigar esses riscos.

Treinando-se para Reconhecer Textos de IA

Seu artigo revisado por pares, apresentado na reunião de fevereiro de 2023 da Associação para o Avanço da Inteligência Artificial, fornece evidências de que as pessoas podem aprender a identificar a diferença entre textos gerados por máquina e textos escritos por humanos.

O estudo, liderado por Chris Callison-Burch, Professor Associado no Departamento de Ciência da Computação e Informação (CIS), junto com os estudantes de doutorado Liam Dugan e Daphne Ippolito, demonstra que o texto gerado por IA é detectável.

“Mostramos que as pessoas podem se treinar para reconhecer textos gerados por máquina”, diz Callison-Burch. “As pessoas começam com um conjunto de suposições sobre os tipos de erros que uma máquina cometeria, mas essas suposições não são necessariamente corretas. Com o tempo, dado um número suficiente de exemplos e instruções explícitas, podemos aprender a identificar os tipos de erros que as máquinas estão cometendo atualmente.”

O estudo utiliza dados coletados usando “Texto Real ou Falso?”, um jogo de treinamento baseado na web original. Esse jogo de treinamento transforma o método experimental padrão para estudos de detecção em uma reprodução mais precisa de como as pessoas usam a IA para gerar textos.

Em métodos padrão, os participantes são solicitados a indicar de forma sim ou não se uma máquina produziu um texto determinado. O modelo da Pensilvânia refina o estudo de detecção padrão em uma tarefa de treinamento eficaz, mostrando exemplos que começam como textos escritos por humanos. Cada exemplo, em seguida, transita para texto gerado, solicitando aos participantes que marquem onde acreditam que essa transição começa. Os treinados identificam e descrevem as características do texto que indicam erro e recebem uma pontuação.

Resultados do Estudo

Os resultados do estudo mostram que os participantes obtiveram pontuações significativamente melhores do que a chance aleatória, fornecendo evidências de que o texto criado por IA é, em certa medida, detectável. O estudo não apenas esboça um futuro reconfortante, até animador, para nossa relação com a IA, mas também fornece evidências de que as pessoas podem se treinar para detectar textos gerados por máquina.

“As pessoas estão ansiosas com a IA por razões válidas”, diz Callison-Burch. “Nosso estudo fornece pontos de evidência para aliviar essas ansiedades. Uma vez que possamos aproveitar nosso otimismo sobre os geradores de texto de IA, seremos capazes de dedicar atenção à capacidade dessas ferramentas de nos ajudar a escrever textos mais imaginativos e interessantes.”

Dugan acrescenta, “Há direções positivas excitantes que você pode impulsionar essa tecnologia. As pessoas estão fixadas nos exemplos preocupantes, como plágio e notícias falsas, mas agora sabemos que podemos nos treinar para sermos melhores leitores e escritores.”

O estudo fornece um passo crucial para mitigar os riscos associados a textos gerados por máquina. À medida que a IA continua a evoluir, também deve evoluir nossa capacidade de detectar e navegar seu impacto. Ao nos treinarmos para reconhecer a diferença entre textos escritos por humanos e textos gerados por máquina, podemos aproveitar o poder da IA para apoiar nossos processos criativos, mitigando seus riscos.