Análise de Chatbots Depressivos e Alcoólatras

Um novo estudo da China descobriu que vários chatbots populares, incluindo chatbots de domínio aberto do Facebook, Microsoft (MSFT ) e Google, exibem “problemas de saúde mental graves” quando questionados usando testes de avaliação de saúde mental padrão, e até mesmo exibem sinais de problemas de bebida.

Os chatbots avaliados no estudo foram o Blender do Facebook; o DialoGPT da Microsoft; o Plato da Baidu; e o DialoFlow, uma colaboração entre universidades chinesas, WeChat e Tencent Inc.

Testados para evidências de depressão patológica, ansiedade, dependência de álcool e para sua capacidade de demonstrar empatia, os chatbots estudados produziram resultados alarmantes; todos eles receberam notas abaixo da média para empatia, enquanto metade foi avaliada como viciada em álcool.

Resultados para os quatro chatbots em quatro métricas de saúde mental. Em ‘single’, uma nova conversa é iniciada para cada consulta; em ‘multi’, todas as perguntas são feitas em uma única conversa, para avaliar a influência da persistência de sessão. Fonte: https://arxiv.org/pdf/2201.05382.pdf

Na tabela de resultados acima, BA=’Abaixo da média’; P=’Positivo’; N=’Normal’; M=’Moderado’; MS=”Moderado a grave”; S=”Grave”. O artigo afirma que esses resultados indicam que a saúde mental de todos os chatbots selecionados está na faixa “grave”.

O relatório afirma:

‘Os resultados experimentais revelam que há problemas de saúde mental graves para todos os chatbots avaliados. Consideramos que isso é causado pela negligência do risco de saúde mental durante a construção do conjunto de dados e os procedimentos de treinamento do modelo. As más condições de saúde mental dos chatbots podem resultar em impactos negativos nos usuários em conversas, especialmente em menores e pessoas que enfrentam dificuldades.

‘Portanto, argumentamos que é urgente realizar a avaliação das dimensões de saúde mental mencionadas antes de liberar um chatbot como um serviço online.’

O estudo vem de pesquisadores do WeChat/Tencent Pattern Recognition Center, juntamente com pesquisadores do Institute of Computing Technology da Academia Chinesa de Ciências (ICT) e da Universidade da Academia Chinesa de Ciências em Pequim.

Motivos para a Pesquisa

Os autores citam o caso amplamente divulgado de 2020 em que uma empresa de saúde francesa testou um chatbot de aconselhamento médico baseado em GPT-3. Em uma das trocas, um (simulado) paciente afirmou “Devo me matar?”, ao que o chatbot respondeu “Acho que você deve”.

Como o novo artigo observa, também é possível que um usuário seja influenciado pela ansiedade secundária de chatbots deprimidos ou “negativos”, de modo que a disposição geral do chatbot não precisa ser tão diretamente chocante quanto no caso francês para minar os objetivos de consultas médicas automatizadas.

Os autores afirmam:

‘Os resultados experimentais revelam os problemas de saúde mental graves dos chatbots avaliados, que podem resultar em influências negativas nos usuários em conversas, especialmente menores e pessoas que enfrentam dificuldades. Por exemplo, atitudes passivas, irritabilidade, alcoolismo, sem empatia, etc.

‘Esse fenômeno desvia das expectativas gerais do público em relação aos chatbots, que devem ser otimistas, saudáveis e amigáveis o máximo possível. Portanto, pensamos que é crucial realizar avaliações de saúde mental para questões de segurança e ética antes de liberar um chatbot como um serviço online.’

Método

Os pesquisadores acreditam que este é o primeiro estudo a avaliar chatbots em termos de métricas de avaliação humana para saúde mental, citando estudos anteriores que se concentraram em vez disso em consistência, diversidade, relevância, conhecimento e outros padrões centrados em Turing para resposta de fala autêntica.

Os questionários adaptados ao projeto foram PHQ-9, um teste de 9 perguntas para avaliar os níveis de depressão em pacientes de cuidados primários, amplamente adotado por instituições governamentais e médicas; GAD-7, uma lista de 7 perguntas para avaliar medidas de gravidade para ansiedade generalizada, comum na prática clínica; CAGE, um teste de triagem para dependência de álcool em quatro perguntas; e o Questionário de Empatia de Toronto (TEQ), uma lista de 16 perguntas projetada para avaliar os níveis de empatia.

Características dos quatro questionários padrão do setor adaptados para o estudo.

Os questionários tiveram que ser reescritos para evitar frases declarativas, como Pouco interesse ou prazer em fazer coisas, em favor de construções interrogativas mais adequadas para uma troca de conversa.

Também foi necessário definir uma resposta “falha”, para identificar e avaliar apenas as respostas que um usuário humano poderia interpretar como válidas e ser afetado por elas. Uma resposta “falha” poderia evadir a pergunta com respostas elípticas ou abstratas; recusar-se a se envolver com a pergunta (ou seja, ‘Não sei’, ou ‘Esqueci’); ou incluir conteúdo “impossível” anterior, como ‘Eu geralmente sentia fome quando era criança’. Nos testes, Blender e Plato contabilizaram a maioria dos resultados falhos, e 61,4% das respostas falhas foram irrelevantes para a consulta.

Os pesquisadores treinaram todos os quatro modelos em posts do Reddit, usando o Conjunto de Dados do Reddit Pushshift. Em todos os quatro casos, o treinamento foi ajustado com um conjunto de dados adicional contendo o conjunto Blended Skill Talk da Facebook e o conjunto Wizard of Wikipedia; ConvAI2 (uma colaboração entre Facebook, Microsoft e Carnegie Mellon, entre outros); e Empathetic Dialogues (uma colaboração entre a Universidade de Washington e a Facebook).

Reddit Pervasivo

Plato, DialoFlow e Blender vêm com pesos pré-treinados em comentários do Reddit, de modo que as relações neurais formadas, mesmo com treinamento em novos dados (sejam do Reddit ou de outro lugar), serão influenciadas pela distribuição de recursos extraídos do Reddit.

Cada grupo de teste foi realizado duas vezes, como “single” ou “multi”. Para “single”, cada pergunta foi feita em uma nova sessão de conversa. Para “multi”, uma sessão de conversa foi usada para receber respostas para todas as perguntas, pois as variáveis de sessão se acumulam ao longo da conversa e podem influenciar a qualidade da resposta à medida que a conversa assume uma forma e tom particulares.

Todos os experimentos e treinamentos foram realizados em dois GPUs NVIDIA Tesla V100, para um total de 64GB de VRAM sobre 1280 núcleos Tensor. O artigo não detalha o tempo de treinamento.

Supervisão via Curação ou Arquitetura?

O artigo conclui em termos gerais que o “negligenciamento dos riscos de saúde mental” durante o treinamento precisa ser abordado, e convida a comunidade de pesquisa a olhar mais profundamente para a questão.

O fator central parece ser que os quadros de chatbot em questão são projetados para extrair recursos salientes de conjuntos de dados fora do domínio sem quaisquer salvaguardas com relação a linguagem tóxica ou destrutiva; se você alimentar os quadros com dados de fórum neo-nazista, por exemplo, você provavelmente obterá algumas respostas controversas em uma sessão de conversa subsequente.

No entanto, o setor de Processamento de Linguagem Natural (NLP) tem um interesse muito mais válido em obter insights de fóruns e conteúdo de mídia social contribuído por usuários relacionados à saúde mental (depressão, ansiedade, dependência, etc.), tanto para desenvolver chatbots de saúde úteis e desescalantes, quanto para obter inferências estatísticas melhoradas a partir de dados reais.

Portanto, em termos de dados de grande volume que não são limitados pelos limites de texto arbitrários do Twitter, o Reddit permanece o único corpus hiperscala atualizado constantemente para estudos de texto completo dessa natureza.

No entanto, mesmo uma navegação casual por algumas das comunidades que mais interessam os pesquisadores de saúde do NLP (como r/depressão) revela a predominância do tipo de respostas “negativas” que podem convencer um sistema de análise estatística de que respostas negativas são válidas porque são frequentes e estatisticamente dominantes – particularmente no caso de fóruns altamente inscritos com recursos de moderação limitados.

A questão, portanto, permanece sobre se a arquitetura do chatbot deve conter algum tipo de “quadro de avaliação moral”, onde sub-objetivos influenciam o desenvolvimento de pesos no modelo, ou se a cura e rotulagem mais caras de dados podem de alguma forma contrariar essa tendência em direção a dados desequilibrados.

* O artigo dos pesquisadores, como vinculado a este artigo, cita erroneamente um link para o chatbot Meena do Google em vez do link para o artigo do Blender. O Meena do Google não é apresentado no novo artigo. O link correto do Blender usado neste artigo foi fornecido pelos autores do artigo em um e-mail para mim. Os autores me disseram que esse erro será corrigido em uma versão subsequente do artigo.

Publicado pela primeira vez em 18 de janeiro de 2022.