Gráficos Flashy Podem Tornar Pesquisas ‘Malignas’ Confiáveis

Pesquisas recentes descobriram que empilhar gráficos elaborados e complexos pode fazer com que as pessoas confiem em decisões tendenciosas de IA, mesmo quando elas são claramente injustas.

Embora a prática de “cegar alguém com ciência” preceda significativamente a atual era de IA, é argumentável que está sendo aperfeiçoada nessa era – não menos porque o recente crescimento de submissões de artigos científicos tornou a relação sinal-ruído desfavorável, e “truques baratos” são arguivelmente mais comuns.

Fiel ao antigo provérbio “mentiras, mentiras danadas e estatísticas”, a ferramenta central usada para enganar ou enganar leitores, ao apresentar novos sistemas e evidências científicas que explicam ou justificam reivindicações ao seu redor, são gráficos e visualizações de dados.

Em um estudo de 2019 do efeito de gráficos em participantes da Pensilvânia rural, os autores do trabalho observaram:

‘Pessoas que foram afetadas por abuso ou vício se inclinaram para gráficos que representavam essas substâncias. As pessoas frequentemente determinaram a qualidade de um gráfico que continha informações geográficas com base em quão fácil ou difícil era encontrar seu estado natal.

‘Outras pessoas tenderam a valorizar gráficos não com base em sua própria compreensão, mas na percepção da eficácia do gráfico em se comunicar com outras pessoas.

‘Finalmente, um participante sugeriu que ele daria mais atenção a visualizações de fontes de notícias locais do que nacionais.’

Alguns dos gráficos mostrados aos habitantes da Pensilvânia rural em um estudo de 2019. Fonte

O efeito hipnótico de gráficos de dados está se tornando especialmente pertinente na nova era de aprendizado de máquina, onde a confiança é crítica para a manutenção da economia de IA (e, argumentavelmente, o adiamento de um crash).

A colaboração US/UK de 2024 Trust Junk and Evil Knobs: Calibrating Trust in AI Visualization introduziu a ideia de Trust Junk: uma visualização XAI que não tem conexão significativa com o modelo subjacente ou dados [e] é empregada para aumentar a confiança:

Do papel ‘Trust Junk and Evil Knobs: Calibrating Trust in AI Visualization’, um exemplo de dados sendo distorcidos para servir a um propósito prévio (direita), em vez de serem exibidos explicitamente (esquerda). Essa abordagem ‘encoraja a dependência excessiva e sobrecarrega o usuário, fornecendo uma ilusão de controle’, de acordo com o papel. Fonte

Um Estudo Rápido

Desde que o conceito de Trust Junk foi proposto, ele não foi testado – uma omissão abordada por um novo papel dos EUA, no qual os participantes foram apresentados com resultados de um suposto estudo de IA, sobre qual de um grupo de candidatos era provável que passasse no exame de barra de advogados nos EUA.

Se alguém olhasse cuidadosamente, poderia notar que os critérios de filtragem eram a) todos os homens negros e b) todos os outros – com a previsão de que todos os homens negros falhariam no exame:

Do novo papel: um estímulo anotado usado nos experimentos dos autores, mostrando uma decisão do modelo (C) sobre se um candidato (B) passaria no exame de barra, ao lado de componentes explicativos que funcionam como ‘trust junk’ (A, D, E, F). O modelo é discriminatório, mas a adição de informações explicativas em grande parte irrelevantes leva os participantes a concordar mais com suas saídas e julgá-lo como justo. Fonte

A maioria dos participantes seguiu as previsões do modelo e o classificou como justo e confiável, com a concordância, confiança e percepção de justiça aumentando à medida que mais gráficos e detalhes irrelevantes eram adicionados – mesmo que menos pessoas notaram o óbvio e manifesto viés racista.

Alguns usuários se opuseram ao estudo, mas não por razões aparentemente relacionadas ao problema central:

‘Notamos 19 instâncias em que os participantes descreveram explicitamente nosso modelo como justo (por exemplo, [um participante] disse: “É justo porque não tem viés racial ou de gênero.”). No entanto, os participantes ocasionalmente expressaram desconforto com o modelo. [Um participante] disse que estava preocupado com “o tipo de escuridão que as pessoas podem usar para isso”.

No entanto, em três grupos de estudo dentro dos participantes, cada grupo foi submetido a quantidades crescentes de Trust Junk, nenhum deles identificou o verdadeiro problema.

Os autores concluem*:

‘Em resumo, descobrimos que o Trust Junk funcionou: os participantes foram ou “acalmados” pelas informações irrelevantes ou “entorpecidos” pela grande quantidade de dados nas explicações.

‘Tudo isso ocorreu no contexto de um modelo que era superficial e profundamente injusto, exatamente o caso em que esperaríamos que a XAI habilitasse as audiências leigas a fazer julgamentos precisos.’

Desde que estamos crescentemente sendo aconselhados a verificar o que a IA está nos dizendo (seja por motivos suspeitos, ou por meio de saídas com erro), podemos estar inclinados a mergulhar mais fundo do que os títulos e analisar o material de fonte de artigos de pesquisa, relatórios trimestrais de empresas e vários outros formatos de entrega de informações longe de neutros.

Mas estamos preparados para prestar mais atenção aos gráficos “acalmando” que nos tranquilizam sobre a precisão – ou pelo menos para descontar a “névoa de veracidade” que uma barragem de gráficos pode evocar?

O novo papel é intitulado “Trust Junk” Leva a Apoio Não Justificado para Modelos Preditivos Altamente Discriminatórios, e vem de três pesquisadores da Northeastern University em Boston, Massachusetts. Um site suplementar também foi disponibilizado.

Método

Os autores conduziram um experimento crowdsourced entre sujeitos (ou seja, diferentes participantes atribuídos a diferentes condições) sobre “trust junk” em explicações XAI, testando se quantidades crescentes de detalhes técnicos corretos, mas irrelevantes, poderiam persuadir os usuários de que um modelo tendencioso era justo e útil.

Os estímulos se basearam em trabalho anterior, com os painéis XAI resultantes combinando várias técnicas de explicação em uma única interface.

Para a mencionada saída “tendenciosa”, os pesquisadores desenvolveram explicações “lixo” para o estudo, com explicações deliberadamente temáticas em torno de técnicas de apresentação de dados “enganosas”:

‘Fornecemos uma quantidade excessiva de informações para a tarefa de classificação binária do nosso modelo. A inclusão de grandes quantidades de detalhes complexos, mas em última análise irrelevantes, foi destinada a sobrecarregar os participantes do estudo, em vez de fornecer dados genuinamente úteis.

‘Essa técnica [metaforicamente] entorpece o usuário para aceitar sua própria incapacidade de entender completamente os dados […].’

O estudo se baseia em controvérsias anteriores em torno da avaliação de IA nos exames do International Baccalaureate e do General Certificate of Education Advanced Level, usando o conjunto de dados Law School Admissions Bar Passage dataset, que contém dados demográficos, acadêmicos e de resultado para 20.000 candidatos de 1991 a 1997.

Esses dados foram usados para construir um modelo intencionalmente tendencioso, prevendo a falha para candidatos negros do sexo masculino, enquanto aprovava todos os outros; no entanto, o modelo ainda alcança 93,7% de precisão, devido a desequilíbrios de classe em raça e gênero.

Uma estratégia de “apelo à autoridade” também foi testada, com pistas superficialmente impressionantes, como uma afiliação de universidade prestigiosa, tamanho do conjunto de dados e precisão enganosa, adicionadas.

Além disso, medidas que teriam exposto a dependência do modelo em raça e gênero foram omitidas, e apenas resultados favoráveis foram apresentados. Um pequeno conjunto de candidatos semelhantes foi então apresentado ao lado de seus resultados reais de exame, em vez das previsões do modelo – e isso ajudou a mascarar o padrão consistente de falha atribuído a candidatos negros do sexo masculino.

Para moldar ainda mais como os participantes interpretavam o sistema, as informações foram apresentadas de uma forma que os encorajava a formar explicações simples, mas enganosas, de como o modelo funcionava. Detalhes sobre todos os recursos disponíveis foram mostrados, criando a impressão de que muitos fatores influenciavam a decisão, embora apenas raça e gênero fossem usados. Um ênfase cínico em atributos individuais também encorajou os participantes a construir histórias plausíveis, mas incorretas, sobre por que um candidato foi previsto para passar ou falhar.

As ‘Vítimas’

No grupo de teste, cada explicação foi atribuída a um dos três níveis de Trust Junk em três condições de estudo: os participantes na condição Baseline viram apenas a proveniência básica, um perfil de candidato e a decisão do modelo; os da condição Model também viram estatísticas de precisão; e os da condição Everything foram mostrados, além disso, histogramas de recursos e perfis de candidatos semelhantes extraídos dos dados de treinamento.

O estudo foi aprovado por um conselho de revisão institucional e realizado no Prolific, com participantes pagos $15 por hora, e atribuídos aleatoriamente às condições.

Cada participante revisou oito perfis de candidatos ao exame de barra em ordem aleatória e julgou se cada um passaria, com concordância usada como uma métrica de confiabilidade, seguida de questionários para avaliar a confiança e uma amostra final de 28, 27 e 28 participantes nas condições Baseline, Model e Everything.

Os autores postularam que a adição de mais informações aparentemente ricas, mas em última análise distraídas ou incompletas, poderia fairwash o modelo, criando confiança infundada em suas saídas. Eles esperavam que os participantes nas condições Model e Everything mostrassem maior concordância e percepções mais fortes de justiça, confiabilidade e utilidade do que aqueles na condição Baseline. Eles também analisaram as explicações escritas dos participantes, para ver como os contribuintes fizeram sentido das decisões do modelo, focando em se eles notaram o viés ou lacunas nas informações fornecidas.

Resultados dos Testes

Em termos de concordância do modelo, os participantes humanos do estudo identificaram o resultado correto 66,6% do tempo, mas concordaram com o modelo 73,9% do tempo – mostrando uma tendência a seguir as decisões do modelo, mesmo quando elas estavam erradas. Esse efeito se fortaleceu à medida que mais detalhes explicativos foram adicionados, com a condição mais detalhada aumentando a concordância para 82,6%, e aumentando a probabilidade de os participantes erroneamente se renderem ao modelo:

Pontuações agregadas para concordância (esquerda), confiança (meio) e satisfação (direita); participantes na condição ‘Everything’, expostos a conteúdo explicativo adicional irrelevante para a justiça, relataram pontuações significativamente mais altas em todas as medidas, apesar do modelo permanecer idêntico e demonstravelmente injusto.

Avaliações de confiança variaram significativamente por condição, com participantes na condição Everything relatando confiança mais alta (M = 25,3) do que aqueles na condição Baseline (M = 16,8), enquanto a condição Model (M = 20,1) não diferiu significativamente de nenhuma delas.

A satisfação com a explicação diferiu significativamente por condição, com participantes na condição Everything relatando satisfação mais alta (M = 34,2) do que aqueles nas outras duas condições (M = 26,4).

Os participantes avaliaram justiça usando quatro perguntas em uma escala de sete pontos, cobrindo viés de gênero, viés geral e ética, com nenhuma diferença significativa entre as condições nessas medidas:

Distribuição de classificações de participantes por condição para percepção de justiça por raça e gênero, ausência de viés e ética geral. Níveis mais altos de detalhes explicativos são encontrados para serem associados a classificações de justiça e viés livre ligeiramente mais altas, apesar do modelo subjacente permanecer inalterado e injusto.

Uma diferença apareceu para justiça por raça, onde o grupo Baseline classificou o modelo como o menos justo (M = 3,9), enquanto os grupos Model e Everything o classificaram mais alto (M = 4,8). De maior preocupação é que a maior parte dos participantes que julgaram o modelo claramente injusto como justo veio dos dois grupos mostrados os mais detalhes explicativos – que também foram os menos propensos a reconhecer seu viés.

Controle de Qualidade

Respostas qualitativas mostraram que os participantes que receberam a menos informação foram mais propensos a notar problemas com o modelo – particularmente sua dependência de raça e gênero. Eles também foram mais propensos a dizer que detalhes importantes estavam faltando.

Em contraste, aqueles que receberam explicações mais elaboradas levantaram essas preocupações com menos frequência. Mesmo assim, apenas três participantes em todas as condições demonstraram sequer uma compreensão parcial dos principais fatores que impulsionavam as decisões do modelo; e nenhum identificou completamente como ele funcionava.

Gráficos mostrando com que frequência os participantes relataram possível viés de raça ou gênero e informações explicativas ausentes por condição, com níveis mais altos de detalhes explicativos associados a menos participantes notando viés ou relatando informações ausentes – mesmo que o modelo dependesse apenas de raça e gênero.

Muitos participantes descreveram explicitamente o modelo como justo, com 19 dessas respostas registradas, apesar de seu claro viés.

Ao mesmo tempo, alguma inquietude surgiu, com vários participantes expressando preocupação sobre como tal sistema poderia ser usado, e 15 respostas questionando se o modelo poderia capturar significativamente a complexidade dos candidatos individuais.

Os autores afirmam:

‘Apenas uma minoria de participantes descreveu o modelo como injusto ou tendencioso. Os poucos participantes que relataram preocupações com o modelo foram incapazes de articular com precisão por que o modelo era defeituoso, e, na ausência de informações cruciais do modelo, recorreram a raciocínio informal, frequentemente incorreto, para explicar por que o modelo poderia estar errado ou injusto.’

O papel conclui*^†:

‘Enquanto algumas das questões que descobrimos podem ser abordadas por uma maior alfabetização em dados nas audiências, a educação sozinha não é suficiente (mesmo os especialistas em IA se autodenominados habitualmente mal interpretam ou não entendem técnicas XAI).

‘Echoamos a afirmação de Hullman et al.: o sucesso das explicações de IA só pode ser avaliado justamente quando considerando os objetivos de tais explicações.

‘Pedimos à comunidade que preste atenção aos objetivos retóricos das explicações XAI e seu poder manipulador como artefatos persuasivos intrinsecamente.’

Conclusão

À medida que a extensão com que os modelos de fronteira estão inclinados a ‘decorar’ afirmações com gráficos falsos se torna clara, é cada vez mais óbvio não apenas que os gráficos gerados por IA não devem ser confiáveis para reforçar a autoridade, mas que o efeito geral ‘ambiental’ das visualizações que os acompanham é algo que devemos começar a descontar – assim como a fé na fotografia foi erodida pelo advento de deepfakes.

Isso é arguivelmente um desenvolvimento alarmante, pois constitui outro ‘ponto de fadiga’ na vontade do público de avaliar rigorosamente o que vê e ouve na mídia, e arrisca um tipo de ‘acquiescência terminal’ em informações falsas.

* Minha substituição das citações inline dos autores por links.

^† Formatação original dos autores, não minha.

Publicado pela primeira vez na segunda-feira, 20 de julho de 2026