A Inteligência Artificial Não Necessariamente Fornece Melhores Respostas Se Você é Polido

A opinião pública sobre se vale a pena ser polido com a IA muda quase tanto quanto o último veredito sobre café ou vinho tinto – celebrado um mês, desafiado no próximo. Mesmo assim, um número crescente de usuários agora adiciona ‘por favor’ ou ‘obrigado’ às suas solicitações, não apenas por hábito ou preocupação de que trocas bruscas possam carregar para a vida real, mas por acreditar que a cortesia leva a resultados melhores e mais produtivos da IA.

Essa suposição circulou entre usuários e pesquisadores, com a formulação da solicitação estudada em círculos de pesquisa como uma ferramenta para alinhamento, segurança e controle de tom, mesmo enquanto os hábitos dos usuários reforçam e redefinem essas expectativas.

Por exemplo, um estudo de 2024 do Japão descobriu que a polidez da solicitação pode mudar como os grandes modelos de linguagem se comportam, testando GPT-3.5, GPT-4, PaLM-2 e Claude-2 em tarefas em inglês, chinês e japonês, e reescrevendo cada solicitação em três níveis de polidez. Os autores desse trabalho observaram que a linguagem ‘brusca’ ou ‘rude’ levou a uma menor precisão factual e respostas mais curtas, enquanto solicitações moderadamente polidas produziram explicações mais claras e menos recusas.

Além disso, a Microsoft recomenda um tom polido com Co-Pilot, do ponto de vista do desempenho e não cultural.

No entanto, um novo artigo de pesquisa da Universidade George Washington desafia essa ideia cada vez mais popular, apresentando uma estrutura matemática que prevê quando a saída de um grande modelo de linguagem ‘colapsa’, transitando de conteúdo coerente para conteúdo enganoso ou até perigoso. Nesse contexto, os autores argumentam que ser polido não atrasa significativamente ou impede esse ‘colapso’.

Iniciando

Os pesquisadores argumentam que o uso de linguagem polida é geralmente desvinculado do tema principal da solicitação e, portanto, não afeta significativamente o foco do modelo. Para apoiar isso, eles apresentam uma formulação detalhada de como uma única cabeça de atenção atualiza sua direção interna à medida que processa cada novo token, aparentemente demonstrando que o comportamento do modelo é moldado pela influência cumulativa de tokens que contêm conteúdo.

Como resultado, a linguagem polida é considerada ter pouco impacto sobre quando a saída do modelo começa a se deteriorar. O que determina o ponto de inflexão, o artigo afirma, é o alinhamento geral de tokens significativos com caminhos de saída bons ou ruins – e não a presença de linguagem socialmente cortês.

Uma ilustração de uma cabeça de atenção simplificada gerando uma sequência a partir de uma solicitação do usuário. O modelo começa com tokens bons (G), então atinge um ponto de inflexão (n*) onde a saída muda para tokens ruins (B). Termos polidos na solicitação (P₁, P₂, etc.) não desempenham papel algum nessa mudança, apoiando a afirmação do artigo de que a cortesia tem pouco impacto no comportamento do modelo. Fonte: https://arxiv.org/pdf/2504.20980

Se for verdade, esse resultado contradiz tanto a crença popular quanto talvez mesmo a lógica implícita de ajuste de instrução, que assume que a formulação da solicitação afeta a interpretação do modelo da intenção do usuário.

Saindo de Controle

O artigo examina como o vetor de contexto interno do modelo (seu compasso evolutivo para seleção de tokens) muda durante a geração. Com cada token, esse vetor atualiza sua direção, e o próximo token é escolhido com base em qual candidato se alinha mais estreitamente com ele.

Quando a solicitação direciona para conteúdo bem estruturado, as respostas do modelo permanecem estáveis e precisas; mas com o tempo, essa força direcional pode reverter, direcionando o modelo para saídas que são cada vez mais fora do tópico, incorretas ou inconsistentes internamente.

O ponto de inflexão para essa transição (que os autores definem matematicamente como iteração n*), ocorre quando o vetor de contexto se torna mais alinhado com um ‘ruim’ vetor de saída do que com um ‘bom’. Nessa etapa, cada novo token empurra o modelo mais ao longo do caminho errado, reforçando um padrão de saída cada vez mais defeituosa ou enganosa.

O ponto de inflexão n* é calculado encontrando o momento em que a direção interna do modelo se alinha igualmente com ambos os tipos bons e ruins de saída. A geometria do espaço de incorporação, moldado tanto pelo corpus de treinamento quanto pela solicitação do usuário, determina como rapidamente essa transição ocorre:

Uma ilustração que mostra como o ponto de inflexão n* emerge dentro do modelo simplificado dos autores. A configuração geométrica (a) define os vetores-chave envolvidos na previsão de quando a saída muda de boa para ruim. Em (b), os autores plotam esses vetores usando parâmetros de teste, enquanto (c) compara o ponto de inflexão previsto com o resultado simulado. A correspondência é exata, apoiando a afirmação dos pesquisadores de que o colapso é matematicamente inevitável uma vez que as dinâmicas internas cruzam um limiar.

Termos polidos não influenciam a escolha do modelo entre saídas boas e ruins porque, de acordo com os autores, eles não estão significativamente conectados ao tema principal da solicitação. Em vez disso, eles acabam em partes do espaço interno do modelo que têm pouco a ver com o que o modelo está decidindo.

Quando esses termos são adicionados a uma solicitação, eles aumentam o número de vetores que o modelo considera, mas não de uma maneira que muda a trajetória da atenção. Como resultado, os termos de polidez agem como ruído estatístico: presentes, mas inertes, e deixando o ponto de inflexão n* inalterado.

Os autores afirmam:

‘[Se] a resposta de nossa IA vai sair do controle depende do treinamento de nossa LLM que fornece as incorporações de token – e dos tokens substantivos em nossa solicitação – e não se fomos polidos com ela ou não.’

O modelo usado no novo trabalho é intencionalmente estreito, focando em uma única cabeça de atenção com dinâmica de token linear – uma configuração simplificada onde cada novo token atualiza o estado interno por meio de adição direta de vetores, sem transformações não lineares ou gating.

Essa configuração simplificada permite que os autores trabalhem resultados exatos e forneça uma imagem geométrica clara de como e quando a saída de um modelo pode mudar repentinamente de boa para ruim. Em seus testes, a fórmula que eles derivam para prever essa mudança corresponde ao que o modelo realmente faz.

Conversando..?

No entanto, esse nível de precisão só funciona porque o modelo é mantido deliberadamente simples. Embora os autores concordem que suas conclusões devem ser testadas posteriormente em modelos multi-cabeça mais complexos, como a série Claude e ChatGPT, eles também acreditam que a teoria permanece replicável à medida que as cabeças de atenção aumentam, afirmando*:

‘A questão de quais fenômenos adicionais surgem à medida que o número de cabeças de atenção vinculadas e camadas é escalado, é uma fascinante questão. Mas qualquer transição dentro de uma única cabeça de atenção ainda ocorrerá e poderia ser amplificada e/ou sincronizada pelas ligações – como uma corrente de pessoas conectadas sendo arrastadas sobre um penhasco quando uma delas cai.’

Uma ilustração de como o ponto de inflexão n* previsto muda dependendo de quão fortemente a solicitação se inclina para conteúdo bom ou ruim. A superfície vem da fórmula aproximada dos autores e mostra que termos polidos, que não apoiam claramente nenhum dos lados, têm pouco efeito sobre quando o colapso ocorre. O valor marcado (n* = 10) corresponde a simulações anteriores, apoiando a lógica interna do modelo. Fonte: https://arxiv.org/pdf/2504.20980

O que permanece incerto é se o mesmo mecanismo sobrevive ao salto para arquiteturas de transformador modernas. A atenção multi-cabeça introduz interações entre cabeças especializadas, o que pode amortecer ou mascarar o tipo de comportamento de inflexão descrito.

Os autores reconhecem essa complexidade, mas argumentam que as cabeças de atenção são frequentemente fracamente acopladas e que o tipo de colapso interno que eles modelam poderia ser reforçado em vez de suprimido em sistemas em escala total.

Sem uma extensão do modelo ou um teste empírico em LLMs de produção, a afirmação permanece não verificada. No entanto, o mecanismo parece suficientemente preciso para apoiar iniciativas de pesquisa subsequentes, e os autores fornecem uma oportunidade clara para desafiar ou confirmar a teoria em escala.

Despedida

No momento, o tópico da polidez em relação a LLMs de consumo parece ser abordado tanto do ponto de vista pragmático de que sistemas treinados podem responder de forma mais útil a consultas polidas; ou que um estilo de comunicação brusco e direto com esses sistemas arrisca se espalhar para as relações sociais reais do usuário, por força do hábito.

Argumentavelmente, os LLMs ainda não foram usados amplamente o suficiente em contextos sociais reais para que a literatura de pesquisa confirme o último caso; mas o novo artigo lança alguma dúvida interessante sobre os benefícios de antropomorfizar sistemas de IA desse tipo.

Um estudo de outubro do ano passado da Stanford sugere (em contraste com um estudo de 2020) que tratar LLMs como se fossem humanos também arrisca degradar o significado da linguagem, concluindo que ‘polidez rotineira’ eventualmente perde seu significado social original:

[Uma] declaração que parece amigável ou genuína de um falante humano pode ser indesejável se surgir de um sistema de IA, desde que o último falta compromisso ou intenção significativa por trás da declaração, tornando-a oca e enganosa.

No entanto, cerca de 67 por cento dos americanos dizem ser corteses com seus chatbots de IA, de acordo com uma pesquisa de 2025 da Future Publishing. A maioria disse que era simplesmente ‘a coisa certa a fazer’, enquanto 12 por cento confessaram estar sendo cautelosos – apenas por via das dúvidas, caso as máquinas um dia se levantem.

* Minha conversão das citações inline dos autores para hiperlinks. Até certo ponto, os hiperlinks são arbitrários/exemplares, pois os autores, em certos pontos, linkam para uma ampla gama de citações de rodapé, em vez de para uma publicação específica.

Publicado pela primeira vez na quarta-feira, 30 de abril de 2025. Alterado na quarta-feira, 30 de abril de 2025, 15:29:00, para formatação.