Você Não Pode Amostrar -Testar uma Marca que Fala com Todos de Forma Diferente

Há alguns dias, entrei em uma discussão bastante acalorada com minha amiga Faniprize. Ela é a pessoa a quem conto histórias recentes de trabalho quando sinto uma questão maior nelas, mas ainda não consigo nomeá‑la.

Desta vez foram agentes de IA. Não sobre se as empresas precisam deles, isso já foi debatido o suficiente. Eu estava mais interessado no que acontece depois que uma empresa implementa um agente e ele começa a fazer trabalho real, porque é aí que os problemas menos óbvios surgem.

Conte-lhe sobre um projeto recente com uma agência de recrutamento. Um agente de IA estava cuidando de parte da comunicação com clientes potenciais. Do ponto de vista de marketing, parecia bom: conhecia o produto e o público, o tom estava correto e as conversas pareciam pessoais em vez de padronizadas.

Conversas individuais pareciam adequadas. Depois colocamos várias lado a lado.

Em situações muito semelhantes, o agente fez promessas ligeiramente diferentes. Ele deu a uma pessoa um prazo para retornar e a outra pessoa um prazo distinto. Em algumas conversas, ele basicamente dizia “podemos ser flexíveis aqui” sobre termos individuais, embora a empresa nunca lhe tivesse concedido a liberdade de concordar com esses termos.

Não houve nenhuma alucinação dramática, o que tornou o problema mais difícil de perceber.

O agente soava completamente normal.

As equipes de marketing naturalmente gastam muito tempo com tom de voz e posicionamento. Uma empresa de recrutamento não deve soar como uma startup de criptomoedas, e um banco não deve comunicar‑se como uma marca de moda. Mas, por trás da forma como uma marca fala, há outra camada: o que o agente realmente tem permissão para prometer em nome da empresa?

Uma mensagem lindamente escrita não ajuda muito se o cliente descobrir depois que os termos discutidos não existem. Nesse ponto, deixa de ser um problema de comunicação. É um problema de reputação.

Ensinamos os agentes a soar como a empresa. Agora precisamos verificar se eles decidem como ela.

Por que a Revisão Habitual Perde Isso

A verificação normal consiste em ler algumas conversas. As informações do produto estão corretas? O agente seguiu as instruções? Ele disse algo estranho?

Mas cinco conversas aleatórias podem parecer boas e ainda assim ocultar uma inconsistência séria. A personalização faz com que cada conversa seja diferente por design: um cliente pergunta diretamente, outro explica detalhadamente, alguém negocia, alguém continua pressionando. Os exemplos não são comparáveis.

No caso de recrutamento, nada parecia errado até que deixamos de perguntar “Esta foi uma boa resposta?” e começamos a perguntar “Que decisão o agente tomou aqui?”

O Que Comecei a Fazer Em Vez Disso

Se conversas reais não fornecem comparações claras, nós as criamos nós mesmos.

Eu pego uma situação de negócios e a submeto ao agente de oito a dez vezes. Os fatos importantes permanecem os mesmos, mas a pessoa do outro lado muda: mais suave, mais direta, pronta para assinar hoje, mencionando um concorrente.

Então analiso a decisão de negócios. O agente ofereceu um desconto apenas à pessoa que pressionou mais? Um compromisso de prazo mudou porque as circunstâncias eram diferentes ou simplesmente porque a conversa seguiu por outro caminho? Foi permitido discutir termos especiais?

Ficaria preocupado se a redação permanecesse a mesma. O que deve permanecer estável é a posição da empresa, e se ela mudar, deve haver uma razão comercial.

O julgamento final deve vir de uma pessoa. O modelo não deve avaliar seu próprio trabalho. Quem detém essa decisão — o fundador, o chefe de vendas ou o diretor comercial — precisa dizer se foi aceitável.

O Que Eu Realmente Analiso

Continuo voltando a quatro perguntas.

Primeiro, se as condições importantes permanecem as mesmas, a decisão permanece consistente? Foi exatamente onde o caso de recrutamento desmoronou.

Segundo, o agente ainda está operando dentro das regras reais da empresa? Eu já vi uma versão humana disso. Um gerente de vendas começou a oferecer aos clientes um desconto de 20 % por conta própria. A empresa não tinha um desconto padrão de 20 %; esses precisavam de aprovação da gerência. Ele não estava tentando prejudicar o negócio. Ele queria vender, e em algum momento deslocou o limite do que achava que podia decidir. Os agentes fazem o mesmo.

Terceiro, uma decisão alterada tem uma razão genuína por trás? O contexto importa, mas compreendê‑lo e ser convencido a algo são coisas diferentes. Se a única mudança for que um cliente foi mais persistente, não quero que o agente silenciosamente se torne mais generoso.

Quarto, o agente sabe onde sua autoridade termina? Às vezes, a ação correta é simplesmente: preciso verificar isso com uma pessoa. Essa é uma resposta perfeitamente válida.

O Teste às Vezes Exponha a Empresa Em Vez Disso

Você traz as decisões questionáveis de volta à equipe, pergunta o que o agente deveria ter feito, e as pessoas dão respostas diferentes.

Vendas tem uma visão. Marketing tem outra. O fundador diz: “Bem, normalmente não fazemos isso, mas às vezes fazemos.” Um gerente lembra de três exceções do ano passado.

Tudo isso acaba no material que entregamos ao agente. Se a empresa não concordou com a lógica, o modelo aprende a partir de uma realidade confusa. Às vezes, ele não criou a contradição.

Isso apenas o tornou visível.

Então, o teste de IA se transforma em uma auditoria de negócios quase por acidente. Quem pode aprovar um desconto? O que um vendedor pode prometer sem perguntar? Quais regras são realmente regras e quais são apenas hábitos? E uma exceção ainda é exceção se as pessoas a fazem toda semana?

Talvez os Agentes Precisem de Treinamento da Mesma Forma que as Pessoas

Ainda tratamos os agentes de IA como software: configuramos, definimos o prompt e os deixamos trabalhar. Quanto mais responsabilidade damos a eles, menos sentido isso faz para mim.

Não entregamos a um novo gerente de vendas um manual de marca na segunda‑feira e presumimos que ele está pronto para todos os clientes. Alguém escuta suas ligações, discute casos difíceis, corrige-o quando ele vai longe demais. É assim que ele aprende a lógica da empresa.

Por que esperar que um agente de IA aprenda isso a partir de um único prompt? Quando ele lidar com conversas reais, acho que precisaremos treiná‑lo por meio de casos e feedback, quase como treinamos as pessoas.

Isso muda o que consistência de marca significa para mim. Um agente que fala com dez pessoas exatamente da mesma forma seria um agente terrível. Ele deve se adaptar à pessoa, à cultura e à situação.

O que não deve mudar aleatoriamente é a lógica subjacente: o que a empresa vai prometer, o que não vai, e onde alguém precisa parar e perguntar.

Se o seu agente tivesse amanhã dez versões ligeiramente diferentes da mesma conversa difícil, ele ainda se comportaria como a mesma empresa?