Líderes de pensamento

Quando os mecanismos de IA concordam, isso não é prova: o que revelam 300 consultas sobre fatos de produtos

Sebastian Dobrincu
Adicione Unite.AI às suas fontes preferidas no Google
Pontos-chaveO acordo entre modelos mede o quão amplamente uma versão se espalhou, e não se ela está…
Ver mais
  • O acordo entre modelos mede o quão amplamente uma versão se espalhou, e não se ela está atualizada.
  • A verificação cruzada deteta valores atípicos de um único motor, mas não consegue detetar uma resposta que todos os modelos partilham.
  • Uma resposta pode conter todas as notas oficiais, colocando essas notas nos níveis errados.

Este artigo se baseia nas conclusões de um estudo da Scento, realizado em outubro de 2026, sobre como ChatGPT, Gemini e Perplexity respondem a perguntas sobre notas de perfumes (metodologia completa, dados e limitações).

Uma prática comum para aumentar a segurança no desenvolvimento de agentes de IA é consultar mais de um modelo, ou o mesmo modelo várias vezes, e confiar na resposta em que concordam. Essa ideia tem fundamentos sólidos. A autoconsistência, que explora vários caminhos de raciocínio e escolhe a resposta majoritária, melhora a precisão em benchmarks de raciocínio. Usar um modelo para avaliar outro, prática estudada em Avaliação de LLM como juiz, gera alto nível de concordância com avaliadores humanos, embora os autores também documentem vieses de posição, prolixidade e autoengrandecimento.

Fatos sobre produtos são um bom campo para testar se a concordância significa precisão, porque a resposta correta costuma estar registrada pela empresa que fabrica o produto. Fizemos o teste com perfumes, e a resposta foi: apenas em parte.

Como o teste foi realizado

O prompt consistia em uma única frase que perguntava quais eram as notas de topo, de coração e de fundo de uma fragrância. Enviamos a pergunta, para cada um de 100 perfumes de 45 casas, ao ChatGPT, ao Gemini e ao Perplexity em 20 de outubro de 2026. Todas as consultas foram feitas uma única vez, em inglês, a partir de um local nos EUA: 300 ao todo. O Gemini retornou 99 respostas, pois uma chamada terminou com um erro de serviço.

Para 91 perfumes, usamos como referência a lista de notas publicada pela própria casa em seu site. Para os 9 restantes, usamos uma lista em que dois varejistas autorizados concordavam. A avaliação foi feita por um script que não usou nenhum modelo de linguagem. Ele associou cada nota de cada resposta a um glossário de 411 notas e, em seguida, comparou o resultado com a referência. Quando verificamos manualmente 20 avaliações, 17 correspondiam exatamente e 19 diferiam por no máximo uma nota. Essa verificação não foi cega, pois o revisor podia ver o resultado do script.

Medimos quatro aspectos: revocação (quantas notas oficiais aparecem em uma resposta), precisão (quantas das notas citadas são oficiais), correspondência exata (todas as notas oficiais, sem nenhuma a mais) e posicionamento (se cada nota aparece na categoria correta: topo, coração ou fundo).

Resultado 1: os mecanismos concordam sobre o que está presente

Em termos de revocação, os três mecanismos parecem quase intercambiáveis. A mediana da revocação foi de 1,00 para cada um. O ChatGPT retornou todas as notas oficiais em 82% das respostas, o Perplexity em 78% e o Gemini em 69%.

A concordância quanto à resposta completa foi bem mais rara. Dos 99 perfumes para os quais os três mecanismos responderam, os três retornaram todas as notas oficiais em 59 casos. Apenas em 39 casos os três corresponderam exatamente à lista oficial. Pelo menos um mecanismo acertou exatamente em 79 casos; em 20 perfumes, nenhum acertou.

Em cerca de um caso em cada cinco (20 dos 99 perfumes), os três mecanismos retornaram todas as notas oficiais, mas pelo menos um deles também acrescentou notas que não constavam da lista. Uma verificação de revocação teria aprovado as três respostas.

Resultado 2: respostas compartilhadas passam por todas as verificações de consenso

Os resultados mais reveladores foram aqueles em que os mecanismos concordaram.

Para Jean Paul Gaultier Le Male Elixir, os dois varejistas que concordavam listavam três notas: lavanda no topo, fava-tonca no coração e benjoim no fundo. ChatGPT, Gemini e Perplexity produziram, cada um, uma pirâmide idêntica de sete notas. Todas incluíam as três notas de referência, colocavam a fava-tonca e o benjoim nas categorias um do outro e acrescentavam outras quatro notas. Três mecanismos distintos, uma resposta idêntica — e essa resposta se afasta da referência exatamente nos mesmos pontos.

Para Viktor&Rolf Flowerbomb, a casa lista quatro notas. Gemini e Perplexity retornaram a mesma pirâmide de 11 notas: deixaram de fora uma nota oficial e acrescentaram oito. Em seguida, a resposta do Perplexity observou que a descrição atual da marca destaca as quatro notas oficiais; assim, manteve as duas versões e apresentou primeiro a mais antiga.

Nossos dados não permitem dizer por que as respostas coincidem. Mas a conclusão prática independe da causa. Quando os sistemas recorrem ao mesmo conjunto de textos da web, uma votação por maioria mede o quanto uma versão se disseminou, não se ela está atualizada. A concordância entre eles é uma evidência fraca de que a resposta corresponde ao que a própria marca publica hoje.

Resultado 3: os casos discrepantes de um único mecanismo são os mais fáceis de detectar

Outras notas adicionais apareciam em apenas um mecanismo, e são justamente essas que a comparação consegue detectar. Em 32% das respostas, o Gemini acrescentou pelo menos uma nota que nenhum dos outros mecanismos mencionou, contra 10% no caso do ChatGPT e 11% no do Perplexity.

Para Prada Infusion de Vétiver, a casa lista quatro notas. ChatGPT e Perplexity retornaram exatamente essas quatro, nos lugares corretos. O Gemini retornou doze, incluindo oito que nenhum outro mecanismo mencionou, com precisão de 0,33. Para Rochas Eau de Rochas, o Perplexity correspondeu exatamente à lista de dez notas, enquanto o Gemini retornou 18 notas, dez delas não mencionadas por nenhum outro mecanismo.

Neste caso, a verificação cruzada funciona bem: uma resposta discrepante se destaca diante de duas respostas concordantes. Essa é a assimetria que os desenvolvedores devem ter em mente. A discordância é um alerta útil. A concordância não é um certificado.

Resultado 4: fatos corretos, estrutura errada

Algumas respostas apresentaram as notas certas nos lugares errados. Para Montblanc Explorer, o ChatGPT identificou seis das nove notas oficiais, mas apenas duas dessas seis estavam na categoria correta, o que representa uma precisão de posicionamento de 33%. Uma verificação que apenas pergunta se uma nota aparece em algum lugar da resposta não perceberia que quatro das seis estão na categoria errada.

Para qualquer agente que transforme fatos sobre produtos em decisões, a estrutura também carrega significado. O mesmo vale para tamanhos, compatibilidade, dosagem ou ingredientes em outras categorias. Uma avaliação que verifica apenas se os fatos aparecem em algum lugar da resposta não detectará esse tipo de erro.

Um padrão por tipo de produto

As respostas sobre perfumes de grife incluíram notas que não constavam nas listas com mais frequência do que as respostas sobre perfumes de nicho nos três mecanismos, com diferenças de 22 a 32 pontos percentuais. O ChatGPT apresentou a maior disparidade: quatro em cada dez respostas sobre perfumes de grife incluíram pelo menos uma nota fora da lista, em comparação com menos de uma em cada dez respostas sobre perfumes de nicho.

Uma lista oficial curta dá ao mecanismo mais margem para acrescentar notas. Por isso, controlamos o tamanho das listas, reunindo respostas dos três mecanismos e dividindo-as em três faixas. As respostas sobre perfumes de grife ainda apresentaram mais notas adicionais em cada faixa: 70% contra 31% para listas com cinco notas ou menos (27 e 29 respostas), 61% contra 21% para listas com seis a oito notas (51 e 42), e 26% contra 13% para listas com nove notas ou mais (72 e 77). As amostras são pequenas e, como cada grupo veio de um conjunto próprio de marcas e páginas de fontes, não podemos isolar a causa. O padrão sugere, porém, que a precisão varia conforme o segmento de produto, e que um único número para todo um catálogo pode ocultar essa diferença.

O que isso significa para as equipes que desenvolvem agentes de compras

Use o consenso para encontrar divergências, não para confirmar a verdade. Comparar modelos é uma maneira simples e barata de sinalizar acréscimos isolados. Isso não permite detectar uma resposta compartilhada pelos modelos e, por isso, não deve ser a última verificação.

Baseie os fatos que você controla em uma fonte que também controla. Quando um fato tem uma fonte responsável, como uma especificação do fabricante, o caminho mais confiável é recuperá-lo de um registro estruturado que indique a página de origem. Os padrões abertos tornam isso viável: marcação Product do schema.org na página e o Model Context Protocol, que permite aos agentes consultar diretamente uma fonte de dados. As orientações do Google sobre recursos de IA dizem que os dados estruturados devem corresponder ao texto visível na página e que não é necessária nenhuma marcação especial do schema.org para aparecer nesses recursos.

Avalie a precisão, a correspondência exata e a estrutura, não apenas a revocação. Uma resposta que contém todos os fatos e mais três inventados passa em um teste de revocação e, ainda assim, induz o usuário ao erro.

Faça avaliações determinísticas quando houver dados de referência. Um avaliador baseado em regras, comparado com dados estruturados, produz resultados reproduzíveis e auditáveis e não compartilha os pontos cegos de um modelo.

Faça mais de uma execução. As respostas variam de uma execução para outra, como observou Andrew Lissimore neste site ao falar sobre como medir as recomendações de compras feitas por IA. Nosso estudo fez uma única consulta por perfume e por mecanismo, portanto a variação entre execuções é desconhecida.

Limitações do estudo

Cada perfume foi consultado uma vez por mecanismo, em um único dia, em inglês e a partir de um único país. Claude e os mecanismos sem busca na web não foram testados. A ausência de uma nota em uma lista oficial não significa automaticamente que ela esteja errada, pois algumas casas publicam apenas as notas principais; portanto, a precisão é um limite inferior da correção. O avaliador foi ajustado com os mesmos 100 perfumes, e a amostra é composta principalmente por casas de grife e de nicho ocidentais cujas listas puderam ser verificadas.

Dentro desses limites, o padrão foi consistente. A concordância entre três mecanismos indica que uma versão dos fatos é amplamente repetida. Somente a fonte informa se ela está atualizada. Portanto, fica a pergunta para quem tem um agente que verifica suas respostas com um segundo modelo: o que seu agente faz quando dois modelos dão a mesma resposta errada?

Sebastian Dobrincu é fundador e CEO da Scento, uma empresa de venda de perfumes on-line sediada em Paris que vende mais de 3 milhões de amostras fracionadas de perfume por ano na Europa. A Scento concebeu e realizou este estudo sobre a precisão das respostas de IA e disponibiliza gratuitamente seus dados sobre notas olfativas para desenvolvedores e agentes de IA.