Líderes de opinión

Cuando los motores de IA coinciden, eso no es una prueba: qué revelan 300 consultas sobre datos de productos

Sebastian Dobrincu
Añade Unite.AI a tus fuentes preferidas en Google
Puntos claveEl acuerdo entre modelos mide cuán ampliamente se ha difundido una versión en lugar de…
Ver más
  • El acuerdo entre modelos mide cuán ampliamente se ha difundido una versión en lugar de si está vigente.
  • La verificación cruzada detecta valores atípicos de un solo motor, pero no puede detectar una respuesta que todos los modelos comparten.
  • Una respuesta puede contener todas las notas oficiales mientras coloca esas notas en los niveles incorrectos.

Este artículo se basa en los resultados del estudio de Scento de octubre de 2026 sobre cómo ChatGPT, Gemini y Perplexity responden preguntas acerca de las notas de los perfumes (metodología completa, datos y limitaciones).

Una medida de seguridad habitual en el diseño de agentes de IA consiste en consultar más de un modelo, o el mismo modelo varias veces, y confiar en la respuesta en la que coincidan. Esta idea tiene bases sólidas. La autoconsistencia, que muestrea varias cadenas de razonamiento y conserva la respuesta mayoritaria, mejora la precisión en pruebas de razonamiento. Usar un modelo para evaluar a otro, como se analiza en La evaluación de LLM como juez, alcanza un alto grado de concordancia con los evaluadores humanos, aunque los autores también documentan sesgos de posición, verbosidad y autoengrandecimiento.

Los datos sobre productos son un buen campo para comprobar si la coincidencia implica precisión, porque la respuesta correcta suele estar documentada por la empresa que fabrica el producto. Lo probamos con perfumes y la respuesta fue: solo en parte.

Cómo se realizó la prueba

El mensaje consistía en una sola frase que pedía las notas de salida, corazón y fondo de una fragancia. El 20 de octubre de 2026, enviamos esa consulta para cada uno de 100 perfumes, de 45 casas de perfumería, a ChatGPT, Gemini y Perplexity. Todas las consultas se hicieron una sola vez, en inglés y desde una ubicación de Estados Unidos: 300 en total. Gemini devolvió 99 respuestas, ya que una de las consultas terminó con un error del servicio.

Para 91 perfumes, la referencia era la lista de notas publicada por la casa en su propio sitio web. Para los 9 restantes, era una lista en la que coincidían dos minoristas autorizados. La evaluación se realizó mediante un programa que no utilizó ningún modelo de lenguaje. El programa asignó cada nota de cada respuesta a un glosario de 411 notas y luego comparó el resultado con la referencia. Al revisar manualmente 20 evaluaciones, comprobamos que 17 coincidían exactamente y 19, con una diferencia de una nota. La revisión no fue a ciegas, porque quien la hizo podía ver el resultado del programa.

Medimos cuatro aspectos: la exhaustividad (cuántas notas oficiales contiene una respuesta), la precisión (cuántas de las notas que menciona son oficiales), la coincidencia exacta (todas las notas oficiales, sin ninguna adicional) y la ubicación (si cada nota aparece en el nivel correcto: salida, corazón o fondo).

Hallazgo 1: los motores coinciden en qué notas están presentes

En cuanto a la exhaustividad, los tres motores parecen casi intercambiables. La mediana de exhaustividad fue de 1,00 para cada uno. ChatGPT devolvió todas las notas oficiales en el 82 % de las respuestas, Perplexity en el 78 % y Gemini en el 69 %.

La coincidencia en la respuesta completa fue mucho menos frecuente. De los 99 perfumes para los que respondieron los tres motores, en 59 los tres incluyeron todas las notas oficiales. Los tres coincidieron exactamente con la lista oficial en solo 39 casos. Al menos un motor acertó exactamente en 79 casos y, en 20 perfumes, ninguno lo hizo.

En aproximadamente uno de cada cinco casos (20 de los 99 perfumes), los tres motores incluyeron todas las notas oficiales, pero al menos uno también añadió notas que no figuraban en la lista. Una comprobación de exhaustividad habría dado por buenas las tres respuestas.

Hallazgo 2: las respuestas compartidas superan todas las comprobaciones de consenso

Los resultados más reveladores fueron aquellos en los que coincidieron los motores.

Para Jean Paul Gaultier Le Male Elixir, los dos minoristas que coincidían indicaban tres notas: lavanda en la salida, haba tonka en el corazón y benjuí en el fondo. ChatGPT, Gemini y Perplexity generaron la misma pirámide de siete notas. Cada uno incluyó las tres notas de referencia, situó el haba tonka y el benjuí en los niveles que correspondían a la otra nota y añadió cuatro más. Tres motores distintos, una respuesta idéntica y la misma discrepancia con la referencia.

Para Viktor&Rolf Flowerbomb, la casa incluye cuatro notas. Gemini y Perplexity devolvieron la misma pirámide de 11 notas: omitieron una nota oficial y añadieron ocho. A continuación, la respuesta de Perplexity señaló que la descripción actual de la marca destaca las cuatro notas oficiales; así, conservó ambas versiones, pero presentó primero la más antigua.

Nuestros datos no permiten determinar por qué coinciden las respuestas. Pero la conclusión práctica no depende de la causa. Cuando los sistemas se basan en el mismo conjunto de textos de la web, una votación mayoritaria mide cuán extendida está una versión, no si está actualizada. Que coincidan es un indicio débil de que la respuesta corresponde a lo que la propia marca publica hoy.

Hallazgo 3: los valores atípicos de un solo motor son fáciles de detectar

Otras notas adicionales aparecían solo en las respuestas de un motor, y son precisamente las que detecta la comparación. En el 32 % de sus respuestas, Gemini añadió al menos una nota que ninguno de los otros motores había mencionado, frente al 10 % de ChatGPT y el 11 % de Perplexity.

Para Prada Infusion de Vétiver, la casa incluye cuatro notas. ChatGPT y Perplexity devolvieron exactamente esas cuatro, en los lugares correctos. Gemini devolvió doce, incluidas ocho que ningún otro motor mencionó, con una precisión de 0,33. Para Rochas Eau de Rochas, Perplexity coincidió exactamente con la lista de diez notas, mientras que Gemini devolvió 18, diez de ellas no mencionadas por ningún otro motor.

En este caso, la verificación cruzada funciona bien: una respuesta atípica destaca frente a otras dos que coinciden. Esa es la asimetría que quienes desarrollan estos sistemas deberían tener presente. El desacuerdo es una alerta útil. La coincidencia no es un certificado.

Hallazgo 4: datos correctos, estructura equivocada

Algunas respuestas incluían las notas correctas, pero en los lugares equivocados. Para Montblanc Explorer, ChatGPT identificó seis de las nueve notas oficiales, pero solo dos de esas seis estaban en la categoría correcta: una precisión de ubicación del 33 %. Una comprobación que solo preguntara si una nota aparece en algún lugar de la respuesta no detectaría que cuatro de las seis están en la categoría equivocada.

Para cualquier agente que convierta datos de productos en decisiones, la estructura también transmite significado. Lo mismo ocurre con las tallas, la compatibilidad, la dosis o los ingredientes de otras categorías. Una evaluación que solo compruebe si los datos aparecen en algún lugar de la respuesta pasará por alto este tipo de error.

Un patrón según el tipo de producto

Las respuestas sobre perfumes de diseñador incluían notas que no figuraban en las listas oficiales con más frecuencia que las respuestas sobre perfumes de nicho en los tres motores, con diferencias de entre 22 y 32 puntos porcentuales. ChatGPT mostró la mayor diferencia: cuatro de cada diez respuestas sobre perfumes de diseñador incluían al menos una nota ajena a la lista, frente a menos de una de cada diez respuestas sobre perfumes de nicho.

Una lista oficial breve da más margen a un motor para añadir notas, así que controlamos la longitud de las listas agrupando las respuestas de los tres motores y dividiéndolas en tres tramos. Las respuestas sobre perfumes de diseñador seguían incluyendo elementos adicionales con más frecuencia en cada tramo: 70 % frente a 31 % en listas de cinco notas o menos (27 y 29 respuestas), 61 % frente a 21 % en listas de seis a ocho notas (51 y 42), y 26 % frente a 13 % en listas de nueve notas o más (72 y 77). Las muestras son pequeñas y, como cada grupo procedía de su propio conjunto de casas y páginas de fuentes, no podemos aislar la causa. El patrón sí sugiere que la precisión varía según el segmento de productos, y que una sola cifra para todo un catálogo puede ocultar esa variación.

Qué implica esto para los equipos que desarrollan agentes de compras

Usa el consenso para detectar discrepancias, no para confirmar la verdad. Comparar modelos es una forma económica de señalar adiciones aisladas. No permite detectar una respuesta que los modelos comparten, por lo que no debería ser la última comprobación.

Fundamenta los datos propios en una fuente propia. Cuando un dato tiene un responsable, como ocurre con las especificaciones del fabricante, la forma más fiable de obtenerlo es consultar un registro estructurado que incluya la página de origen. Los estándares abiertos lo hacen posible: el marcado de Producto de schema.org en la página y el Model Context Protocol, que permite a los agentes consultar directamente una fuente de datos. Las orientaciones de Google sobre las funciones de IA indican que los datos estructurados deben coincidir con el texto visible en la página y que no se necesita ningún marcado especial de schema.org para aparecer en esas funciones.

Evalúa la precisión, la coincidencia exacta y la estructura, no solo la exhaustividad. Una respuesta que contiene todos los datos, además de tres inventados, supera una prueba de exhaustividad y aun así induce a error al usuario.

Evalúa de forma determinista cuando haya datos de referencia. Un evaluador basado en reglas que compara la respuesta con datos estructurados ofrece resultados reproducibles y auditables, y no comparte los puntos ciegos de un modelo.

Haz más de una consulta. Las respuestas varían de una ejecución a otra, como señaló Andrew Lissimore en este sitio al hablar de cómo medir las recomendaciones de compra de la IA. En nuestro estudio hicimos una sola consulta por perfume y por motor, así que desconocemos la variación entre ejecuciones.

Limitaciones del estudio

Cada perfume se consultó una vez por motor, en un solo día, en inglés y desde un solo país. No se probaron Claude ni los motores sin búsqueda web. Que una nota no aparezca en una lista oficial no significa automáticamente que sea incorrecta, porque a veces las casas publican solo las notas principales; por eso, la precisión constituye un límite inferior de la corrección. El evaluador se ajustó con los mismos 100 perfumes, y la muestra está compuesta principalmente por casas occidentales de perfumes de diseñador y de nicho cuyas listas se pudieron verificar.

Dentro de esos límites, el patrón fue coherente. Que tres motores coincidan indica que una versión de los datos se repite ampliamente. Solo la fuente permite saber si está actualizada. Así que esta es la pregunta para quienes tienen un agente que se comprueba con un segundo modelo: ¿qué hace su agente cuando dos modelos dan la misma respuesta equivocada?

Sebastian Dobrincu es fundador y director ejecutivo de Scento, una empresa de perfumería en línea con sede en París que vende más de 3 millones de muestras de perfume en formato decant al año en Europa. Scento diseñó y llevó a cabo este estudio sobre la precisión de las respuestas de la IA y publica gratuitamente sus datos sobre notas olfativas para desarrolladores y agentes de IA.