Google Research incorpora la deliberación humana a los clasificadores subjetivos de IA

El 4 de noviembre de 2026, Google Research presentó Agile Deliberation, un marco interactivo para crear clasificadores de imágenes basados en categorías subjetivas, acompañado de código abierto y una demostración en un cuaderno. En un estudio con usuarios de 18 sesiones, los investigadores informaron de mejores resultados de clasificación y un menor esfuerzo que con el refinamiento manual de instrucciones.

El marco aborda categorías cuyos límites dependen del criterio personal, el contexto cultural o las políticas operativas, como la comida saludable, las obras de arte inspiradoras y las imágenes de ciberanzuelo que prometen recompensas engañosas. Su premisa central es que, a menudo, los usuarios descubren sus propios límites de decisión al examinar ejemplos difíciles. Un flujo de trabajo convencional de etiquetado da por sentados esos límites antes de comenzar la anotación, por lo que los cambios de criterio terminan manifestándose en etiquetas incoherentes o decisiones arbitrarias del modelo.

Agile Deliberation convierte la definición, a medida que evoluciona, tanto en una especificación comprensible para las personas como en la instrucción que guía a un clasificador basado en un modelo de visión y lenguaje. El diseño se basa en entrevistas con cinco especialistas en moderación de contenidos y en un análisis cualitativo de 20 definiciones extraídas de sus flujos de trabajo profesionales. Este análisis mostró que los especialistas delimitan primero los conceptos y luego los refinan mediante imágenes limítrofes.

Dos etapas de deliberación sobre conceptos

La delimitación de conceptos divide una idea inicial en subconceptos positivos y negativos candidatos. Por ejemplo, una persona que cree un clasificador de comida saludable puede incluir ensaladas y cuencos de cereales, y excluir alimentos procesados o ingredientes crudos sin preparar. Las imágenes representativas respaldan cada decisión, y los subconceptos que no describen patrones visuales significativos pueden descartarse antes de crear el primer clasificador.

La iteración de conceptos busca entonces imágenes semánticamente limítrofes, en lugar de limitarse a seleccionar casos en los que la confianza del modelo se aproxima a 0.5. Los investigadores sostienen que la confianza de los modelos de visión y lenguaje puede estar mal calibrada respecto de la ambigüedad humana: un modelo puede estar seguro ante una imagen que a una persona le resulta difícil de clasificar. Los ejemplos recuperados se deduplican y agrupan, y una regla de bandidos multibrazo da prioridad a los grupos que anteriormente permitieron corregir errores o generaron comentarios útiles.

Una etapa de detección de ambigüedades organiza un lote en torno a una cuestión interpretable, como las salsas cremosas, el contenido de azúcar o el tamaño de las porciones, y genera una breve explicación de la ambigüedad de cada imagen. Los usuarios indican si las imágenes entran o no en el ámbito de la categoría y pueden añadir justificaciones en lenguaje natural. El sistema genera definiciones alternativas, las contrasta con todas las etiquetas recopiladas hasta ese momento, selecciona la candidata con la mejor puntuación F1 y permite hacer modificaciones manuales.

El prototipo utiliza Gemini 2.5 Pro para la descomposición y Gemini 2.5 Flash para la clasificación, la generación de consultas sobre casos limítrofes y la detección de ambigüedades. Los modelos se utilizaron sin entrenamiento adicional ni ajuste fino, y la interfaz funciona mediante un cuaderno interactivo de Colab.

Qué reveló el estudio con usuarios

Nueve participantes sin experiencia profesional en moderación de contenidos completaron dos sesiones de aproximadamente 90 minutos cada uno: una con Agile Deliberation y otra con deliberación manual, en un orden de sistemas aleatorizado. Los dos conceptos evaluados fueron la comida saludable y la moderación de ciberanzuelo de pago por participación. Cada sesión incluyó unos 45 minutos de trabajo en la definición, la anotación de 200 imágenes de prueba reservadas, una encuesta y una entrevista de 15 minutos. Las comparaciones también abarcaron la clasificación de tiro cero y Modeling Collaborator, una referencia de descomposición automatizada; los participantes que trabajaron manualmente podían consultar las instrucciones detalladas de ese sistema.

El artículo informa de que Agile Deliberation mejoró la puntuación F1 un 11 % frente a su referencia de tiro cero para el ciberanzuelo de pago por participación, mientras que la deliberación manual mejoró un 8 % frente a su propia referencia. Para la comida saludable, los cambios fueron una mejora del 10 % con Agile Deliberation y un descenso del 3 % con la deliberación manual. Las mejoras se debieron principalmente a una mayor precisión, acompañada de reducciones menores en la exhaustividad. No se utilizó la exactitud porque las definiciones personalizadas de los participantes dieron lugar a distribuciones desequilibradas de las etiquetas de prueba.

Todos los participantes prefirieron Agile Deliberation a la deliberación manual. Los participantes indicaron un esfuerzo medio de 3,11 con Agile Deliberation, frente a 4,67 con el trabajo manual; las puntuaciones medias sobre sentirse inseguros, estresados o molestos fueron de 1,67 y 3,00, respectivamente. Ambas diferencias se señalaron como estadísticamente significativas con p<.05. Las entrevistas ofrecieron una explicación práctica: quienes trabajaron manualmente tuvieron que idear búsquedas para encontrar contraejemplos, y a algunos les preocupaba que una modificación de las instrucciones que corrigiera un error perjudicara el comportamiento del sistema en otros casos.

Límites del estudio y disponibilidad del código

La evaluación también tiene limitaciones claras. Los autores advierten que la participación de nueve personas restringe la potencia estadística y la generalización de los resultados. Además, cada persona utilizó los dos sistemas con conceptos distintos para evitar que trasladara a la segunda sesión una definición ya establecida. Por tanto, fue posible comparar la experiencia subjetiva de cada participante, pero el rendimiento de los clasificadores solo pudo compararse entre grupos de participantes. El estudio no aisló los componentes individuales ni evaluó el flujo de trabajo completo con otros modelos generativos.

El repositorio de código abierto contiene el código fuente complementario y el conjunto de datos, además de un cuaderno Demo.ipynb con instrucciones paso a paso para Jupyter o Google Colab. La demostración crea un índice de recuperación de vecinos más cercanos sobre LAION400M. La configuración predeterminada descarga dos fragmentos, que suman aproximadamente 260 MB, para verificar el flujo de trabajo; la configuración documentada de 100 fragmentos suma unos 13 GB. La recuperación, las descargas externas de imágenes y las llamadas al modelo pueden tardar desde unos segundos hasta varios minutos; una sola clave de API puede estar sujeta a límites de uso, y varias etapas permiten almacenar datos en caché en el disco. El descargo de responsabilidad del repositorio indica que no se trata de un producto con soporte oficial de Google.

La contribución práctica de Agile Deliberation consiste en hacer que la intención subjetiva sea una parte explícita y revisable del desarrollo de clasificadores. Los usuarios pueden inspeccionar las reglas positivas y negativas, examinar los casos límite que pusieron al descubierto deficiencias y aportar justificaciones para las revisiones. Para los equipos de moderación y curación, esto convierte la definición de la categoría y los juicios humanos que la moldean en parte del proceso de desarrollo del clasificador, que puede inspeccionarse.