Google Research intègre la délibération humaine aux classificateurs d’IA subjectifs

Le 4 novembre 2026, Google Research a présenté Agile Deliberation, un cadre interactif permettant de créer des classificateurs d’images fondés sur des catégories subjectives, accompagné de code open source et d’une démonstration sous forme de notebook. Dans le cadre d’une étude utilisateur menée au cours de 18 sessions, les chercheurs ont fait état de meilleurs résultats de classification et d’un effort moindre qu’avec l’affinage manuel des invites.

Ce cadre s’applique aux catégories dont les limites dépendent du jugement personnel, du contexte culturel ou des règles de fonctionnement : les aliments bons pour la santé, les œuvres d’art inspirantes et les images pièges à clics qui promettent des récompenses trompeuses. Il repose sur l’idée que les utilisateurs découvrent souvent leurs propres critères de décision en examinant des exemples difficiles à classer. Dans un processus classique d’annotation, ces critères sont considérés comme fixes avant même le début de l’annotation ; les changements d’intention ne se manifestent alors que par des étiquettes incohérentes ou des décisions arbitraires du modèle.

Agile Deliberation transforme la définition évolutive en une spécification lisible par les utilisateurs ainsi qu’en une invite qui pilote un classificateur fondé sur un modèle vision-langage. La conception s’appuie sur des entretiens avec cinq spécialistes de la modération de contenu et sur l’analyse qualitative de 20 définitions issues de leurs pratiques professionnelles. Cette analyse a montré que les spécialistes délimitent d’abord les concepts, puis les affinent à partir d’images situées à la frontière des catégories.

Deux étapes de délibération sur les concepts

La délimitation d’un concept consiste à décomposer une idée initiale en sous-concepts positifs et négatifs possibles. Par exemple, une personne qui crée un classificateur d’aliments bons pour la santé peut inclure les salades et les bols de céréales, tout en excluant les aliments transformés ou les ingrédients crus non préparés. Des images représentatives viennent étayer chaque choix, et les sous-concepts qui ne correspondent pas à des motifs visuels pertinents peuvent être écartés avant la création du premier classificateur.

L’étape suivante, l’itération sur les concepts, recherche des images situées à la frontière sémantique des catégories, au lieu de sélectionner simplement celles pour lesquelles la confiance du modèle se rapproche de 0,5. Les chercheurs estiment que le niveau de confiance d’un modèle vision-langage peut être mal ajusté à l’ambiguïté telle que la perçoivent les humains : un modèle peut être sûr de son classement alors qu’une personne trouve l’image difficile à catégoriser. Les exemples récupérés sont dédupliqués et regroupés en clusters, selon une stratégie de bandit à plusieurs bras qui privilégie les clusters ayant déjà permis de corriger des erreurs ou généré des retours utiles.

Une étape de détection des ambiguïtés organise un lot d’images autour d’un problème interprétable — par exemple, la présence de sauces crémeuses, la teneur en sucre ou la taille des portions — et génère une courte explication de l’ambiguïté de chaque image. Les utilisateurs indiquent si les images entrent ou non dans le périmètre et peuvent justifier leur choix en langage naturel. Le système génère plusieurs définitions possibles, les évalue au regard de toutes les étiquettes recueillies jusque-là, sélectionne celle qui obtient le meilleur score F1 et permet de les modifier manuellement.

Le prototype utilise Gemini 2.5 Pro pour la décomposition, et Gemini 2.5 Flash pour la classification, la génération de requêtes portant sur les cas limites et la détection des ambiguïtés. Ces modèles ont été utilisés sans entraînement supplémentaire ni réglage fin, et l’interface fonctionne dans un notebook Colab interactif.

Résultats de l’étude en conditions réelles

Neuf participants sans expérience professionnelle en modération de contenu ont chacun suivi deux sessions d’environ 90 minutes : l’une avec Agile Deliberation, l’autre avec une délibération manuelle. L’ordre des systèmes a été attribué de manière aléatoire. Les deux concepts évalués étaient les aliments bons pour la santé et la modération des pièges à clics payants. Chaque session comprenait environ 45 minutes de travail sur les définitions, l’annotation de 200 images de test mises de côté, un questionnaire et un entretien de 15 minutes. Les comparaisons portaient également sur la classification sans apprentissage préalable et sur Modeling Collaborator, une méthode de référence automatisée pour la décomposition ; les participants travaillant manuellement pouvaient consulter les invites détaillées de ce système.

L’article indique qu’Agile Deliberation a amélioré le score F1 de 11 % par rapport à sa méthode de référence sans apprentissage préalable pour les pièges à clics payants, tandis que la délibération manuelle a progressé de 8 % par rapport à sa propre méthode de référence. Pour les aliments bons pour la santé, Agile Deliberation a enregistré une amélioration de 10 %, contre une baisse de 3 % avec la délibération manuelle. Ces gains s’expliquent principalement par une meilleure précision, accompagnée d’une diminution plus limitée du rappel. La précision globale n’a pas été retenue, car les définitions personnalisées des participants ont produit des répartitions déséquilibrées des étiquettes de test.

Tous les participants ont préféré Agile Deliberation à la délibération manuelle. Ils ont évalué l’effort moyen à 3,11 avec Agile Deliberation, contre 4,67 avec le travail manuel ; les notes moyennes indiquant un sentiment d’insécurité, de stress ou d’agacement étaient respectivement de 1,67 et de 3,00. Les deux différences ont été jugées statistiquement significatives à p<.05. Les entretiens ont permis de mieux comprendre ces résultats : les utilisateurs travaillant manuellement devaient imaginer eux-mêmes des recherches pour trouver des contre-exemples, et certains craignaient qu’une modification de l’invite corrigeant une erreur ne détériore le comportement du système ailleurs.

Limites de l’étude et disponibilité du code

L’évaluation présente également des limites importantes. Les auteurs soulignent que le nombre de participants, limité à neuf, réduit la puissance statistique et la généralisabilité des résultats. Pour éviter que les participants ne reprennent lors de la deuxième session une définition déjà établie, chacun a utilisé les deux systèmes sur des concepts différents. Il était donc possible de comparer l’expérience subjective au sein d’un même participant, mais les performances des classificateurs ne pouvaient être comparées qu’entre les groupes de participants. L’étude n’a pas isolé les composants individuels ni évalué l’ensemble du processus avec d’autres modèles génératifs.

Le dépôt de code source ouvert contient le code et le jeu de données associés, ainsi qu’un notebook Demo.ipynb qui explique les étapes à suivre dans Jupyter ou Google Colab. La démonstration crée un index de recherche par plus proches voisins à partir de LAION400M. La configuration par défaut télécharge deux fragments, pour un total d’environ 260 MB, afin de vérifier le pipeline ; la configuration documentée avec 100 fragments représente environ 13 GB. La recherche, le téléchargement d’images depuis des sources externes et les appels aux modèles peuvent prendre de quelques secondes à plusieurs minutes ; une clé API unique peut être soumise à une limitation du débit, et plusieurs étapes prennent en charge la mise en cache sur disque. La clause de non-responsabilité du dépôt précise qu’il ne s’agit pas d’un produit officiellement pris en charge par Google.

La contribution pratique d’Agile Deliberation consiste à intégrer explicitement l’intention subjective, et à pouvoir la réviser, dans le développement des classificateurs. Les utilisateurs peuvent examiner les règles positives et négatives, étudier les cas limites qui ont révélé des lacunes et justifier les révisions proposées. Pour les équipes de modération et de curation, cela fait de la définition de la catégorie et des jugements humains qui la façonnent des éléments visibles du processus de développement du classificateur.