Onderzoek van Google brengt menselijke deliberatie naar subjectieve AI-classificatiemodellen

Google Research presenteerde op 4 november 2026 Agile Deliberation, een interactief raamwerk voor het bouwen van beeldclassificatiemodellen voor subjectieve categorieën, samen met opensourcecode en een demonstratie in een notebook. In een gebruikersonderzoek met 18 sessies rapporteerden de onderzoekers betere resultaten van de classificatiemodellen en minder inspanning dan bij het handmatig verfijnen van prompts.

Het raamwerk richt zich op categorieën waarvan de grenzen afhangen van persoonlijke oordeelsvorming, culturele context of beleidsregels: gezond voedsel, inspirerende kunstwerken en clickbaitbeelden die misleidende beloningen beloven. Het uitgangspunt is dat gebruikers hun eigen beslissingsgrenzen vaak ontdekken wanneer ze moeilijke voorbeelden bekijken. Bij een conventioneel labelproces liggen die grenzen al vast voordat de annotatie begint. Veranderingen in intentie komen daardoor pas aan het licht als inconsistente labels of willekeurige modelbeslissingen.

Agile Deliberation zet de zich ontwikkelende definitie om in zowel een voor mensen leesbare specificatie als de prompt waarmee een vision-language-model als classificatiemodel wordt aangestuurd. Het ontwerp is gebaseerd op interviews met vijf experts in contentmoderatie en een kwalitatieve analyse van 20 definities uit hun professionele werkprocessen. Daaruit bleek dat experts concepten eerst afbakenen en ze vervolgens verfijnen aan de hand van grensgevallen in beeldmateriaal.

Twee fasen van conceptuele deliberatie

Bij de conceptafbakening wordt een eerste idee opgesplitst in mogelijke positieve en negatieve subconcepten. Wie bijvoorbeeld een classificatiemodel voor gezond voedsel bouwt, kan salades en graanschotels opnemen en bewerkte voedingsmiddelen of rauwe, onbereide ingrediënten uitsluiten. Representatieve afbeeldingen ondersteunen elke keuze. Subconcepten die geen betekenisvolle visuele patronen beschrijven, kunnen worden geschrapt voordat het eerste classificatiemodel wordt gemaakt.

Bij de conceptiteratie wordt vervolgens gezocht naar semantische grensgevallen in beeldmateriaal, in plaats van simpelweg voorbeelden te selecteren waarvoor de zekerheid van het model in de buurt van 0.5 komt. Volgens de onderzoekers sluit de zekerheid van vision-language-modellen soms slecht aan op menselijke ambiguïteit: een model kan zeker zijn van een afbeelding die iemand moeilijk te beoordelen vindt. De opgehaalde voorbeelden worden ontdubbeld en geclusterd. Een multi-armed-banditregel geeft de voorkeur aan clusters die eerder fouten hebben gecorrigeerd of bruikbare feedback hebben opgeleverd.

Een stap voor het opsporen van ambiguïteit groepeert een reeks afbeeldingen rond één begrijpelijk vraagstuk, zoals romige sauzen, suikergehalte of portiegrootte, en geeft een korte uitleg van de ambiguïteit van elke afbeelding. Gebruikers geven aan of afbeeldingen wel of niet binnen de afbakening vallen en kunnen toelichtingen in natuurlijke taal toevoegen. Het systeem genereert alternatieve definities, toetst die aan alle labels die tot dan toe zijn verzameld, kiest de kandidaat met de beste F1-score en maakt handmatige aanpassingen mogelijk.

Het prototype gebruikt Gemini 2.5 Pro voor het opsplitsen van concepten en Gemini 2.5 Flash voor classificatie, het genereren van zoekopdrachten naar grensgevallen en het opsporen van ambiguïteit. De modellen werden gebruikt zonder aanvullende training of finetuning. De interface werkt via een interactief Colab-notebook.

Wat het liveonderzoek opleverde

Negen deelnemers zonder professionele ervaring met contentmoderatie volgden elk twee sessies van ongeveer 90 minuten: één met Agile Deliberation en één met handmatige deliberatie. De volgorde van de systemen werd willekeurig bepaald. De twee testconcepten waren gezond voedsel en moderatie van clickbait met betaalde deelname. Elke sessie omvatte ongeveer 45 minuten werk aan definities, het annoteren van 200 achtergehouden testafbeeldingen, een enquête en een interview van 15 minuten. De vergelijkingen omvatten ook nul-shotclassificatie en Modeling Collaborator, een geautomatiseerde baseline voor het opsplitsen van concepten. Deelnemers in de handmatige conditie konden de gedetailleerde prompts van dat systeem raadplegen.

Volgens het artikel verbeterde Agile Deliberation de F1-score voor betaalde deelname met 11% ten opzichte van de nul-shotbaseline, terwijl handmatige deliberatie 8% winst boekte ten opzichte van de eigen baseline. Voor gezond voedsel bedroeg de verandering een verbetering van 10% met Agile Deliberation en een daling van 3% met handmatige deliberatie. De winst kwam voornamelijk door een hogere precisie, naast een kleinere daling van de recall. Nauwkeurigheid werd niet gebruikt, omdat de gepersonaliseerde definities van deelnemers leidden tot een onevenwichtige verdeling van de testlabels.

Alle deelnemers gaven de voorkeur aan Agile Deliberation boven handmatige deliberatie. De deelnemers rapporteerden een gemiddelde inspanning van 3.11 met Agile Deliberation, tegenover 4.67 bij handmatig werk. De gemiddelde beoordelingen voor gevoelens van onzekerheid, stress of ergernis waren respectievelijk 1.67 en 3.00. Beide verschillen werden als statistisch significant aangemerkt bij p<.05. De interviews boden een praktische verklaring: deelnemers die handmatig werkten, moesten zelf zoekopdrachten bedenken om tegenvoorbeelden te vinden. Sommigen waren bang dat een promptaanpassing die één fout corrigeerde, het gedrag elders zou verslechteren.

Beperkingen van het onderzoek en beschikbaarheid van de code

De evaluatie kent ook duidelijke beperkingen. De auteurs waarschuwen dat het aantal van negen deelnemers de statistische power en generaliseerbaarheid beperkt. Bovendien gebruikten de deelnemers de twee systemen voor verschillende concepten, om te voorkomen dat ze een al vastgestelde definitie zouden meenemen naar de tweede sessie. Subjectieve ervaringen konden daardoor binnen dezelfde deelnemers worden vergeleken, maar de prestaties van de classificatiemodellen alleen tussen groepen deelnemers. In het onderzoek werden afzonderlijke onderdelen niet geïsoleerd en werd de volledige pijplijn niet geëvalueerd met andere generatieve modellen.

De repository met open sourcecode bevat de bijbehorende codebase en dataset, plus een stapsgewijze Demo.ipynb-notebook voor Jupyter of Google Colab. De demo bouwt een ophaalindex op basis van naaste buren voor LAION400M. De standaardconfiguratie downloadt twee shards van in totaal ongeveer 260 MB om de pijplijn te verifiëren; de gedocumenteerde configuratie met 100 shards neemt in totaal ongeveer 13 GB in beslag. Het ophalen van gegevens, het downloaden van externe afbeeldingen en het aanroepen van modellen kan enkele seconden tot enkele minuten duren, één API-sleutel kan aan een snelheidslimiet worden onderworpen en verschillende stappen ondersteunen caching op schijf. In de disclaimer bij de repository staat dat dit geen officieel door Google ondersteund product is.

De praktische bijdrage van Agile Deliberation is dat subjectieve intentie een expliciet, herzienbaar onderdeel wordt van de ontwikkeling van classifiers. Gebruikers kunnen positieve en negatieve regels bekijken, de randgevallen onderzoeken die hiaten aan het licht brachten en onderbouwingen voor herzieningen aanleveren. Voor moderatie- en curatieteams betekent dit dat de categoriedefinitie en de menselijke oordelen die eraan ten grondslag liggen, deel uitmaken van het controleerbare ontwikkelproces van de classifier.