Google Research inddrager menneskelig vurdering i subjektive AI-klassifikatorer

Google Research præsenterede den 4. november 2026 Agile Deliberation, en interaktiv ramme til at bygge billedklassifikatorer til subjektive kategorier, ledsaget af open source-kode og en interaktiv notebook-demo. I et brugerstudie med 18 sessioner rapporterede forskerne bedre resultater med klassifikatorerne og en lavere arbejdsindsats end ved manuel forfining af prompts.

Rammen er målrettet kategorier, hvis grænser afhænger af personlige vurderinger, kulturel kontekst eller retningslinjer for arbejdet: sund mad, inspirerende kunstværker og clickbaitbilleder, der lover vildledende belønninger. Den bygger på den grundlæggende antagelse, at brugere ofte opdager deres egne beslutningsgrænser, når de undersøger vanskelige eksempler. I en traditionel mærkningsproces behandles grænserne som fastlagte, før mærkningen begynder, så ændringer i hensigten først viser sig som inkonsekvente mærkninger eller vilkårlige modelbeslutninger.

Agile Deliberation omsætter den definition, der løbende udvikler sig, til både en specifikation, som mennesker kan læse, og den prompt, der styrer en vision-language-modelklassifikator. Designet bygger på interviews med fem eksperter i indholdsmoderation og en kvalitativ analyse af 20 definitioner fra deres professionelle arbejdsgange. Analysen viste, at eksperterne først afgrænser begreberne og derefter forfiner dem ved hjælp af billeder, der befinder sig på grænsen.

To faser i afvejningen af begreber

Afgrænsning af begreber opdeler en indledende idé i mulige positive og negative underbegreber. En bruger, der eksempelvis bygger en klassifikator til sund mad, kan medtage salater og skåle med kornprodukter, mens forarbejdede fødevarer eller rå, utilberedte ingredienser udelukkes. Repræsentative billeder understøtter hvert valg, og underbegreber, der ikke beskriver meningsfulde visuelle mønstre, kan frasorteres, før den første klassifikator oprettes.

I den efterfølgende begrebsiteration leder systemet efter billeder, der semantisk ligger på grænsen, frem for blot at udvælge tilfælde, hvor modellens sikkerhed nærmer sig 0,5. Forskerne hævder, at vision-language-modellers sikkerhed kan være dårligt afstemt efter menneskelig tvetydighed: En model kan være sikker på sin vurdering af et billede, som et menneske finder vanskeligt at bedømme. Hentede eksempler deduplikeres og grupperes, og en regel baseret på multi-armed bandits favoriserer de grupper, der tidligere har rettet fejl eller givet nyttig feedback.

Et trin, der finder tvetydigheder, samler en gruppe billeder om ét fortolkeligt spørgsmål, for eksempel cremede saucer, sukkerindhold eller portionsstørrelse, og udarbejder en kort forklaring på tvetydigheden i hvert billede. Brugerne markerer, om billederne er inden for eller uden for afgrænsningen, og kan tilføje begrundelser i naturligt sprog. Systemet udarbejder alternative definitioner, afprøver dem mod alle de mærkninger, der hidtil er indsamlet, vælger den kandidat, der har den bedste F1-score, og giver mulighed for manuelle ændringer.

Prototypen bruger Gemini 2.5 Pro til opdeling i underbegreber og Gemini 2.5 Flash til klassifikation, generering af forespørgsler efter billeder på grænsen og identifikation af tvetydigheder. Modellerne blev brugt uden yderligere træning eller finjustering, og brugergrænsefladen kører i en interaktiv Colab-notebook.

Resultater fra brugerundersøgelsen

Ni deltagere uden professionel erfaring med indholdsmoderation gennemførte hver to sessioner på cirka 90 minutter: én med Agile Deliberation og én med manuel afvejning. Rækkefølgen af systemerne blev randomiseret. De to begreber, der blev afprøvet, var sund mad og moderering af clickbait med betaling for deltagelse. Hver session omfattede cirka 45 minutters arbejde med definitioner, mærkning af 200 tilbageholdte testbilleder, en spørgeundersøgelse og et interview på 15 minutter. Sammenligningerne omfattede også klassifikation uden eksempler (zero-shot) og Modeling Collaborator, en automatiseret metode til opdeling i underbegreber. Deltagere, der arbejdede manuelt, kunne konsultere sidstnævnte systems detaljerede prompts.

Artiklen rapporterer, at Agile Deliberation forbedrede F1-scoren med 11 % i forhold til sin zero-shot-baseline for clickbait med betaling for deltagelse, mens manuel afvejning gav en forbedring på 8 % i forhold til sin egen baseline. For sund mad var ændringerne en forbedring på 10 % med Agile Deliberation og et fald på 3 % med manuel afvejning. Forbedringerne skyldtes hovedsageligt øget præcision, ledsaget af mindre fald i genfindingen (recall). Nøjagtighed blev ikke brugt, fordi deltagernes personligt tilpassede definitioner førte til ulige fordelinger af testmærkningerne.

Alle deltagere foretrak Agile Deliberation frem for manuel afvejning. Deltagerne angav en gennemsnitlig arbejdsindsats på 3,11 med Agile Deliberation mod 4,67 ved manuelt arbejde. De gennemsnitlige vurderinger af følelsen af usikkerhed, stress eller irritation var henholdsvis 1,67 og 3,00. Begge forskelle blev markeret som statistisk signifikante ved p<0,05. Interviewene gav en praktisk forklaring: Deltagere, der arbejdede manuelt, måtte selv finde på søgninger efter modeksempler, og nogle var bekymrede for, at en promptændring, der rettede én fejl, kunne forringe modellens adfærd andre steder.

Begrænsninger ved studiet og adgang til kode

Evalueringen har også klare begrænsninger. Forfatterne gør opmærksom på, at de ni deltagere begrænser den statistiske styrke og resultaternes generaliserbarhed. Hver deltager brugte de to systemer på forskellige begreber for at undgå, at en allerede fastlagt definition blev overført til den anden session. Derfor kunne den subjektive oplevelse sammenlignes inden for de enkelte deltagere, mens klassifikatorernes ydeevne kun kunne sammenlignes mellem deltagergrupperne. Studiet undersøgte ikke de enkelte komponenter hver for sig og evaluerede heller ikke hele processen med andre generative modeller.

Det åbne kodearkiv indeholder den tilhørende kodebase og det tilhørende datasæt samt en trinvis Demo.ipynb-notesbog til Jupyter eller Google Colab. Demonstrationen opbygger et hentningsindeks baseret på nærmeste naboer over LAION400M. Standardopsætningen downloader to datapartitioner på i alt cirka 260 MB for at kontrollere pipelinen; den dokumenterede opsætning med 100 datapartitioner fylder cirka 13 GB. Hentning, download af eksterne billeder og modelkald kan tage fra få sekunder til flere minutter, én API-nøgle kan være underlagt begrænsninger på forespørgselsfrekvensen, og flere trin understøtter caching på disken. Ansvarsfraskrivelsen i kodearkivet siger, at dette ikke er et officielt understøttet Google-produkt.

Agile Deliberations praktiske bidrag er at gøre subjektiv hensigt til en eksplicit og reviderbar del af udviklingen af klassifikatorer. Brugerne kan undersøge positive og negative regler, gennemgå de grænsetilfælde, der afdækkede mangler, og begrunde ændringer. For teams, der arbejder med moderering og kuratering, betyder det, at både kategoridefinitionen og de menneskelige vurderinger, der former den, bliver en del af klassifikatorens udviklingsproces, som kan granskes.