Google Research bringer menneskelig deliberasjon inn i subjektive KI-klassifikatorer

Google Research presenterte 4. november 2026 Agile Deliberation, et interaktivt rammeverk for å bygge bildek klassifikatorer rundt subjektive kategorier, med åpen kildekode og en demonstrasjonsnotatbok. I en brukerstudie med 18 økter rapporterte forskerne bedre resultater fra klassifikatorene og mindre arbeidsinnsats enn ved manuell forbedring av ledetekster.

Rammeverket tar for seg kategorier der grensene avhenger av personlige vurderinger, kulturell kontekst eller operative retningslinjer: sunn mat, inspirerende kunstverk og lokkebilder som lover villedende belønninger. Hovedideen er at brukere ofte finner ut hvor grensene for egne vurderinger går mens de undersøker vanskelige eksempler. I en konvensjonell arbeidsflyt for merking behandles disse grensene som fastsatt før annoteringen begynner, slik at endringer i hensikten viser seg som inkonsekvente merkelapper eller vilkårlige modellavgjørelser.

Agile Deliberation gjør den gradvis utviklede definisjonen om til både en spesifikasjon som mennesker kan lese, og en ledetekst som styrer en klassifikator basert på en syns- og språkmodell. Utformingen bygger på intervjuer med fem eksperter på innholdsmoderering og en kvalitativ analyse av 20 definisjoner hentet fra deres profesjonelle arbeidsprosesser. Analysen viste at ekspertene først avgrenset begrepene og deretter videreutviklet dem ved hjelp av grensetilfeller i form av bilder.

To stadier i begrepsavklaringen

Avgrensning av begreper deler en opprinnelig idé inn i mulige positive og negative underbegreper. En bruker som for eksempel bygger en klassifikator for sunn mat, kan inkludere salater og kornboller og samtidig utelukke bearbeidet mat eller rå, uforberedte ingredienser. Representative bilder underbygger hvert valg, og underbegreper som ikke beskriver meningsfulle visuelle mønstre, kan forkastes før den første klassifikatoren opprettes.

Deretter søker begrepsutviklingen etter bilder som semantisk sett befinner seg i grenseland, i stedet for bare å velge tilfeller der modellens sikkerhet nærmer seg 0,5. Forskerne hevder at sikkerheten til syns- og språkmodeller kan være dårlig tilpasset menneskelig tvetydighet: En modell kan være sikker på hvordan et bilde skal klassifiseres, selv om en person synes det er vanskelig å vurdere. Hentede eksempler dedupliseres og grupperes, og en regel basert på flerarmet banditt prioriterer grupper som tidligere har bidratt til å rette feil eller gitt nyttige tilbakemeldinger.

Et trinn for å finne tvetydigheter organiserer en gruppe bilder rundt ett tema som er lett å tolke, for eksempel kremete sauser, sukkerinnhold eller porsjonsstørrelse, og lager en kort forklaring på tvetydigheten i hvert bilde. Brukerne markerer om bildene faller innenfor eller utenfor avgrensningen, og kan legge til begrunnelser i naturlig språk. Systemet genererer alternative definisjoner, tester dem mot alle merkelappene som er samlet inn til da, velger kandidaten med best F1-skår og åpner for manuelle endringer.

Prototypen bruker Gemini 2.5 Pro til oppdeling og Gemini 2.5 Flash til klassifisering, generering av søk etter grensetilfeller og leting etter tvetydigheter. Modellene ble brukt uten ekstra trening eller finjustering, og grensesnittet kjører i en interaktiv Colab-notatbok.

Dette viste den praktiske studien

Ni deltakere uten profesjonell erfaring med innholdsmoderering gjennomførte hver to økter på omtrent 90 minutter: én med Agile Deliberation og én med manuell begrepsavklaring. Rekkefølgen på systemene ble randomisert. De to begrepene som ble testet, var sunn mat og moderering av lokkeinnhold som oppfordrer til betaling for å spille. Hver økt omfattet omtrent 45 minutter med definisjonsarbeid, merking av 200 testbilder som var holdt utenfor treningsmaterialet, en spørreundersøkelse og et intervju på 15 minutter. Sammenligningene omfattet også klassifisering uten eksempler og Modeling Collaborator, en grunnlinjemetode for automatisert oppdeling. Deltakere som arbeidet manuelt, kunne se de detaljerte ledetekstene til dette systemet.

Artikkelen rapporterer at Agile Deliberation økte F1-skåren med 11 % sammenlignet med grunnlinjen uten eksempler for lokkeinnholdet som oppfordrer til betaling for å spille, mens manuell begrepsavklaring ga en økning på 8 % sammenlignet med sin egen grunnlinje. For sunn mat var endringene en forbedring på 10 % med Agile Deliberation og en nedgang på 3 % med manuell begrepsavklaring. Gevinstene skyldtes hovedsakelig bedre presisjon, sammen med mindre reduksjoner i gjenfinning. Nøyaktighet ble ikke brukt fordi deltakernes individuelt tilpassede definisjoner førte til skjevfordelte testetiketter.

Alle deltakerne foretrakk Agile Deliberation framfor manuell begrepsavklaring. Deltakerne rapporterte en gjennomsnittlig arbeidsbelastning på 3,11 med Agile Deliberation, mot 4,67 ved manuelt arbeid. Gjennomsnittsskårene for følelsen av usikkerhet, stress eller irritasjon var henholdsvis 1,67 og 3,00. Begge forskjellene ble markert som statistisk signifikante ved p<.05. Intervjuene ga en praktisk forklaring: De som arbeidet manuelt, måtte finne på søk etter moteksempler, og noen var bekymret for at en endring i ledeteksten som rettet én feil, kunne forringe modellens atferd på andre områder.

Studiens begrensninger og tilgang til koden

Evalueringen har også klare begrensninger. Forfatterne advarer om at ni deltakere begrenser den statistiske styrken og hvor generaliserbare resultatene er. For å unngå at en allerede etablert definisjon påvirket den andre økten, brukte hver deltaker de to systemene på ulike begreper. Deltakernes subjektive opplevelser kunne derfor sammenlignes innenfor hver deltaker, mens klassifikatorytelsen bare kunne sammenlignes mellom deltakergrupper. Studien isolerte ikke enkeltkomponenter og evaluerte heller ikke hele arbeidsflyten med andre generative modeller.

Kodelageret med åpen kildekode inneholder den tilhørende kodebasen og datasettet, samt en trinnvis Demo.ipynb-notatbok for Jupyter eller Google Colab. Demonstrasjonen bygger en nærmeste-nabo-indeks for gjenfinning over LAION400M. Standardoppsettet laster ned to datafragmenter på til sammen omtrent 260 MB for å verifisere arbeidsflyten; det dokumenterte oppsettet med 100 datafragmenter utgjør til sammen omtrent 13 GB. Gjenfinning, nedlasting av eksterne bilder og modellkall kan ta fra noen sekunder til flere minutter, én enkelt API-nøkkel kan bli underlagt forespørselsbegrensninger, og flere trinn støtter mellomlagring på disk. Ansvarsfraskrivelsen i kodelageret sier at dette ikke er et Google-produkt med offisiell støtte.

Agile Deliberation bidrar i praksis ved å gjøre subjektive intensjoner til en eksplisitt og reviderbar del av utviklingen av klassifikatorer. Brukerne kan undersøke positive og negative regler, se nærmere på grensetilfellene som avdekket mangler, og begrunne forslag til endringer. For team som arbeider med moderering og kuratering, betyr dette at både kategoridefinisjonen og de menneskelige vurderingene som former den, blir en del av klassifikatorens utviklingsprosess som kan granskes.