Google Research för in mänskligt övervägande i subjektiva AI-klassificerare

Den 4 november 2026 presenterade Google Research Agile Deliberation, ett interaktivt ramverk för att bygga bildklassificerare för subjektiva kategorier, tillsammans med öppen källkod och en interaktiv anteckningsbok. I en användarstudie med 18 sessioner rapporterade forskarna bättre klassificeringsresultat och mindre arbetsinsats än vid manuell förfining av instruktioner.

Ramverket hanterar kategorier vars gränser beror på personliga bedömningar, kulturella sammanhang eller verksamhetspolicy: hälsosam mat, inspirerande konstverk och klickbeten som utlovar vilseledande belöningar. Grundtanken är att användarna ofta upptäcker sina egna beslutsgränser när de granskar svårbedömda exempel. I ett konventionellt märkningsflöde betraktas dessa gränser som fasta innan annoteringen börjar, vilket gör att förändringar i avsikten visar sig som inkonsekventa etiketter eller godtyckliga modellbeslut.

Agile Deliberation omvandlar den definition som växer fram till både en specifikation som människor kan läsa och den instruktion som styr en bild- och språkmodell för klassificering. Utformningen bygger på intervjuer med fem experter på innehållsmoderering och en kvalitativ analys av 20 definitioner hämtade från deras yrkesmässiga arbetsflöden. Analysen visade att experterna först avgränsade begreppen och sedan förfinade dem med hjälp av gränsfall i form av bilder.

Två steg för att precisera begrepp

När begreppet avgränsas delas en ursprunglig idé upp i möjliga positiva och negativa underbegrepp. Den som bygger en klassificerare för hälsosam mat kan till exempel ta med sallader och matiga skålar med spannmål, men utesluta processad mat eller råa, otillagade ingredienser. Representativa bilder används för att stödja varje val, och underbegrepp som inte motsvarar meningsfulla visuella mönster kan tas bort innan den första klassificeraren skapas.

I nästa steg söker man efter bilder som utgör semantiska gränsfall, i stället för att bara välja fall där modellens konfidens ligger nära 0,5. Forskarna menar att konfidensen hos bild- och språkmodeller kan vara dåligt kalibrerad i förhållande till mänsklig osäkerhet: modellen kan vara säker på en bild som en människa tycker är svårbedömd. Hämtade exempel dedupliceras och grupperas, och en regel baserad på en bandit med flera armar prioriterar grupper som tidigare har rättat fel eller gett användbar återkoppling.

I ett steg för att hitta tvetydigheter grupperas bilder i ett urval kring en tolkningsbar fråga, till exempel krämiga såser, sockerhalt eller portionsstorlek. För varje bild skapas en kort förklaring av vad som gör den tvetydig. Användarna anger om bilderna ingår i kategorin eller faller utanför den och kan lägga till motiveringar på naturligt språk. Systemet tar fram alternativa definitioner, testar dem mot alla etiketter som samlats in hittills, väljer det alternativ som har högst F1-värde och tillåter manuella ändringar.

Prototypen använder Gemini 2.5 Pro för uppdelning i underbegrepp och Gemini 2.5 Flash för klassificering, generering av sökfrågor efter gränsfall och identifiering av tvetydigheter. Modellerna användes utan ytterligare träning eller finjustering, och gränssnittet körs i en interaktiv Colab-anteckningsbok.

Resultat från användarstudien

Nio deltagare utan yrkeserfarenhet av innehållsmoderering genomförde var och en två sessioner på cirka 90 minuter: en med Agile Deliberation och en med manuell precisering. Ordningen på systemen slumpades. De två begrepp som testades var hälsosam mat och moderering av klickbeten med betala-för-att-spela-upplägg. Varje session innehöll cirka 45 minuters definitionsarbete, märkning av 200 undanhållna testbilder, en enkät och en intervju på 15 minuter. Jämförelserna omfattade även klassificering utan exempel och Modeling Collaborator, en automatiserad baslinje för uppdelning i underbegrepp. Deltagare i den manuella gruppen kunde ta hjälp av systemets detaljerade instruktioner.

I artikeln rapporteras att Agile Deliberation förbättrade F1-värdet med 11 % jämfört med sin baslinje utan exempel för klickbeten med betala-för-att-spela-upplägg, medan manuell precisering gav en förbättring på 8 % jämfört med sin egen baslinje. För hälsosam mat var förändringarna en förbättring på 10 % med Agile Deliberation och en försämring på 3 % med manuell precisering. Förbättringarna berodde främst på högre precision, tillsammans med mindre minskningar i återkallelse. Noggrannhet användes inte eftersom deltagarnas personligt anpassade definitioner gav obalanserade fördelningar av testetiketter.

Alla deltagare föredrog Agile Deliberation framför manuell precisering. Deltagarna skattade den genomsnittliga arbetsinsatsen till 3,11 med Agile Deliberation, jämfört med 4,67 vid manuellt arbete. Medelvärdena för känslan av osäkerhet, stress eller irritation var 1,67 respektive 3,00. Båda skillnaderna markerades som statistiskt signifikanta vid p<.05. Intervjuerna gav en praktisk förklaring: de som arbetade manuellt behövde själva hitta på sökningar efter motexempel, och några oroade sig för att en ändring av instruktionen som rättade till ett fel skulle försämra resultatet på andra områden.

Begränsningar och tillgång till koden

Utvärderingen har också tydliga begränsningar. Författarna påpekar att de nio deltagarna begränsar den statistiska styrkan och möjligheten att generalisera resultaten. Dessutom använde varje person systemen på olika begrepp för att undvika att en redan etablerad definition påverkade den andra sessionen. Därför kunde den subjektiva upplevelsen jämföras inom deltagarna, men klassificerarnas prestanda endast mellan deltagargrupperna. Studien isolerade inte enskilda komponenter och utvärderade inte heller hela arbetsflödet med andra generativa modeller.

Det öppna källkodsarkivet innehåller den tillhörande kodbasen och datamängden samt den stegvisa notebooken Demo.ipynb för Jupyter eller Google Colab. Demonstrationen bygger ett index för närmaste grannar över LAION400M. Standardkonfigurationen laddar ned två shard-filer på sammanlagt cirka 260 MB för att verifiera dataflödet; den dokumenterade konfigurationen med 100 shard-filer omfattar cirka 13 GB. Hämtning, nedladdning av externa bilder och modellförfrågningar kan ta allt från några sekunder till flera minuter, en enskild API-nyckel kan begränsas av hastighetsgränser och flera steg stöder cachelagring på disk. I arkivets ansvarsfriskrivning anges att detta inte är en officiellt supportad Google-produkt.

Agile Deliberations praktiska bidrag är att göra subjektiva avsikter till en uttrycklig och reviderbar del av utvecklingen av klassificerare. Användare kan granska positiva och negativa regler, undersöka gränsfall som blottlagt brister och ange skälen till ändringar. För team som arbetar med moderering och innehållsurval innebär det att kategoridefinitionen och de mänskliga bedömningar som formar den blir en del av klassificerarens granskningsbara utvecklingsprocess.