Google Research tuo ihmisten harkinnan subjektiivisiin tekoälyluokittimiin

Google Research esitteli 4. marraskuuta 2026 Agile Deliberation -menetelmän, vuorovaikutteisen kehyksen kuvien luokittelijoiden rakentamiseen subjektiivisten kategorioiden pohjalta. Menetelmän ohella julkaistiin avoimen lähdekoodin koodi ja esittelymuistikirja. 18 istunnon käyttäjätutkimuksessa tutkijat raportoivat, että luokittelijoiden tulokset olivat parempia ja vaativat vähemmän työtä kuin kehotteiden manuaalinen hienosäätö.

Kehys on suunniteltu kategorioille, joiden rajat riippuvat henkilökohtaisesta harkinnasta, kulttuurisesta kontekstista tai toimintaperiaatteista. Tällaisia ovat esimerkiksi terveellinen ruoka, inspiroiva taide ja klikkiansakuvat, jotka lupaavat harhaanjohtavia palkintoja. Menetelmän keskeinen lähtökohta on, että käyttäjät usein hahmottavat omat päätösrajansa tarkastellessaan vaikeita esimerkkejä. Tavanomaisessa luokittelutyössä rajat määritellään ennen annotoimisen aloittamista. Tällöin muutokset käyttäjän tarkoituksessa tulevat esiin vasta epäjohdonmukaisina luokituksina tai mallin mielivaltaisina päätöksinä.

Agile Deliberation muuntaa vähitellen tarkentuvan määritelmän sekä ihmisen luettavaksi kuvaukseksi että kehotteeksi, jonka avulla näkö- ja kielimallin luokittelijaa ohjataan. Menetelmän suunnittelussa hyödynnettiin haastatteluja, joihin osallistui viisi sisällön moderoinnin asiantuntijaa, sekä laadullista analyysia 20 määritelmästä, jotka poimittiin heidän ammatillisista työkäytännöistään. Analyysin mukaan asiantuntijat rajaavat käsitteet ensin ja tarkentavat niitä sitten rajatapauskuvien avulla.

Käsitteiden määrittelyn kaksi vaihetta

Käsitteen rajaus jakaa alkuperäisen idean ehdotetuiksi positiivisiksi ja negatiivisiksi alakäsitteiksi. Esimerkiksi terveellisen ruoan luokittelijaa rakentava käyttäjä voi sisällyttää siihen salaatit ja viljapohjaiset kulhoruoat mutta jättää pois prosessoidut ruoat sekä raa’at, valmistamattomat ainekset. Kumpaakin valintaa havainnollistetaan esimerkkikuvilla, ja alakäsitteet, jotka eivät kuvaa merkityksellisiä visuaalisia piirteitä, voidaan hylätä ennen ensimmäisen luokittelijan luomista.

Käsitteen iteroinnissa etsitään semanttisesti rajatapauksia sen sijaan, että valittaisiin vain kuvia, joiden kohdalla mallin varmuus lähestyy arvoa 0,5. Tutkijoiden mukaan näkö- ja kielimallin varmuus ei välttämättä vastaa hyvin ihmisen kokemaa monitulkintaisuutta: malli voi olla varma kuvasta, jota ihminen pitää vaikeana. Haetut esimerkit deduplikoidaan ja ryhmitellään. Monikätisen bandiitin sääntö suosii ryhmiä, jotka ovat aiemmin auttaneet korjaamaan virheitä tai tuottaneet hyödyllistä palautetta.

Epäselvyyksien tunnistusvaihe kokoaa erän yhden tulkittavan kysymyksen ympärille, kuten kermaisten kastikkeiden, sokeripitoisuuden tai annoskoon, ja tuottaa lyhyen selityksen kunkin kuvan monitulkintaisuudelle. Käyttäjät merkitsevät kuvat soveltamisalaan kuuluviksi tai sen ulkopuolelle ja voivat lisätä perusteluja luonnollisella kielellä. Järjestelmä tuottaa vaihtoehtoisia määritelmiä, testaa niitä kaikkia siihen mennessä kerättyjä luokituksia vasten, valitsee parhaan F1-arvon saavan ehdokkaan ja sallii manuaaliset muokkaukset.

Prototyyppi käyttää Gemini 2.5 Prota käsitteen jakamiseen osiin ja Gemini 2.5 Flashia luokitteluun, rajatapaushakujen muodostamiseen sekä monitulkintaisuuksien tunnistamiseen. Malleja käytettiin ilman lisäkoulutusta tai hienosäätöä, ja käyttöliittymä toimii vuorovaikutteisessa Colab-muistikirjassa.

Mitä käyttäjätutkimuksessa havaittiin

Yhdeksän osallistujaa, joilla ei ollut ammatillista kokemusta sisällön moderoinnista, suoritti kukin kaksi noin 90 minuutin istuntoa: yhden Agile Deliberation -menetelmällä ja yhden manuaalisesti. Järjestelmien käyttöjärjestys satunnaistettiin. Testattavat käsitteet olivat terveellinen ruoka ja maksulliseen pelaamiseen houkuttelevien klikkiansojen moderointi. Kumpaankin istuntoon kuului noin 45 minuuttia määritelmän työstämistä, 200 erillään pidetyn testikuvan annotointi, kysely ja 15 minuutin haastattelu. Vertailussa tarkasteltiin myös nollanäyteluokittelua ja automaattisen käsitteiden jaottelun vertailumenetelmää Modeling Collaborator. Manuaalisesti työskennelleet osallistujat saivat käyttää kyseisen järjestelmän yksityiskohtaisia kehotteita.

Tutkimusartikkelin mukaan Agile Deliberation paransi F1-arvoa pay-to-play-luokassa 11 % nollanäytetason vertailuarvoon nähden, kun taas manuaalisessa harkinnassa parannus oli 8 % sen omaan vertailuarvoon nähden. Terveellisen ruoan luokassa Agile Deliberation paransi tulosta 10 %, kun taas manuaalisessa harkinnassa tulos heikkeni 3 %. Parannukset johtuivat pääasiassa tarkkuuden kasvusta, ja samalla palautuma pieneni hieman. Tarkkuusprosenttia ei käytetty, koska osallistujien yksilölliset määritelmät tuottivat epätasapainoiset testiluokkajakaumat.

Kaikki osallistujat pitivät Agile Deliberation -menetelmää manuaalista harkintaa parempana. Osallistujien ilmoittama työn kuormittavuuden keskiarvo oli Agile Deliberation -menetelmällä 3,11 ja manuaalisessa työssä 4,67. Epävarmuuden, stressin tai ärtymyksen kokemista koskevien arvioiden keskiarvot olivat vastaavasti 1,67 ja 3,00. Molemmat erot merkittiin tilastollisesti merkitseviksi tasolla p<0,05. Haastattelut tarjosivat tuloksille käytännön selityksen: manuaalisesti työskennelleiden piti keksiä hakuja vastaesimerkkien löytämiseksi, ja osa heistä pelkäsi, että yhden virheen korjaava kehotemuutos heikentäisi toimintaa muualla.

Tutkimuksen rajoitukset ja koodin saatavuus

Arvioinnilla on myös selkeitä rajoituksia. Kirjoittajat huomauttavat, että yhdeksän osallistujaa rajoittaa tilastollista voimaa ja tulosten yleistettävyyttä. Lisäksi kukin osallistuja käytti kahta järjestelmää eri käsitteiden parissa, jotta aiemmin muodostettu määritelmä ei vaikuttaisi toiseen istuntoon. Osallistujien subjektiivisia kokemuksia voitiin siksi verrata saman osallistujan kohdalla, mutta luokittelijoiden suorituskykyä vain osallistujaryhmien välillä. Tutkimuksessa ei eritelty yksittäisten osien vaikutuksia eikä arvioitu koko työnkulkua muiden generatiivisten mallien yhteydessä.

Avoimen lähdekoodin repositorio sisältää siihen liittyvän koodikannan ja tietoaineiston sekä vaiheittaiset ohjeet sisältävän Demo.ipynb-muistikirjan Jupyteria tai Google Colabia varten. Demo luo LAION400M-aineistoon perustuvan lähimmän naapurin hakuindeksin. Oletusasetuksilla ladataan kaksi osaa, yhteensä noin 260 MB, jotta käsittelyketjun toiminta voidaan varmistaa; dokumentoidussa 100 osan asetuksessa osien yhteiskoko on noin 13 GB. Haku, ulkoisten kuvien lataaminen ja mallikutsut voivat kestää sekunneista minuutteihin, yksittäisen API-avaimen käyttöä voidaan rajoittaa ja useissa käsittelyvaiheissa voi hyödyntää välimuistia levyllä. Repositorion vastuuvapauslausekkeen mukaan kyseessä ei ole Googlen virallisesti tukema tuote.

Agile Deliberationin käytännön merkitys on siinä, että subjektiivinen tarkoitus tuodaan näkyväksi ja muokattavaksi osaksi luokittimen kehittämistä. Käyttäjät voivat tarkastella myönteisiä ja kielteisiä sääntöjä, tutkia reunatapauksia, jotka paljastivat puutteita, ja esittää perusteluja muutoksille. Moderointi- ja kuratointitiimeille tämä tarkoittaa, että luokan määritelmä ja siihen vaikuttavat ihmisten tekemät arviot ovat osa luokittimen kehitysprosessia, jota voidaan tarkastella.