“Vibe”-perusteisen kuvan annotaation riskit

Vaikka heille maksetaan vain muutamia dollareita (tai jopa mitään), tuntemattomat ihmiset, jotka arvioivat kuvia “loukkaavasta” sisällöstä, voivat muuttaa elämäsi valinnoillaan. Nyt uusi Google -tutkimus näyttää ehdottavan, että nämä annotoijat keksivät omat sääntönsä siitä, mikä on tai ei ole “loukkaavaa” tai loukkaavaa – riippumatta siitä, kuinka outo tai henkilökohtainen heidän reaktionsa olisivat mihinkään yksittäiseen kuvaan.

Mielipide Tällä viikolla Google Researchin ja Google Mindin yhteistyö tuotti uuden tutkimuksen, jossa tutkitaan, pitäisikö “vaistonvaraisia tunteita” ottaa huomioon, kun ihmiset arvioivat kuvia algoritmien käyttöä varten, vaikka heidän reaktionsa eivät vastaisikaan vakiintuneita arvosteluohjeita.

Tämä on tärkeää sinulle, koska sille, mitä arvioitsijat ja annotoijat pitävät loukkaavana yleisesti hyväksyttyjen sääntöjen perusteella, voi tulla merkittäviä seurauksia automaattisissa sensuurijärjestelmissä ja moderation kriteereissä “epäsopivan” tai “hyväksymättömän” aineiston määrittelyssä, kuten esimerkiksi uudessa NSFW-palomuuri* Isossa-Britanniassa (josta vastaava tulee myös Australiaan pian), ja sisällön arviointijärjestelmissä sosiaalisen median alustoilla, muun muassa.

Sillä laajemmat kriteerit loukkaavuudelle, sitä laajempi on potentiaalinen sensuurin taso.

Vibe-sensuuri

Tutkimuksella on muitakin näkökulmia; se osoittaa myös, että ihmiset, jotka arvioivat kuvia, usein ovat tiukempia siinä, mitä he ajattelevat loukkaavan muita ihmisiä itsensä lisäksi; ja että heikkolaatuiset kuvat usein herättävät turvallisuushuolia, vaikka kuvan laatu ei liity kuvan sisältöön.

Tutkimuksen lopussa korostetaan näitä kahta tulosta, ikään kuin tutkimuksen keskeinen väite olisi epäonnistunut, mutta tutkijat joutuivat julkaisemaan sen silti.

Vaikka tämä ei ole harvinainen tilanne, tutkimus paljastaa tarkkaan luettuna vaarallisemman alivirtauksen: annotointikäytännöt voivat hyväksyä, mitä voisin kuvata vibe-annotoinniksi:

‘Tutkimuksemme osoittaa, että olemassa olevat kehykset tarvitsevat subjektiivisia ja kontekstuaalisia ulottuvuuksia, kuten emotionaalisia reaktioita, implisiittisiä arvosteluja ja kulttuurisia tulkintoja vahingosta. Annotoijien usein käyttämä emotionaalisia kieltä ja heidän poikkeamistaan ennalta määritellyistä vahingon luokista korostavat aukkoja nykyisissä arviointikäytännöissä.

‘Laajentamalla annotointiohjeita sisältämään esimerkkejä moninaisista kulttuurisista ja emotionaalisista tulkinnista voidaan päästä näiden aukkojen kimppuun.’

Uusi, niukasti kuvitettu tutkimus esittää esimerkkejä, jotka ovat ymmärrettäviä ja myötätuntoisia keskivertoihmisen näkökulmasta. Tässä näemme kunkin kuvan alla annotoijien emotionaaliset reaktiot. Lähde: https://arxiv.org/pdf/2507.16033

Aluksi tämä kuulostaakin ehdotuksesta laajentaa ja paremmin määritellä, mitä “vahinko” tarkoittaa kuvassa – kiitettävä tavoite; mutta tutkimus toistaa useita kertoja, että tämä ei ole toivottavaa eikä välttämättä toteutettavissa:

‘Tutkimuksemme osoittaa, että olemassa olevat kehykset tarvitsevat subjektiivisia ja kontekstuaalisia ulottuvuuksia, kuten emotionaalisia reaktioita, implisiittisiä arvosteluja ja kulttuurisia tulkintoja vahingosta. Annotoijien usein käyttämä emotionaalisia kieltä ja heidän poikkeamistaan ennalta määritellyistä vahingon luokista korostavat aukkoja nykyisissä arviointikäytännöissä.

‘Laajentamalla annotointiohjeita sisältämään esimerkkejä moninaisista kulttuurisista ja emotionaalisista tulkinnista voidaan päästä näiden aukkojen kimppuun […]

‘[…] Annotoijien prosessi, jossa he pohtivat epäselviä kuvia, usein heijastaa heidän henkilökohtaisia, kulttuurisia ja emotionaalisia näkökulmia, jotka ovat vaikeita ohjaamaan tai standardoimaan.’

On vaikea nähdä, miten ‘Laajentamalla annotointiohjeita sisältämään esimerkkejä moninaisista kulttuurisista ja emotionaalisista tulkinnista’ voi sovittaa järkevään arvosteluun; tutkijat kamppailevat selventääkseen tämän pisteen tai muodostamaan selkeän teorian, hyökäten aineistoon useita kertoja, mutta eivät saa siitä parempaa vastausta. Tässä suhteessa heidän keskeinen teemansa itsessään näyttää “vibe”-generoidulta, vaikka se käsittelee abstrakteja psykologioita.

Yksinkertaisesti sanottuna, näyttää siltä, että annotointiprosessin laajentaminen kriteereillä, jotka perustuvat yksittäisen annotoijan voimakkaisiin reaktioihin, voi mahdollistaa minkä tahansa aineiston “peruuttamisen” tai peittämisen.

Binääriarviointi

Kuvien ja tekstin aiheuttaman vahingon määrä on vaikea mittausta, ei vain siksi, että korkeakulttuuri usein leikkaa “alhaisen” kulttuurin (esimerkiksi taiteen ja romaani kanssa), johtaen varhaisimpiin “vibe”-perusteisiin sensuurikriteereihin: vaikka loukkaavaa materiaalia ei voida määritellä tarkasti, tiedät sen, kun näet sen.

Uuden tutkimuksen laajan ja tutkivan keskustelun alla empathian ja laadukkaan nuansen suhteen tutkimus näyttää hyökkäävän hiljaa keskitettyjen, standardoitujen taksonomioiden (kuten “välitön”, “alaston”, “viha”, jne.) valtuutta, jotka antavat alustoille toteuttaa ja skaalata moderoinnin hyväksyttävällä virhemarginaalilla (yleensä).

Esille nouseva argumentti on, että ainoastaan hajautetut, subjektiiviset, kontekstiaavaimet ihmisarvioinnit voivat oikein arvioida GenAI-tulostetta.

Tämä on kuitenkin selvästi mittakaavaongelma, koska et voi ajaa triljoonakuvan suodatinputkea “vibe”- ja elämänkokemuksen perusteella. On pakko määritellä vahinko moninaisiin ominaisuuksiin; asettaa raja tuloksesta johtuvan suodattimien järjestelmän laajuudelle; ja odottaa uusia ohjeita “reuna”-tapauksissa (samoin kuin loukkaantuneet osapuolet joutuvat toisinaan odottamaan uusien lakien säätämistä, jotka koskevat heidän omia erityisiä olosuhteitaan).

Sen sijaan uusi tutkimus esittää oletettavasti automaattisen moderointiputken, joka laajentaa alueensa automaattisesti, ja erehtyy niin pitkälle varovaisuuden puolelle, että jopa yhden annotoijan erityinen ja toistamaton reaktio voi rangaista kuvaa, joka ei ole loukannut ketään muuta.

Moraalinen laajentuminen

Vaikka tutkimus ei kannaa vahvaa kannanottoa, se sisältää tieteellisiä menetelmiä: tutkijat kehittivät kehyksen, jolla voidaan tunnistaa (vaikka ei mitata) laajempi annotoijien reaktioiden spektri, ja tutkia, miten nämä reaktiot vaihtelevat sukupuolen ja muiden demograafisten tekijöiden mukaan.

Lisäksi testien analyysi vahingon keskittyminen^† tutki “moraalista päättelyä” testiosallistujien liittämissä kommentteissa, joista pyydettiin annotoimaan muokattu testiaineisto, joka sisälsi kuvia ja liittyviä tekstejä.

Tämä “moraalinen asenne – itsearviointi” suunniteltiin havainnoimaan moraalisia arvoja Hoiva, Tasa-arvo, Suhteellisuus, Uskollisuus, Valta ja Puhtaus, kuten määritelty Moraalisen perustan teoriassa – psykologisessa teoriassa, joka on luonteeltaan dynaaminen ja kehittyvä, ja joka on vastakkainen konkreettisten määritelmien luomiselle, jotka vaaditaan laajamittaisiin ihmisen arviointijärjestelmiin.

Tutkijat selventävät yhtä näistä, pelkoa:

‘Monet annotoijat käyttivät termejä kuten “pelottava” (esim. vääristyneille kasvoille tai kuville, jotka viittaavat väkivaltaan, kuten ase, joka osoittaa lasta), “häiritsevä” (esim. “Absoluuttinen julmuus nähdä, kuinka joku joutuu ylitettyä, erittäin häiritsevä ja häiritsevä”, tai “Häiritsevä ja näyttää vereltä” punaiselle maalille) tai “ärsyttävä” (esim. “Kuvan poika on monissa vääristyneissä… Minusta se on epämiellyttävä, koska se näyttää siltä, että poika leikkii väärällä puolella reunapuitteita”).

‘[Alla oleva kuva] mittailee “pelkoa” useimmin mainittuna emotiona (233 mainintaa, ja lähes puolet näistä maininnoista liittyy väkivaltaiseen sisältöön, sisältöä, joka katsotaan ei-haitalliseksi, herätti toiseksi suurimman määrän pelon mainintoja).’

Tunteeseen liittyvien termejen jakautuminen vahinkoluokkiin, palkkien korkeus osoittaa kommenttien osuudet, luvut näkyvät palkkien sisällä, ja yhteensä kommenttiluvut näkyvät kunkin luokan yläpuolella.

Uusien turvallisuuden ulottuvuuksien sisällyttämisestä tutkijat toteavat:

‘Nämä uudet teemat korostavat kriittistä tarvetta rikastaa tekoälykuvien arviointikehyksiä integroimalla subjektiivisia, emotionaalisia ja aistimellisia elementtejä.’

Tämä voi olla vaarallinen tie, koska näyttää sallivan annotointiprosessien lisäämisen sääntöjä perustuen reaktioihin, joita materiaali voi aiheuttaa yhdelle annotoijalle, sen sijaan, että vaadittaisiin kaikkien annotoijien noudattamaan vakiintuneita standardeja ja mittapuitteita.

Jos voisi antaa taloudellisen imperatiivin tälle idealle, se on, että tämä lähestymistapa mahdollistaa hyperskaalan ihmisen annotoinnin, jossa prosessi on kitkaton, osallistujat itse säätävät itseään, ja he päättävät itse, mitkä säännöt ja rajat ovat.

Standardin mukaan annotoinnissa säännöt määritetään ihmiskonsensuksella ja noudatetaan ihmisten toimesta; tutkimuksessa esitetyssä skenaariossa tämä alkuperäinen valvonta on joko poistettu tai alennettu: käytännössä mikä tahansa kuva, joka voi aiheuttaa jonkinlaisen loukkauksen kenelle tahansa, saa lippulaite (mahdollisesti, koska konsensus on kallista ja aikaa vievää).

Rorschachin tuomiot

Annotoinnin tarkoituksena on saavuttaa tarkka kuvaus tai määritelmä joko asiantuntija-valvonnan, yleisen konsensuksen useiden annotoijien keskuudessa tai (ihanteellisesti) molempien kautta. Sen sijaan, laajentamalla rajoitetun, mutta hyvin määritellyn vahingon hierarkian “intuitiiviseen” ja henkilökohtaiseen tulkintaan, on sama kuin annotoida Rorschachin testi.

Esimerkiksi jotkut annotoijat, tutkimuksen mukaan, tulkitsivat heikkolaatuisen kuvanlaadun (kuten JPEG-artefakteja sekä merkityksettömiä teknisiä virheitä kuvassa) ‘häiritseväksi’ tai ‘osoittavaksi vahinkoa’:

‘Tämä tapahtui, vaikka tehtävässä ei ollut ohjeita kuvan laadusta. Annotoijat tulkitsivat nämä laadun virheet merkityksellisiksi.

‘Yksi annotoija kommentoi, “Kuva ei ole lainkaan haitallinen; hänellä on vain vähän vääristynyt kasvo.” Samalla tavoin jotkut annotoijat tulkitsivat kuvanlaadun virheitä tarkoitukselliseksi vahingoksi, attribuoiden emotionaalisia merkityksiä virheisiin. Esimerkiksi toinen annotoija tulkitsi vääristyneen kasvon toisessa kuvassa olevan “osoittavan kipua”’

Kohottamalla subjektiivisia, emotionaalisia tai kontekstisidonnaisia reaktioita ennalta määritettyjen turvallisuusluokkien yläpuolelle, tässä esitetyt ideat avaavat oven järjestelmälle, jossa mitään voidaan merkitä mielivaltaisesti haitalliseksi, ja jossa “jäätävä vaikutus” ad hoc poistamisista tai negatiivisesta uudelleenluokittelusta (eli aineistosta, joka “loukkaa” erityistä eturyhmää) tulee todelliseksi uhkaaksi.

Tutkimus “Just a strange pic”: Evaluating ‘safety’ in GenAI Image safety annotation tasks from diverse annotators’ perspectives on saatavilla Arxivissa.

* Lyhyt vaihtoehto, koska se ei ole tämän keskeinen aihe; uuden lainsäädännön mukaan loukkaavat sivustot odotetaan joko itse valvovan; asettavan monimutkaisia ja kalliita tarkastusjärjestelmiä ja ikäverifiointiteknologioita, jotka ovat suurimpien sivustojen ulottumattomissa; tai estävän heidän verkkotunnuksensa Isossa-Britannian yleisöltä (jälleen kerran omalla kustannuksellaan).

† Yksinkertaisesti ilmaistuna “ajattele lasten” -meme, joka pilkkaa toisen henkilön moraalista edustaa ilmeisesti altruistisista tarkoituksista.

Julkaistu ensimmäisen kerran perjantaina, 25. heinäkuuta 2025