‘Vibe’-pohjaisen kuvan annotaation riskit

Vaikka heille maksetaan vain muutamia dollareita (tai ei mitään), tuntemattomat ihmiset, jotka arvioivat kuvia “loukkaavasta” sisällöstä, voivat muuttaa elämäsi valinnoillaan. Nyt uusi Googlen tutkimus näyttää viittaan siihen, että nämä annotoijat keksivät omat sääntönsä siitä, mikä on tai ei ole “loukkaavaa” tai sopimatonta – riippumatta siitä, kuinka outo tai henkilökohtainen heidän reaktionsa mihinkään yksittäiseen kuvaan voi olla. Mitä voisi mennä pieleen?

Mielipide Tällä viikolla Google Researchin ja Google Mindin yhteistyö toi yhteen 13 kirjoittajaa uuteen tutkimukseen, joka tutkii, tulisiko “vaistomaiset tunteet” ottaa huomioon, kun ihmiset arvioivat kuvia algoritmien käyttöön, vaikka heidän reaktionsa eivät vastaisi vakiintuneita arvosteluohjeita.

Tämä on tärkeää sinulle, koska se, mitä arvioitsijat ja annotoijat pitävät loukkaavana yleissopimuksen perusteella, voi johtaa automaattiseen sensuuriin ja moderaatiojärjestelmiin, ja kriteereihin “säädytön” tai “hyväksymätön” aineisto, lainsäädännössä kuten uusi NSFW-palomuuri* Iso-Britanniassa (jota vastaava tulee Australiaan pian), ja sisällön arviointijärjestelmissä sosiaalisen median alustoilla, muun muassa.

Siten laajemmat kriteerit loukkaavuudelle, laajempi potentiaalinen sensuurin taso.

Vibe-sensuuri

Se ei ole ainoa näkökulma, jonka uusi tutkimus tarjoaa; se osoittaa myös, että ihmiset, jotka arvioivat kuvia, usein ovat sensitiivisempiä siitä, mitä he ajattelevat, että muut ihmiset voivat loukkaantua; ja että heikkolaatuiset kuvat usein herättävät turvallisuus huolen, vaikka kuvan laatu ei liity kuvan sisältöön.

Tutkimuksen lopussa korostetaan näitä kahta tulosta, kuin tutkimuksen keskeinen väite olisi epäonnistunut, mutta tutkijat joutuivat julkaisemaan sen joka tapauksessa.

Vaikka tämä ei ole epätavallinen tilanne, tutkimus tarjoaa tarkkaan luettuna vaarallisemman alivirtauksen: että annotointikäytännöt voivat ottaa käyttöön mitä voisin kuvailla vibe-annotoinniksi:

‘Tutkimuksemme osoittaa, että olemassa olevat kehykset tarvitsevat subjektiivisia ja kontekstuaalisia ulottuvuuksia, kuten emotionaalisia reaktioita, implisiittisiä arvosteluja ja kulttuurisia tulkintoja vahingosta. Annotoijien usein käyttämä emotionaalisia kieli ja heidän poikkeamansa ennalta määritellyistä vahingon luokista korostavat aukkoja nykyisissä arvostelumenetelmissä.

‘Laajentamalla annotaatio-ohjeita sisältämään esimerkkejä moninaisista kulttuurisista ja emotionaalisista tulkinnosta voidaan täyttää nämä aukot.’

…