Riskerna med “vibe”-baserad bildannotering

Även om de bara får betalt med några dollar (eller ingenting alls), kan de okända personer som utvärderar bilder för “skadligt” innehåll förändra ditt liv med de val de gör. Nu verkar en stor ny rapport från Google föreslå att dessa annotatorer skapar sina egna regler för vad som är eller inte är “skadligt” eller stötande – oavsett hur bisarra eller personliga deras reaktioner på en viss bild kan vara. Vad kan gå fel?

Åsikt Den här veckan samarbetade Google Research och Google Mind i en ny rapport som undersöker om “instinktiva känslor” från bildannotatorer bör beaktas när människor bedömer bilder för algoritmer, även om deras reaktioner inte överensstämmer med etablerade bedömningsstandarder.

Detta är viktigt för dig, eftersom det som bedömare och annotatorer anser vara stötande enligt konsensus tenderar att bli en del av automatiska censur- och modereringssystem, och i kriterierna för “obscen” eller “oacceptabelt” material, i lagstiftning som den nya NSFW-brandväggen* i Storbritannien (en version av vilken snart kommer till Australien), och i innehållsbedömningsystem på sociala medieplattformar, bland andra miljöer.

Så ju bredare kriterierna för stötande innehåll är, desto bredare blir den potentiella censuren.

Vibe-censur

Det är inte den enda ståndpunkten den nya rapporten har att erbjuda; den visar också att människor som bedömer bilder ofta är mer censurbenägna mot det som de tror kan stöta andra människor, förutom sig själva; och att bilder av låg kvalitet ofta väcker säkerhetsbekymmer, även om bildkvalitet inte har något att göra med bildinnehåll.

I rapportens slut betonar författarna dessa två resultaten, som om rapportens centrala tes hade misslyckats, men forskarna var tvungna att publicera ändå.

Även om detta inte är en ovanlig situation, ger rapporten, vid en noggrann läsning, en mer illavarslande underström: att annoteringspraxis kan överväga att anta vad jag bara kan beskriva som vibe-annotering:

‘Våra resultat visar att befintliga ramverk behöver ta hänsyn till subjektiva och kontextuella dimensioner, såsom emotionella reaktioner, implicita bedömningar och kulturella tolkningar av skada. Annotatorernas frekventa användning av emotionell språk och deras avvikelse från fördefinierade skadelabeler betonar luckor i nuvarande utvärderingspraxis.

‘Att utöka annoteringsriktlinjerna till att omfatta illustrativa exempel på olika kulturella och emotionella tolkningar kan hjälpa till att åtgärda dessa luckor.’

… (rest of the translation remains the same, following the exact structure and format as the original)