Риски аннотации изображений, основанной на «настроении»

Даже если они получают всего несколько долларов (или даже ничего), неизвестные люди, которые оценивают изображения на предмет «вредного» контента, могут изменить вашу жизнь своими решениями. Теперь большая новая статья от Google, кажется, предполагает, что эти аннотаторы придумывают свои собственные правила того, что является или не является «вредным» или оскорбительным – независимо от того, насколько странными или личными могут быть их реакции на любое изображение. Что может пойти не так?

Мнение На этой неделе новое сотрудничество между Google Research и Google Mind объединило не менее 13 участников в новой статье, которая исследует, следует ли учитывать «интуитивные чувства» аннотаторов изображений при оценке изображений для алгоритмов, даже если их реакции не соответствуют установленным стандартам оценки.

Это важно для вас, потому что то, что рэйтеры и аннотаторы находят оскорбительным по правилу консенсуса, будет иметь тенденцию стать закрепленным в автоматических системах цензуры и модерации, и в критериях для «непристойного» или «неприемлемого» материала, в законодательстве, таком как новый брандмауэр NSFW* в Великобритании (версия которого скоро появится в Австралии), и в системах оценки контента на платформах социальных сетей, среди других сред.

Итак, чем шире критерии для оскорбления, тем шире потенциальный уровень цензуры.

Цензура настроения

Это не единственная точка зрения, которую предлагает новая статья; она также обнаруживает, что люди, которые оценивают изображения, часто более цензурны в том, что, по их мнению, может оскорбить других людей, кроме себя; и что изображения низкого качества часто вызывают опасения по поводу безопасности, хотя качество изображения не имеет отношения к содержанию изображения.

В своем заключении статья подчеркивает эти два вывода, как если бы центральная позиция статьи не удалась, но исследователи были обязаны опубликовать ее.

Хотя это не редкая ситуация, статья дает, при тщательном чтении, более зловещий подтекст: что практика аннотации может учитывать использование того, что я могу описать только как аннотацию настроения:

‘Наши результаты показывают, что существующие рамки необходимо учитывать субъективные и контекстные размеры, такие как эмоциональные реакции, неявные суждения и культурные интерпретации вреда. Частое использование аннотаторами эмоционального языка и их отклонение от предопределенных меток вреда подчеркивают пробелы в текущих практиках оценки.’

‘Расширение руководств по аннотации для включения иллюстративных примеров разнообразных культурных и эмоциональных интерпретаций может помочь устранить эти пробелы.’

… (перевод продолжается)